Django+Celery實(shí)現(xiàn)動(dòng)態(tài)配置定時(shí)任務(wù)的方法示例
哈嘍,今天給大家分享一篇Django+Celery實(shí)現(xiàn)動(dòng)態(tài)配置定時(shí)任務(wù),因?yàn)樽罱彩菬o(wú)意間看到一位大佬關(guān)于這塊的文章,然后自己覺得不錯(cuò),也想學(xué)習(xí)寫一下,然后最終實(shí)現(xiàn)功能是在前端頁(yè)面統(tǒng)一管理計(jì)劃任務(wù),大家可以在admin管理頁(yè)面設(shè)置,也可以在自己寫的前端頁(yè)面刪除添加編輯,實(shí)時(shí)生效,還可以監(jiān)控這些監(jiān)控任務(wù)是否運(yùn)行成功失敗。
補(bǔ)充:如果大家對(duì)celery不熟悉的話,建議先學(xué)習(xí)celery
一、安裝
1.在Linux系統(tǒng)上安裝模塊
celery (3.1.26.post2)celery-with-redis (3.0)redis (2.10.6)Django (2.1.10)django-celery (3.3.1)
2.遷移生成表
python manage.py migrate
3.查看生成的表,這幾張表是上面執(zhí)行命令后生成的
二、配置
1.添加apps
INSTALLED_APPS = [ ’django.contrib.admin’, ’django.contrib.auth’, ’django.contrib.contenttypes’, ’django.contrib.sessions’, ’django.contrib.messages’, ’django.contrib.staticfiles’, ’djcelery’, #這是要添加的]
2.配置django時(shí)區(qū)
LANGUAGE_CODE = ’en-us’TIME_ZONE = ’Asia/Shanghai’USE_I18N = TrueUSE_L10N = TrueUSE_TZ = False
3.Celery配置
BROKER_URL = ’redis://localhost:6379’ #代理人CELERY_RESULT_BACKEND = ’redis://localhost:6379’ #結(jié)果存儲(chǔ)地址CELERY_ACCEPT_CONTENT = [’application/json’] #指定任務(wù)接收的內(nèi)容序列化類型CELERY_TASK_SERIALIZER = ’json’ #任務(wù)序列化方式CELERY_RESULT_SERIALIZER = ’json’ #任務(wù)結(jié)果序列化方式CELERY_TASK_RESULT_EXPIRES = 12 * 30 #超過(guò)時(shí)間CELERY_MESSAGE_COMPRESSION = ’zlib’ #是否壓縮CELERYD_CONCURRENCY = 4 #并發(fā)數(shù)默認(rèn)已CPU數(shù)量定CELERYD_PREFETCH_MULTIPLIER = 4 #celery worker 每次去redis取任務(wù)的數(shù)量CELERYD_MAX_TASKS_PER_CHILD = 3 #每個(gè)worker最多執(zhí)行3個(gè)任務(wù)就摧毀,避免內(nèi)存泄漏CELERYD_FORCE_EXECV = True #可以防止死鎖CELERY_ENABLE_UTC = False #關(guān)閉時(shí)區(qū)CELERYBEAT_SCHEDULER = ’djcelery.schedulers.DatabaseScheduler’ # 定時(shí)任務(wù)調(diào)度器
4.在你項(xiàng)目的app下面配置celery.py
import osfrom celery import Celery,platformsfrom django.conf import settingsos.environ.setdefault(’DJANGO_SETTINGS_MODULE’,’blog.settings’)app = Celery(’blog’)app.config_from_object(’django.conf:settings’)app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)platforms.C_FORCE_ROOT = True@app.task(bind=True)def debug_task(self): print(’Request: {0!r}’.format(self.request))
5.配置剛才app下面的__init__.py文件
from __future__ import absolute_importfrom .celery import app as celery_app
6.在app下面創(chuàng)建一個(gè)tasks.py文件
from blog.celery import app@app.task()def get_date(x,y,s):#這里的函數(shù)留意一下,后面會(huì)用到 print(s) return x + y@app.task()def get_task(): return ’test’@app.task()def get_command_task(): return ’success’
三、啟動(dòng)
1.進(jìn)入你項(xiàng)目下面,執(zhí)行啟動(dòng)worker,Worker是執(zhí)行任務(wù)的單元,它實(shí)時(shí)監(jiān)控消息隊(duì)列,如果有任務(wù)就獲取任務(wù)并執(zhí)行它。
celery -A autoops worker -l info
2.進(jìn)入你項(xiàng)目下面,執(zhí)行啟動(dòng)beat,beat是定時(shí)把這個(gè)任務(wù)扔到隊(duì)列中
celery -A autoops beat -l info
3.啟動(dòng)你的django項(xiàng)目
python manage.py runserver 192.168.10.133:8001
4.頁(yè)面展示
4.1這個(gè)是admin頁(yè)面下的,然后我自己重新寫了,大家也可以自己寫一個(gè),admin和我自己寫的頁(yè)面實(shí)現(xiàn)的功能其實(shí)是一模一樣的。
4.2.對(duì)應(yīng)admin頁(yè)面的crontabs
添加周期
編輯修改周期
5.tasks任務(wù)
5.1.大家可以看到我添加了一個(gè)名為測(cè)試的任務(wù),每隔一分鐘執(zhí)行一次,任務(wù)模板其實(shí)就是你寫的tasks文件里面函數(shù)
看一下worker進(jìn)程日志輸出
四、監(jiān)控計(jì)劃任務(wù)
celery作為一個(gè)分布式異步任務(wù)隊(duì)列管理工具,通過(guò)界面化的方式來(lái)進(jìn)行管控任務(wù)的執(zhí)行狀態(tài)和查看任務(wù)執(zhí)行結(jié)果
flower作為web頁(yè)面來(lái)管理celery后臺(tái)任務(wù),和任務(wù)隊(duì)列是隔離的,也就是flower的運(yùn)行與否并不會(huì)影響到任務(wù)隊(duì)列的真正執(zhí)行,但是flower中可以通過(guò)API接口來(lái)管理celery中的任務(wù)執(zhí)行。
4.1安裝flower,監(jiān)控celery計(jì)劃任務(wù)
pip3 install flower==0.9.2 -i http://pypi.douban.com/simple --trusted-host pypi.douban.compip install tornado==5.1.1celery flower -A blog --port=5555 #進(jìn)入項(xiàng)目目錄啟動(dòng)flower
4.2打開瀏覽器,輸入http://ip:5555 查看
Name: 表示該任務(wù)的名稱,默認(rèn)規(guī)則為該函數(shù)的路徑規(guī)則,例如 {模塊名}.{文件名}.{函數(shù)名}UUID: 表示一個(gè)唯一字符串ID用于表示該任務(wù)State: 表示該任務(wù)的狀態(tài),包括: SUCCESS / FAILURE / STARTED / RECEIVEDSUCCESS 表示該任務(wù)執(zhí)行完畢且成功FAILURE 表示該任務(wù)執(zhí)行失敗STARTED 表示該任務(wù)正在執(zhí)行RECEIVED 表示該任務(wù)在worker中,只是被接收而已a(bǔ)rgs: 表示該任務(wù)的列表參數(shù)kwargs: 表示該任務(wù)的字典參數(shù)Result: 表示該任務(wù)函數(shù)的返回結(jié)果Received: 表示該任務(wù)在worker接收到的時(shí)間Started: 表示該任務(wù)在worker開始執(zhí)行的時(shí)間Runtime: 表示該任務(wù)在worker真正執(zhí)行的耗時(shí)(單位:秒)Worker: 表示該任務(wù)所在的worker名稱
總結(jié):django+celery實(shí)現(xiàn)的定時(shí)任務(wù)還是不錯(cuò)的,你可以在前端上查看管理所有定時(shí)任務(wù),實(shí)時(shí)修改生效刪除和禁用,所以有需求的話可以去試試。下次再分享啦
到此這篇關(guān)于Django+Celery實(shí)現(xiàn)動(dòng)態(tài)配置定時(shí)任務(wù)的方法示例的文章就介紹到這了,更多相關(guān)Django Celery動(dòng)態(tài)配置定時(shí)任務(wù)內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. 基于PHP做個(gè)圖片防盜鏈2. ASP.NET MVC使用Boostrap實(shí)現(xiàn)產(chǎn)品展示、查詢、排序、分頁(yè)3. XML在語(yǔ)音合成中的應(yīng)用4. asp.net core 認(rèn)證和授權(quán)實(shí)例詳解5. .NET中實(shí)現(xiàn)對(duì)象數(shù)據(jù)映射示例詳解6. php使用正則驗(yàn)證密碼字段的復(fù)雜強(qiáng)度原理詳細(xì)講解 原創(chuàng)7. ASP.NET MVC把數(shù)據(jù)庫(kù)中枚舉項(xiàng)的數(shù)字轉(zhuǎn)換成文字8. 如何使用ASP.NET Core 配置文件9. jscript與vbscript 操作XML元素屬性的代碼10. 基于javaweb+jsp實(shí)現(xiàn)企業(yè)車輛管理系統(tǒng)
