电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

如何在django中運行scrapy框架

瀏覽:4日期:2024-10-09 17:13:04

1.新建一個django項目,

2.前端展示一個按鈕

<form action='/start/' method='POST'> {% csrf_token %} <input type='submit' value='啟動爬蟲'></form>

3.在django項目的根目錄創建scrapy項目

4.cmd命令行運行:scrapyd 啟動服務

5.將scrapy項目部署到當前工程:scrapyd-deploy 爬蟲名稱 -p 項目名稱

6.views.py

# 首頁def index(request): return render(request,’index.html’,locals())def start(request): if request.method == ’POST’: # 啟動爬蟲 url = ’http://localhost:6800/schedule.json’ data = {’project’: ’ABCkg’, ’spider’: ’abckg’} print(requests.post(url=url, data=data)) return JsonResponse({’result’:’ok’})

7.在本地6800端口點擊jobs當前爬蟲項目就在運行了。

8.寫一個按鈕,點擊停止scrapy爬蟲

def stop(request): if request.method == ’POST’: # 停止爬蟲 url = ’http://127.0.0.1:6800/cancel.json’ data={'project':’ABCkg’,’job’:’b7fe64ee7ad711e9b711005056c00008’} print(requests.post(url=url, data=data)) return JsonResponse({’result’:’stop’})

總結:

----------------scrapyd 管理----------------------

1、獲取狀態

http://127.0.0.1:6800/daemonstatus.json

2、獲取項目列表

http://127.0.0.1:6800/listprojects.json

3、獲取項目下已發布的爬蟲列表

http://127.0.0.1:6800/listspiders.json?project=myproject

4、獲取項目下已發布的爬蟲版本列表

http://127.0.0.1:6800/listversions.json?project=myproject

5、獲取爬蟲運行狀態

http://127.0.0.1:6800/listjobs.json?project=myproject

6、啟動服務器上某一爬蟲(必須是已發布到服務器的爬蟲)

http://localhost:6800/schedule.json

(post方式,data={'project':myproject,'spider':myspider})

7、刪除某一版本爬蟲

http://127.0.0.1:6800/delversion.json -d project=項目名 -d versions

(post方式,data={'project':myproject,'version':myversion})

8、刪除某一工程,包括該工程下的各版本爬蟲

http://127.0.0.1:6800/delproject.json

(post方式,data={'project':myproject})

9、取消爬蟲

http://127.0.0.1:6800/cancel.json

(post方式,data={'project':myproject,’job’:myjob})

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Django
相關文章:
主站蜘蛛池模板: 水性绝缘漆_凡立水_绝缘漆树脂_环保绝缘漆-深圳维特利环保材料有限公司 | 上海皓越真空设备有限公司官网-真空炉-真空热压烧结炉-sps放电等离子烧结炉 | 环氧乙烷灭菌器_压力蒸汽灭菌器_低温等离子过氧化氢灭菌器 _低温蒸汽甲醛灭菌器_清洗工作站_医用干燥柜_灭菌耗材-环氧乙烷灭菌器_脉动真空压力蒸汽灭菌器_低温等离子灭菌设备_河南省三强医疗器械有限责任公司 | 微妙网,专业的动画师、特效师、CG模型设计师网站! - wmiao.com 超声波电磁流量计-液位计-孔板流量计-料位计-江苏信仪自动化仪表有限公司 | 暴风影音| 厦门ISO认证|厦门ISO9001认证|厦门ISO14001认证|厦门ISO45001认证-艾索咨询专注ISO认证行业 | 振动筛-交叉筛-螺旋筛-滚轴筛-正弦筛-方形摇摆筛「新乡振动筛厂家」 | 奥因-光触媒除甲醛公司-除甲醛加盟公司十大品牌 | 广州食堂承包_广州团餐配送_广州堂食餐饮服务公司 - 旺记餐饮 | 北京工业设计公司-产品外观设计-产品设计公司-千策良品工业设计 北京翻译公司-专业合同翻译-医学标书翻译收费标准-慕迪灵 | 100_150_200_250_300_350_400公斤压力空气压缩机-舰艇航天配套厂家 | 手持气象站_便携式气象站_农业气象站_负氧离子监测站-山东万象环境 | 结晶点测定仪-润滑脂滴点测定仪-大连煜烁 | 网站建设-高端品牌网站设计制作一站式定制_杭州APP/微信小程序开发运营-鼎易科技 | 开业庆典_舞龙舞狮_乔迁奠基仪式_开工仪式-神挚龙狮鼓乐文化传媒 | 宿舍管理系统_智慧园区系统_房屋/房产管理系统_公寓管理系统 | 尾轮组_头轮组_矿用刮板_厢式刮板机_铸石刮板机厂家-双驰机械 | 根系分析仪,大米外观品质检测仪,考种仪,藻类鉴定计数仪,叶面积仪,菌落计数仪,抑菌圈测量仪,抗生素效价测定仪,植物表型仪,冠层分析仪-杭州万深检测仪器网 | 校园气象站_超声波气象站_农业气象站_雨量监测站_风途科技 | 企典软件一站式企业管理平台,可私有、本地化部署!在线CRM客户关系管理系统|移动办公OA管理系统|HR人事管理系统|人力 | 招商帮-一站式网络营销服务|互联网整合营销|网络推广代运营|信息流推广|招商帮企业招商好帮手|搜索营销推广|短视视频营销推广 | 缠绕机|缠绕膜包装机|缠绕包装机-上海晏陵智能设备有限公司 | 聚丙烯酰胺_阴离子_阳离子「用量少」巩义亿腾厂家直销,售后无忧 聚合甘油__盐城市飞龙油脂有限公司 | 机构创新组合设计实验台_液压实验台_气动实训台-戴育教仪厂 | 济南冷库安装-山东冷库设计|建造|冷库维修-山东齐雪制冷设备有限公司 | 江苏全风,高压风机,全风环保风机,全风环形高压风机,防爆高压风机厂家-江苏全风环保科技有限公司(官网) | 深圳市宏康仪器科技有限公司-模拟高空低压试验箱-高温防爆试验箱-温控短路试验箱【官网】 | 碳纤维复合材料制品生产定制工厂订制厂家-凯夫拉凯芙拉碳纤维手机壳套-碳纤维雪茄盒外壳套-深圳市润大世纪新材料科技有限公司 | 深圳南财多媒体有限公司介绍 | 葡萄酒灌装机-食用油灌装机-液体肥灌装设备厂家_青州惠联灌装机械 | 大型果蔬切片机-水果冬瓜削皮机-洗菜机切菜机-肇庆市凤翔餐饮设备有限公司 | 冰晶石|碱性嫩黄闪蒸干燥机-有机垃圾烘干设备-草酸钙盘式干燥机-常州市宝康干燥 | 篮球架_乒乓球台_足球门_校园_竞技体育器材_厂家_价格-沧州浩然体育器材有限公司 | 高铝轻质保温砖_刚玉莫来石砖厂家_轻质耐火砖价格 | ◆大型吹塑加工|吹塑加工|吹塑代加工|吹塑加工厂|吹塑设备|滚塑加工|滚塑代加工-莱力奇塑业有限公司 | 瓶盖扭矩仪(扭力值检测)-百科 | 楼梯定制_楼梯设计施工厂家_楼梯扶手安装制作-北京凌步楼梯 | 海外仓系统|国际货代系统|退货换标系统|WMS仓储系统|海豚云 | 一体化净水器_一体化净水设备_一体化水处理设备-江苏旭浩鑫环保科技有限公司 | POS机办理_个人pos机免费领取-银联pos机申请首页 | 排烟防火阀-消防排烟风机-正压送风口-厂家-价格-哪家好-德州鑫港旺通风设备有限公司 |