电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

瀏覽:3日期:2022-07-18 18:22:37

一、背景

希望根據(jù)企業(yè)名稱查詢其經(jīng)緯度,所在的省份、城市等信息。直接將企業(yè)名稱傳給百度地圖提供的API,得到的經(jīng)緯度是非常不準(zhǔn)確的,因此希望獲取企業(yè)完整的地理位置,這樣傳給API后結(jié)果會(huì)更加準(zhǔn)確。百度企業(yè)信用提供了企業(yè)基本信息查詢的功能。希望通過Python爬蟲獲取企業(yè)基本信息。目前已基本實(shí)現(xiàn)了這一需求。本文最后會(huì)提供具體的代碼。代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!

二、分析

以蘇寧為例。輸入“江蘇蘇寧”后,查詢結(jié)果如下:

詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

經(jīng)過分析,這里列示的企業(yè)信息是用JavaScript動(dòng)態(tài)生成的。服務(wù)器最初傳過來的未經(jīng)渲染的HTML如下:

詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

注意其中標(biāo)注出來的JS代碼。有意思的是,企業(yè)基本信息都可以直接從這段JS代碼中獲取,無需構(gòu)造復(fù)雜的參數(shù)。

詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

這是進(jìn)一步查看的結(jié)果,注意那個(gè)“resultList”,后面存放的就是頁面中的企業(yè)信息。顯然,利用正則表達(dá)式提取需要的字符串,轉(zhuǎn)換成JSON就可以了。

三、源碼

以下代碼為查詢某個(gè)企業(yè)的基本信息提供了API:

#!/usr/bin/env python# -*- coding:utf-8 -*-# @Author: Wild Orange# @Email: jixuanfan_seu@163.com# @Date: 2020-06-19 22:38:14# @Last Modified time: 2020-07-01 17:33:13import requestsimport reimport jsonheaders={’User-Agent’: ’Chrome/76.0.3809.132’}#正則表達(dá)式提取數(shù)據(jù)re_get_js=re.compile(r’<script>([sS]*?)</script>’)re_resultList=re.compile(r’'resultList':([{.+?}]}])’)def Get_company_info(name):’’’@func: 通過百度企業(yè)信用查詢企業(yè)基本信息’’’url=’https://xin.baidu.com/s?q=%s’%nameres=requests.get(url,headers=headers)if res.status_code==200:html=res.textretVal=_parse_baidu_company_info(html)return retValelse:print(’無法獲取%s的企業(yè)信息’%name)def _parse_baidu_company_info(html):’’’@function:解析百度企業(yè)信用提供的企業(yè)基本信息@output: list of dict, [{},{},...]pid: 跳轉(zhuǎn)到具體企業(yè)頁面的參數(shù)bid: 具體企業(yè)頁面URL中的參數(shù)name: 企業(yè)名稱type: 企業(yè)類型date: 成立日期address: 地址person: 法人代表status: 存續(xù)狀態(tài)regCap: 注冊資本scope: 經(jīng)營范圍’’’js=re_get_js.findall(html)[1]data=re_resultList.search(js)if not data:returncompant_list=json.loads(data.group(1))retVal=[]for x in compant_list:regCap=x[’regCap’].replace(’,’,’’)if regCap[-1]==’萬’:regCap=regCap[:-1]regCap=float(regCap)address=x[’domicile’].replace(’<em>’,’’).replace(’</em>’,’’)temp_v={’pid’:x[’pid’],’bid’:x[’bid’],’name’:x[’titleName’],’type’:x[’entType’],’date’:x[’validityFrom’],’address’:address,’person’:x[’legalPerson’],’status’:x[’openStatus’],’regCap’:regCap,’scope’:x[’scope’]}retVal.append(temp_v)return retVal

四、使用方法

直接將需要查詢的企業(yè)名稱傳入Get_company_info:

res=Get_company_info(’江蘇蘇寧’)print(res)

結(jié)果:

詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息

需要注意的是:

返回的是字典構(gòu)成的數(shù)組,每個(gè)字典元素代表一家企業(yè)的信息。順序與瀏覽器中顯示的順序相同。字典中參數(shù)的含義已在_parse_baidu_company_info函數(shù)的注釋中說明。程序僅獲取第一頁的信息。如果要查詢多頁,可以修改源碼。程序僅獲取企業(yè)的基本信息,沒有進(jìn)入企業(yè)的具體頁面,如:蘇寧物流具體頁面。不過返回結(jié)果中的pid或bid應(yīng)該能用于構(gòu)造查詢頁面的URL。

最后再次強(qiáng)調(diào):代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!

到此這篇關(guān)于詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息的文章就介紹到這了,更多相關(guān)Python爬蟲獲取百度企業(yè)信用內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: 百度 Python
相關(guān)文章:
主站蜘蛛池模板: 抓斗式清污机|螺杆式|卷扬式启闭机|底轴驱动钢坝|污水处理闸门-方源水利机械 | 精密钢管,冷拔精密无缝钢管,精密钢管厂,精密钢管制造厂家,精密钢管生产厂家,山东精密钢管厂家 | 薄壁轴承-等截面薄壁轴承生产厂家-洛阳薄壁精密轴承有限公司 | 睿婕轻钢别墅_钢结构别墅_厂家设计施工报价 | 臻知网大型互动问答社区-你的问题将在这里得到解答!-无锡据风网络科技有限公司 | 石家庄小程序开发_小程序开发公司_APP开发_网站制作-石家庄乘航网络科技有限公司 | 动力配电箱-不锈钢配电箱-高压开关柜-重庆宇轩机电设备有限公司 聚天冬氨酸,亚氨基二琥珀酸四钠,PASP,IDS - 远联化工 | 运动木地板厂家,篮球场木地板品牌,体育场馆木地板安装 - 欧氏运动地板 | 渗透仪-直剪仪-三轴仪|苏州昱创百科 | 净化工程_无尘车间_无尘车间装修-广州科凌净化工程有限公司 | 沥青灌缝机_路面灌缝机_道路灌缝机_沥青灌缝机厂家_济宁萨奥机械有限公司 | 玻璃钢罐_玻璃钢储罐_盐酸罐厂家-河北华盛节能设备有限公司 | 连续油炸机,全自动油炸机,花生米油炸机-烟台茂源食品机械制造有限公司 | 氮化镓芯片-碳化硅二极管 - 华燊泰半导体 | 交联度测试仪-湿漏电流测试仪-双85恒温恒湿试验箱-常州市科迈实验仪器有限公司 | 肉嫩度仪-凝胶测试仪-国产质构仪-气味分析仪-上海保圣实业发展有限公司|总部 | 微型气泵-真空-蠕动-水泵-厂家-深圳市品亚科技有限公司 | 南京兰江泵业有限公司-水解酸化池潜水搅拌机-絮凝反应池搅拌机-好氧区潜水推进器 | 煤机配件厂家_刮板机配件_链轮轴组_河南双志机械设备有限公司 | 一体化污水处理设备-一体化净水设备-「山东梦之洁水处理」 | 高速混合机_锂电混合机_VC高效混合机-无锡鑫海干燥粉体设备有限公司 | 超声骨密度仪-动脉硬化检测仪器-人体成分分析仪厂家/品牌/价格_南京科力悦 | 真空粉体取样阀,电动楔式闸阀,电动针型阀-耐苛尔(上海)自动化仪表有限公司 | 上海办公室装修_上海店铺装修公司_厂房装潢设计_办公室装修 | 钢格板|热镀锌钢格板|钢格栅板|钢格栅|格栅板-安平县昊泽丝网制品有限公司 | 防爆电机生产厂家,YBK3电动机,YBX3系列防爆电机,YBX4节防爆电机--河南省南洋防爆电机有限公司 | 手板_手板模型制作_cnc手板加工厂-东莞天泓 | 周口风机|周风风机|河南省周口通用风机厂 | 锡膏喷印机-全自动涂覆机厂家-全自动点胶机-视觉点胶机-深圳市博明智控科技有限公司 | 短信营销平台_短信群发平台_106短信发送平台-河南路尚 | 电杆荷载挠度测试仪-电杆荷载位移-管桩测试仪-北京绿野创能机电设备有限公司 | 广东机电安装工程_中央空调工程_东莞装饰装修-广东粤标建设有限公司 | 818手游网_提供当下热门APP手游_最新手机游戏下载 | 双杰天平-国产双杰电子天平-美国双杰-常熟双杰仪器 | 纸箱抗压机,拉力机,脂肪测定仪,定氮仪-山东德瑞克仪器有限公司 | 液氮罐(生物液氮罐)百科-无锡爱思科| 细沙回收机-尾矿干排脱水筛设备-泥石分离机-建筑垃圾分拣机厂家-青州冠诚重工机械有限公司 | 亮化工程,亮化设计,城市亮化工程,亮化资质合作,长沙亮化照明,杰奥思【官网】 | 二手电脑回收_二手打印机回收_二手复印机回_硒鼓墨盒回收-广州益美二手电脑回收公司 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库-首页-东莞市傲马网络科技有限公司 | 质检报告_CE认证_FCC认证_SRRC认证_PSE认证_第三方检测机构-深圳市环测威检测技术有限公司 |