詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息
一、背景
希望根據(jù)企業(yè)名稱查詢其經(jīng)緯度,所在的省份、城市等信息。直接將企業(yè)名稱傳給百度地圖提供的API,得到的經(jīng)緯度是非常不準(zhǔn)確的,因此希望獲取企業(yè)完整的地理位置,這樣傳給API后結(jié)果會(huì)更加準(zhǔn)確。百度企業(yè)信用提供了企業(yè)基本信息查詢的功能。希望通過Python爬蟲獲取企業(yè)基本信息。目前已基本實(shí)現(xiàn)了這一需求。本文最后會(huì)提供具體的代碼。代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!
二、分析
以蘇寧為例。輸入“江蘇蘇寧”后,查詢結(jié)果如下:
經(jīng)過分析,這里列示的企業(yè)信息是用JavaScript動(dòng)態(tài)生成的。服務(wù)器最初傳過來的未經(jīng)渲染的HTML如下:
注意其中標(biāo)注出來的JS代碼。有意思的是,企業(yè)基本信息都可以直接從這段JS代碼中獲取,無需構(gòu)造復(fù)雜的參數(shù)。
這是進(jìn)一步查看的結(jié)果,注意那個(gè)“resultList”,后面存放的就是頁面中的企業(yè)信息。顯然,利用正則表達(dá)式提取需要的字符串,轉(zhuǎn)換成JSON就可以了。
三、源碼
以下代碼為查詢某個(gè)企業(yè)的基本信息提供了API:
#!/usr/bin/env python# -*- coding:utf-8 -*-# @Author: Wild Orange# @Email: jixuanfan_seu@163.com# @Date: 2020-06-19 22:38:14# @Last Modified time: 2020-07-01 17:33:13import requestsimport reimport jsonheaders={’User-Agent’: ’Chrome/76.0.3809.132’}#正則表達(dá)式提取數(shù)據(jù)re_get_js=re.compile(r’<script>([sS]*?)</script>’)re_resultList=re.compile(r’'resultList':([{.+?}]}])’)def Get_company_info(name):’’’@func: 通過百度企業(yè)信用查詢企業(yè)基本信息’’’url=’https://xin.baidu.com/s?q=%s’%nameres=requests.get(url,headers=headers)if res.status_code==200:html=res.textretVal=_parse_baidu_company_info(html)return retValelse:print(’無法獲取%s的企業(yè)信息’%name)def _parse_baidu_company_info(html):’’’@function:解析百度企業(yè)信用提供的企業(yè)基本信息@output: list of dict, [{},{},...]pid: 跳轉(zhuǎn)到具體企業(yè)頁面的參數(shù)bid: 具體企業(yè)頁面URL中的參數(shù)name: 企業(yè)名稱type: 企業(yè)類型date: 成立日期address: 地址person: 法人代表status: 存續(xù)狀態(tài)regCap: 注冊資本scope: 經(jīng)營范圍’’’js=re_get_js.findall(html)[1]data=re_resultList.search(js)if not data:returncompant_list=json.loads(data.group(1))retVal=[]for x in compant_list:regCap=x[’regCap’].replace(’,’,’’)if regCap[-1]==’萬’:regCap=regCap[:-1]regCap=float(regCap)address=x[’domicile’].replace(’<em>’,’’).replace(’</em>’,’’)temp_v={’pid’:x[’pid’],’bid’:x[’bid’],’name’:x[’titleName’],’type’:x[’entType’],’date’:x[’validityFrom’],’address’:address,’person’:x[’legalPerson’],’status’:x[’openStatus’],’regCap’:regCap,’scope’:x[’scope’]}retVal.append(temp_v)return retVal
四、使用方法
直接將需要查詢的企業(yè)名稱傳入Get_company_info:
res=Get_company_info(’江蘇蘇寧’)print(res)
結(jié)果:
需要注意的是:
返回的是字典構(gòu)成的數(shù)組,每個(gè)字典元素代表一家企業(yè)的信息。順序與瀏覽器中顯示的順序相同。字典中參數(shù)的含義已在_parse_baidu_company_info函數(shù)的注釋中說明。程序僅獲取第一頁的信息。如果要查詢多頁,可以修改源碼。程序僅獲取企業(yè)的基本信息,沒有進(jìn)入企業(yè)的具體頁面,如:蘇寧物流具體頁面。不過返回結(jié)果中的pid或bid應(yīng)該能用于構(gòu)造查詢頁面的URL。
最后再次強(qiáng)調(diào):代碼僅供學(xué)習(xí)參考,希望不要惡意爬取數(shù)據(jù)!
到此這篇關(guān)于詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息的文章就介紹到這了,更多相關(guān)Python爬蟲獲取百度企業(yè)信用內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. vue實(shí)現(xiàn)web在線聊天功能2. SpringBoot+TestNG單元測試的實(shí)現(xiàn)3. Springboot 全局日期格式化處理的實(shí)現(xiàn)4. idea配置jdk的操作方法5. Docker容器如何更新打包并上傳到阿里云6. Java GZip 基于內(nèi)存實(shí)現(xiàn)壓縮和解壓的方法7. 完美解決vue 中多個(gè)echarts圖表自適應(yīng)的問題8. VMware中如何安裝Ubuntu9. python 浮點(diǎn)數(shù)四舍五入需要注意的地方10. JAMon(Java Application Monitor)備忘記
