电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

詳解用Python爬蟲獲取百度企業信用中企業基本信息

瀏覽:4日期:2022-07-18 18:22:37

一、背景

希望根據企業名稱查詢其經緯度,所在的省份、城市等信息。直接將企業名稱傳給百度地圖提供的API,得到的經緯度是非常不準確的,因此希望獲取企業完整的地理位置,這樣傳給API后結果會更加準確。百度企業信用提供了企業基本信息查詢的功能。希望通過Python爬蟲獲取企業基本信息。目前已基本實現了這一需求。本文最后會提供具體的代碼。代碼僅供學習參考,希望不要惡意爬取數據!

二、分析

以蘇寧為例。輸入“江蘇蘇寧”后,查詢結果如下:

詳解用Python爬蟲獲取百度企業信用中企業基本信息

經過分析,這里列示的企業信息是用JavaScript動態生成的。服務器最初傳過來的未經渲染的HTML如下:

詳解用Python爬蟲獲取百度企業信用中企業基本信息

注意其中標注出來的JS代碼。有意思的是,企業基本信息都可以直接從這段JS代碼中獲取,無需構造復雜的參數。

詳解用Python爬蟲獲取百度企業信用中企業基本信息

這是進一步查看的結果,注意那個“resultList”,后面存放的就是頁面中的企業信息。顯然,利用正則表達式提取需要的字符串,轉換成JSON就可以了。

三、源碼

以下代碼為查詢某個企業的基本信息提供了API:

#!/usr/bin/env python# -*- coding:utf-8 -*-# @Author: Wild Orange# @Email: jixuanfan_seu@163.com# @Date: 2020-06-19 22:38:14# @Last Modified time: 2020-07-01 17:33:13import requestsimport reimport jsonheaders={’User-Agent’: ’Chrome/76.0.3809.132’}#正則表達式提取數據re_get_js=re.compile(r’<script>([sS]*?)</script>’)re_resultList=re.compile(r’'resultList':([{.+?}]}])’)def Get_company_info(name):’’’@func: 通過百度企業信用查詢企業基本信息’’’url=’https://xin.baidu.com/s?q=%s’%nameres=requests.get(url,headers=headers)if res.status_code==200:html=res.textretVal=_parse_baidu_company_info(html)return retValelse:print(’無法獲取%s的企業信息’%name)def _parse_baidu_company_info(html):’’’@function:解析百度企業信用提供的企業基本信息@output: list of dict, [{},{},...]pid: 跳轉到具體企業頁面的參數bid: 具體企業頁面URL中的參數name: 企業名稱type: 企業類型date: 成立日期address: 地址person: 法人代表status: 存續狀態regCap: 注冊資本scope: 經營范圍’’’js=re_get_js.findall(html)[1]data=re_resultList.search(js)if not data:returncompant_list=json.loads(data.group(1))retVal=[]for x in compant_list:regCap=x[’regCap’].replace(’,’,’’)if regCap[-1]==’萬’:regCap=regCap[:-1]regCap=float(regCap)address=x[’domicile’].replace(’<em>’,’’).replace(’</em>’,’’)temp_v={’pid’:x[’pid’],’bid’:x[’bid’],’name’:x[’titleName’],’type’:x[’entType’],’date’:x[’validityFrom’],’address’:address,’person’:x[’legalPerson’],’status’:x[’openStatus’],’regCap’:regCap,’scope’:x[’scope’]}retVal.append(temp_v)return retVal

四、使用方法

直接將需要查詢的企業名稱傳入Get_company_info:

res=Get_company_info(’江蘇蘇寧’)print(res)

結果:

詳解用Python爬蟲獲取百度企業信用中企業基本信息

需要注意的是:

返回的是字典構成的數組,每個字典元素代表一家企業的信息。順序與瀏覽器中顯示的順序相同。字典中參數的含義已在_parse_baidu_company_info函數的注釋中說明。程序僅獲取第一頁的信息。如果要查詢多頁,可以修改源碼。程序僅獲取企業的基本信息,沒有進入企業的具體頁面,如:蘇寧物流具體頁面。不過返回結果中的pid或bid應該能用于構造查詢頁面的URL。

最后再次強調:代碼僅供學習參考,希望不要惡意爬取數據!

到此這篇關于詳解用Python爬蟲獲取百度企業信用中企業基本信息的文章就介紹到這了,更多相關Python爬蟲獲取百度企業信用內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: 百度 Python
相關文章:
主站蜘蛛池模板: 光纤测温-荧光光纤测温系统-福州华光天锐光电科技有限公司 | 德国GMN轴承,GMN角接触球轴承,GMN单向轴承,GMN油封,GMN非接触式密封 | 模具ERP_模具管理系统_模具mes_模具进度管理_东莞市精纬软件有限公司 | 阿里巴巴诚信通温州、台州、宁波、嘉兴授权渠道商-浙江联欣科技提供阿里会员办理 | 便民信息网_家电维修,家电清洗,开锁换锁,本地家政公司 | 武汉刮刮奖_刮刮卡印刷厂_为企业提供门票印刷_武汉合格证印刷_现金劵代金券印刷制作 - 武汉泽雅印刷有限公司 | 蓝鹏测控平台 - 智慧车间系统 - 车间生产数据采集与分析系统 | 酸度计_PH计_特斯拉计-西安云仪 纯水电导率测定仪-万用气体检测仪-低钠测定仪-米沃奇科技(北京)有限公司www.milwaukeeinst.cn | 一体式钢筋扫描仪-楼板测厚仪-裂缝检测仪-泰仕特(北京) | 磁力轮,磁力联轴器,磁齿轮,钕铁硼磁铁-北京磁运达厂家 | 展厅设计公司,展厅公司,展厅设计,展厅施工,展厅装修,企业展厅,展馆设计公司-深圳广州展厅设计公司 | 济南玻璃安装_济南玻璃门_济南感应门_济南玻璃隔断_济南玻璃门维修_济南镜片安装_济南肯德基门_济南高隔间-济南凯轩鹏宇玻璃有限公司 | 翻斗式矿车|固定式矿车|曲轨侧卸式矿车|梭式矿车|矿车配件-山东卓力矿车生产厂家 | IIS7站长之家-站长工具-爱网站请使用IIS7站长综合查询工具,中国站长【WWW.IIS7.COM】 | 砂磨机_立式纳米砂磨机_实验室砂磨机-广州儒佳化工设备厂家 | 佛山市德信昌电子有限公司 | 东莞ERP软件_广州云ERP_中山ERP_台湾工厂erp系统-广东顺景软件科技有限公司 | 安平县鑫川金属丝网制品有限公司,防风抑尘网,单峰防风抑尘,不锈钢防风抑尘网,铝板防风抑尘网,镀铝锌防风抑尘网 | 拉力机-万能试验机-材料拉伸试验机-电子拉力机-拉力试验机厂家-冲击试验机-苏州皖仪实验仪器有限公司 | TPE_TPE热塑性弹性体_TPE原料价格_TPE材料厂家-惠州市中塑王塑胶制品公司- 中塑王塑胶制品有限公司 | 煤矿支护网片_矿用勾花菱形网_缝管式_管缝式锚杆-邯郸市永年区志涛工矿配件有限公司 | 电缆接头_防水接头_电缆防水接头_防水电缆接头_上海闵彬 | 行星齿轮减速机,减速机厂家,山东减速机-淄博兴江机械制造 | 一级建造师培训_一建培训机构_中建云筑建造师培训网校 | 体坛网_体坛+_体坛周报新闻客户端 | 隧道烘箱_隧道烘箱生产厂家-上海冠顶专业生产烘道设备 | 重庆磨床过滤机,重庆纸带过滤机,机床伸缩钣金,重庆机床钣金护罩-重庆达鸿兴精密机械制造有限公司 | 安徽控制器-合肥船用空调控制器-合肥家电控制器-合肥迅驰电子厂 安徽净化板_合肥岩棉板厂家_玻镁板厂家_安徽科艺美洁净科技有限公司 | 安规_综合测试仪,电器安全性能综合测试仪,低压母线槽安规综合测试仪-青岛合众电子有限公司 | 广州小程序开发_APP开发公司_分销商城系统定制_小跑科技 | 首页|成都尚玖保洁_家政保洁_开荒保洁_成都保洁| 影像测量仪_三坐标测量机_一键式二次元_全自动影像测量仪-广东妙机精密科技股份有限公司 | 佛山市德信昌电子有限公司| 升降机-高空作业车租赁-蜘蛛车-曲臂式伸缩臂剪叉式液压升降平台-脚手架-【普雷斯特公司厂家】 | 全自动不干胶贴标机_套标机-上海今昂贴标机生产厂家 | 北京网络营销推广_百度SEO搜索引擎优化公司_网站排名优化_谷歌SEO - 北京卓立海创信息技术有限公司 | 贵阳用友软件,贵州财务软件,贵阳ERP软件_贵州优智信息技术有限公司 | 砂石生产线_石料生产线设备_制砂生产线设备价格_生产厂家-河南中誉鼎力智能装备有限公司 | 健康管理师报名入口,2025年健康管理师考试时间信息网-网站首页 塑料造粒机「厂家直销」-莱州鑫瑞迪机械有限公司 | 千斤顶,液压千斤顶-力良企业,专业的液压千斤顶制造商,shliliang.com | 冷藏车-东风吸污车-纯电动环卫车-污水净化车-应急特勤保障车-程力专汽厂家-程力专用汽车股份有限公司销售二十一分公司 |