[数据问题讨论]分地区、年份和关键词爬取百度指数[推广有奖]

随着互联网的普及，特别是微信、微博、等网络社交平台的完善，公众越来越倾向于通过互联网新媒体了解社会信息和实时热点，并且在社交平台表达自己的看法。近年来，国内外的一些学者在研究中开始使用互联网搜索指数构造指标度量公众对社会经济活动的需求和关注程度。在国内文献中，百度指数已经成为实证研究的热门数据来源。比如最近很火的数字经济、金融科技等，都可以通过百度指数进行度量。

郑思齐等（2013，管理世界）使用以“环境污染”为关键词的Google搜索指数度量公众环境诉求；李欣等（2017，经济学动态）使用以“大气污染”为关键词的百度搜索网页数量作为公众对环境污染的关注度，并以此度量非正式环境规制的水平；唐松等（2019，金融研究）使用以“污染”为关键词的省份百度指数来度量不同省份居民对环保需求的主观偏好；刘志峰和张婷婷（2020，管理科学学报）使用与彩票相关关键词的百度指数作为投资者彩票偏好的代理变量；盛天翔和范从来（2020，金融研究）利用2011 － 2017 年金融科技相关关键词在各个省份的百度搜索指数，并汇总成金融科技指数。

可见，百度指数可以用来衡量地区内（省级和市级）公众对经济活动的偏好、需求、关注和监督程度，对于实证研究的独特变量构造大有裨益。

百度指数官网：https://index.baidu.com

nload="thumbImg(this)" alt="" />

因论文需要，我不得不进行百度指数的爬取

在花费了大量的时间进行查找资料、调试代码，最终能够按照地区-时间段-关键词爬取百度指数。

经学长核对，所爬取的数据与官网数据相同。

因此，如有百度指数的需求，我可提供有偿代爬服务。

• 关键词（需自行确定是否已被百度指数收录

  确定方法：在百度指数页面进行搜索，如果能够搜索出相应数据，则表明已被收录

• 时间区间

  例如：2011年12月31日-2020年12月31日

• 数据层级

  全国、省（含特别行政区）还是城市层面的百度搜索指数，具体包含哪些省份或者城市请见：

  百度指数官网：https://index.baidu.com

  nload="thumbImg(this)" alt="" />

  
  

默认以多个以地区命名的EXCEL文件（如有特殊需求请提前说明）

以爬取的省级百度指数为例：

nload="thumbImg(this)" alt="" />

每个EXCEL中的默认数据格式为：关键词-统计口径-日期-百度指数（如有特殊需求请提前说明）

以山东.xlsx为例：

nload="thumbImg(this)" alt="" />

nmouseover="showMenu({'ctrlid':this.id,'pos':'12'})"> 数据示例+数据定制渠道
也可以进作者主页查看“分享”，进一步了解分地区、关键词爬取百度指数。

4. 参考资料

[1] 郑思齐, 万广华, 孙伟增, 罗党论. 公众诉求与城市环境治理[J]. 管理世界, 2013, (6): 72-84.

[2] 李欣, 杨朝远, 曹建华. 网络舆论有助于缓解雾霾污染吗?——兼论雾霾污染的空间溢出效应[J]. 经济学动态, 2017, (6): 45-57.

[3] 唐松, 施文, 孙安其. 环境污染曝光与公司价值——理论机制与实证检验[J]. 金融研究, 2019, (8): 133-150.

[4] 刘志峰, 张婷婷. 投资者彩票偏好对股票价格行为的影响研究[J]. 管理科学学报, 2020, 23, (3): 89-99.

[5] 盛天翔和范从来. 金融科技、最优银行业市场结构与小微企业信贷供给[J]. 金融研究, 2020, (06): 114-132.