抓取百度指数排行榜信息

• 看了B站上一些动态排行榜视频，感觉非常酷炫，自己也想学习一下，做一个。
• 搜索了下相关资料，找到了一个Jannchie见齐开源在github上的排行榜可视化项目，就是它了。
• 看了下项目说明，关键就是准备数据了，下面介绍获取数据的方法。

1. 最简单的，当然是百度指数了，发现它有自己的行业排行榜，而且有各种日期的排行榜数据，太棒了，下一步就是把这些数据弄到手，按可视化框架的数据格式排版就好了。
2. 从化妆品行业排行榜下手吧，打开网址http://index.baidu.com/v2/rank/index.html?#/industryrank/makeup?tab=0,按下F12，找到了一个Get接口：

分析下这个请求信息，http://insight.baidu.com/base/search/rank/list 是 host，pageSize是请求个数，dateType是查询日期，试了下，可以填具体是日期信息，dimensionid应该是查询的类别，化妆品类别是37，其他参数应该不重要。
3. 有了地址就好办了，写个python脚本，按照日期逐步获取信息并记录到csv文件中就好了。代码如下。将配置信息存放在config.py中，方便读取。main.py是代码主逻辑。其中，使用了 库将url请求返回的json字符串转换为python数据结构。使用库进行url请求。使用库处理时间相关操作，包括字符串和日期转换，日期加减操作。