这篇博客将介绍如何使用Python编写一个爬虫程序，从斗鱼直播网站上获取图片信息并保存到本地。我们将使用模块发送HTTP请求和接收响应，以及模块处理文件和目录操作。
如果出现模块报错
进入控制台输入：建议使用国内镜像源
我大致罗列了以下几种国内镜像源：
设置了请求头部信息，以模拟浏览器的请求，函数返回响应数据的JSON格式内容。
如何获取请求头：
火狐浏览器：
- 打开目标网页并右键点击页面空白处。
- 选择“检查元素”选项，或按下快捷键Ctrl + Shift + C（Windows）
- 在开发者工具窗口中，切换到“网络”选项卡。
- 刷新页面以捕获所有的网络请求。
- 在请求列表中选择您感兴趣的请求。
- 在右侧的“请求标头”或“Request Headers”部分，即可找到请求头信息。
将以下请求头信息复制出来即可
-
导入所需的库：
库用于发送HTTP请求获取网页内容。
库用于解析HTML页面的内容。
库用于创建和操作Excel文件。
2.发起HTTP请求获取百度热搜页面内容：
这里使用了 方法发送GET请求，并将响应的内容赋值给变量 。
3.使用BeautifulSoup解析页面内容：
soup = BeautifulSoup(html, 'html.parser')
创建一个 对象，并传入要解析的HTML内容和解析器类型。
4.提取热搜数据：
这段代码通过调用 方法找到所有 标签，并且指定 属性为 的元素。
然后，将每个元素的文本内容添加到 列表中。
5.保存热搜数据到Excel：
使用 创建一个新的工作簿对象。
调用 属性获取当前活动的工作表对象，并将其赋值给变量 。
使用 属性给工作表命名为 。
6.设置标题：
使用 方法选择要操作的单元格，其中 和 参数分别表示行和列的索引。
将标题字符串 写入选定的单元格。
7.写入热搜数据：
使用 函数生成一个包含索引的范围，循环遍历 列表。
对于每个索引 ，使用 方法将对应的热搜词写入Excel文件中。
8.保存Excel文件：
使用 方法将工作簿保存到指定的文件名 。
9.输出提示信息：
在控制台输出保存成功的提示信息。
如果对CSDN周边以及有偿返现任务感兴趣：https://bbs.csdn.net/topics/617804998
效果图:
可视化完整代码：
如果对CSDN周边以及有偿返现任务感兴趣：https://bbs.csdn.net/topics/617804998
效果图：
参与活动
1️⃣参与方式：关注、点赞、收藏，评论(人生苦短，我用python)
2️⃣获奖方式：程序随机抽取 3位，每位小伙伴将获得一本书
3️⃣活动时间：截止到 2024-1- 3 22:00:00
内容简介
《Pandas数据分析》详细阐述了与Pandas数据分析相关的基本解决方案，主要包括数据分析导论、使用PandasDataframe、使用Pandas进行数据整理、聚合Pandas Dataframe、使用Pandas和Matplotlib可视化数据、使用Seabom和自定义技术绘图、金融分析、基于规则的异常检测、Python机器学习入门、做出更好的预测、机器学习异常检测等内容。此外，该书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。
《Pandas数据分析》适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学用书和参考手册。
购买链接：
京东：https://item.jd.com/14065178.html
当当：http://product.dangdang.com/29599087.html
本文地址：http://lianchengexpo.xrbh.cn/quote/12390.html 迅博思语资讯 http://lianchengexpo.xrbh.cn/ , 查看更多