采集场景
在微博热搜榜(https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6)可实时查看微博热搜排名、热搜关键词和热搜数。点击每个热搜关键词可进入与其相关的微博列表页。我们需要采集以上数据。
采集字段
微博热搜排名、热搜关键词、热搜数、账号、发布内容、发布时间、来源、转发数、评论数、点赞数、采集时间和页面网址等字段。
鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图
下文其他图片同理
采集结果
采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:
教程说明
本篇制作时间:2020/4/26八爪鱼版本:V8.1.8
如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正。
采集步骤
步骤二、创建【循环列表】,采集所有微博列表中的数据
步骤三、修改【循环】的XPath,以去掉多余列表
步骤四、修改字段的XPath,以精准采集所有字段
步骤五、创建【循环-点击元素】,展开微博全文
步骤六、启动采集
以下为具体步骤: