推广 热搜: 公司  快速  上海  中国  未来    企业  政策  教师  系统 

各类信息的RSS获取、处理方法

   日期:2024-10-31     作者:caijiyuan    caijiyuan   评论:0    移动:http://keant.xrbh.cn/news/11155.html
核心提示:“终端”输入:部署结束后,在浏览器地址栏输入“服务器IP:3000”并访问,显示页面就表示部署成功。默认的账户名是admin,密码是
“终端”输入:

部署结束后,在浏览器地址栏输入“服务器IP:3000”并访问,显示页面就表示部署成功。默认的账户名是admin,密码是password。

2.32 新建第一个Agent,抓取网页信息

各类信息的RSS获取、处理方法

登录huginn后,点击Account→修改一下邮箱、密码;

图片

点击页面上方的Agents →New Agents 创建新任务;

图片

Type:选择Website Agent;Name:填入项目、网站名;Schedule:选择抓取内容的更新频率;

图片

Options代码区,在”url”后填入抓取网站的链接,”mode”后填入on_change;

在chrome内核浏览器中,打开网站链接,右键点击页面选择“检查”(或者按F12),右键点击选择要抓取的元素,审查元素面板会定位到该节点,右键点击该元素节点→复制→复制完整Xpath;

图片

然后在huginn界面options→extract→url→“xpath”后填入复制好的Xpath节点路径(li后面的“[1]”标签需要删除,因为不是只抓第一个li,而是整个列表),在“url”的”value“后填入@href提取链接;

图片
“title”也是一样,填入复制好的Xpath节点路径,”value“后填入string(.)提取节点路径下的所有字符串,或者normalize-space(.)来提取去除多余空格的字符串。也可以选择其他的如http://www.360doc.com/content/12/0121/07/node()、text()来测试看看效果;

添加一个与extract平级的template链接补全模板,url后填入:“抓取的网址链接”+“{{url}}”;

图片

最后点击Dry Run 看看抓取效果。

图片

2.33 创建第二个Agent,生成RSS地址

Type:选择 DataOutputAgent;Name:填入项目、网站名;Schedule:选择抓取内容的更新频率;Sources:选择第一个Agent;

图片

配置Options,title填入RSS名,link填入抓取页面的网址,item的title、link等项,填入{{title}}、{{url}};

图片

点击Save保存Agent,就可以用显示的xml地址,去RSS阅读器订阅该网站了。

图片
使用云端服务API自动化流程的工具zapier的RSS订阅源翻译工作流https:///apps/rss/integrations/translate

图片

点击Choose app &event,点击Continue,进入下一步;

图片

填入要抓取翻译的网站链接后,点击Continue,进入下一步;

图片

进入 Test trigger,点击Continue,进入下一步;

图片

在翻译环节,点击Choose app &event,点击Continue,进入下一步;

图片

选择好订阅源的语言和翻译后的语言,进入下一步;

图片

来到最后一个环节,点击Choose app &event,点击Continue,进入下一步;

图片

复制好要翻译后的订阅源链接(最终到RSS订阅器订阅的链接),填入订阅源名称后,点击Continue,进入下一步;

图片

在Test action测试环节点击测试;

图片

运行无误后,点击开启运行工作流;

图片

工作流生效会有延迟,需要等一段时间才能看到所有翻译的内容。

http://feedhttp://www.360doc.com/content/12/0121/07/

图片

登录后点击My digests,填入RSS项目名,复制好下方的RSS地址;

图片

添加需要合并的多个RSS地址;

图片

点击Save保存,然后就可以用之前第一步复制的RSS地址,去到RSS阅读器订阅使用了。

图片

siftrss.com

支持标题包含或排除关键词;

图片

支持正则表达式过滤(”/关键词|关键词|关键词/i”,可以用“shift+”打出”|“符号)。

图片

1.1 werss.app

稳定运行多年,体验良好。

图片
图片

1.2 瓦斯阅读

https://

适合订阅公众号数量非常多的人,年费80元,无限制订阅。

图片
图片

1.3 微阅读

werss.app

会员可以无限制订阅公众号。没有收录的公众号,提交申请后,也会很快被收录。缺点是不提供全文输出,不过这对大多数主流阅读器来说,都不是问题。

图片
图片
自建RSSHub玩家,如果网络上找的镜像域名失效,也可以用https://这样的推特镜像网站,在推特用户页面,获取订阅源。
图片
同上,可以用Bibliogram烧制订阅源。

图片
可以使用Kill the Newsletter! (kill-the-newsletter.com)服务生成的邮箱去订阅Newsletter。

图片
图片

Weibo to RSS(https:///weibo/)

图片

6.1 cnki订阅中文期刊

可以点进期刊主页,RSSHub Radar、RSS+插件,都会显示可订阅的链接。

图片

6.2 外文期刊

6.21 Sciencedirect

在sciencedirect 的“Journal/book title”中输入期刊名;

图片

点击搜索后,点击期刊图标进入主页;

图片

点击右上角的“Articles & Issues”,然后点击“RSS”,获取订阅链接。

图片
图片

6.22 Google Scholar

Google Scholar支持“关键词搜索”邮件订阅。

图片
图片

6.23 Pubmed

Pubmed 支持“关键词搜索”RSS订阅。

图片
图片
可以使用RSS-Proxy 或者Huginn抓取。

图片

7.1 短、中视频

www.mcndata.cn/rank

图片

新榜

https://wwwhttp://www.360doc.com/content/12/0121/07/public/info/list.html?period=bilibili_day&type=data

图片

Tiktok趋势

https://wwwhttp://www.360doc.com/content/12/0121/07/tag/trending


图片

Tikstar

https://wwwhttp://www.360doc.com/content/12/0121/07/


图片

Influencer

https://cnhttp://www.360doc.com/content/12/0121/07/youtube-channel-rank/top-100-all-all-youtuber-sorted-by-growth-weekly


图片

7.2 搜索趋势

Meetglimpse

https:///trends/


图片

极客增长


https:///member/KeywordHot/index.html

图片

7.2 投融资讯、报告

IT桔子

https://wwwhttp://www.360doc.com/content/12/0121/07/bulletin


图片

报告查一查

http://reporthttp://www.360doc.com/content/12/0121/07/


图片

慧博投研

https://waphttp://www.360doc.com/content/12/0121/07/hytop.html


图片

CBNData

https://wwwhttp://www.360doc.com/content/12/0121/07/report


图片
在原网址后面加上“feed/atom”。
https:///maskpad.eth/ 
https:///maskpad.eth/feed/atom
图片

9.1 Google alerts

https://wwwhttp://www.360doc.com/content/12/0121/07/www.google.com.hk/alerts

设定好关键词,比如“RSS”,以及对应的搜索配置,就可以用邮箱或者RSS订阅,还可以和IFTTT等自动化工具联动,实现推送提醒功能。

图片

9.2 Gigaalert
http://wwwhttp://www.360doc.com/content/12/0121/07/
为关键词搜索结果建立RSS 订阅服务,免费试用版可以建立3个关键词搜索订阅链接。

图片

9.3 Reddit关键词
https://wwwhttp://www.360doc.com/content/12/0121/07/1177.html
Reddit关键词搜索结果订阅。

图片

本文地址:http://lianchengexpo.xrbh.cn/news/11155.html    迅博思语资讯 http://lianchengexpo.xrbh.cn/ , 查看更多
 
标签: 获取
 
更多>同类行业资讯
0相关评论

新闻列表
企业新闻
推荐企业新闻
推荐图文
推荐行业资讯
点击排行