RSS Agent - Beyond Read

MIND（一个随意起的名字）是个微信机器人🤖，它能帮我做的主要事情就是帮我收集各种信息，帮我把碎片化的信息统一管理起来。它可以将我感兴趣的公众号、博客、论坛、知乎、论文、github等各种途径的文章和信息，汇总归纳并推送。在互联网早期时代，它还有个名字叫RSS，所以借用现在流行的agent概念，我们也可以叫它RSS Agent😎。

它的迭代有个简单的过程，并不是一开始就是为了做信息的整理。

微信上的私人助理

内容总结

早期开发它是为了解决两种场景：

1. 公司群、技术群等各种群里面大家会发一些公众号文章链接，很多时候没有时间一篇一篇去看，因此需要有个机器人能够进行自动总结
2. 家庭群里会发各种带娃、育儿等文章，为了避免大家都不去看，至少可以先把总结告诉大家

因此它具备的基本能力：

• 自动监测发到群里的公众号文章
• 自动总结提取摘要
• 同时剥离它天生的骄傲，排除外界的干扰，判断是否为标题党、营销文，甚至是否是谣言（对于有老人的群比较重要）

个人/群知识库

既然文章都能获取到了，那么顺便也可以做个RAG，针对每个群或者用户做个知识助理，但它的重点还是放在微信公众号内容上。

它能够提供几种能力：

• 自动将群或者个人的文章进行向量化入库
• 可以利用知识库的文章来回答问题
• 可以快速查找历史收藏过的文章

当然，既然RAG都做了，那么顺便也可以把联网搜索也做了。

群知识库的扩展

针对群知识库其实还可以进一步深挖：

• 将某个垂类的公众号文章汇聚在一起变成一个垂类的Agent，如大模型、育儿、汽车，能够利用知识库给出最新最相关的内容，这种适合给特定垂类群使用。

• 个性化的总结，目前的文章总结还是我自己写的prompt，那其实每个人都有自己的阅读习惯，可以通过agent技术，在和用户的交流中学会用户的习惯偏好，从而给到用户更好的阅读体验

• 深入挖掘群消息，群消息中其实也包含很多问答的内容，而且可能很多问题会被反复询问，结合知识挖掘的方法自动挖掘出QA知识，作为群知识库的补充，比如宝妈群可能经常有一些经验知识分享，技术群也会有技术和经验分享，可以把这些零散的知识沉淀下来变成群共有的知识。

  但是，群消息挖掘涉及到了用户隐私，这块其实属于敏感地带，需要好好考虑考虑，因此一直没有深入做下去。

其他畅想

基于微信做机器人不仅仅可以做知识库，也可以做类似GPTs的各种agent，用于活跃群的气氛，或者单纯就是各种好玩的东西（星座运势、性格测试等等）。

对于家庭群，做一个家庭照片管理也是个不错的idea，这块有类似产品叫“宝宝树”，不过它需要用户自己上传照片。而群机器人则可以自动监控家庭群中的照片、视频，识别人物自动分类，形成家庭共享的相册，随时查看宝宝或者家人的分享。而且可以通过自然语言的形式进行语义检索。

从这个角度说，我感觉微信自己做agent还是非常多场景的，生活助理、群助理、家庭助理等等。

当然，微信只是一个入口而已，上面这些功能用飞书、钉钉一样可以做，工作上的agent可以放飞书，生活上的agent放钉钉。

走出微信，走向RSS

现在社会确实信息无处不在，它散落于互联网、APP、书籍、报纸杂志各处，每个垂直领域都会有非常多的信息源。PC互联网时代，大家的信息都还相对是公开共享的，但是到移动互联网时代，我们发现信息都集中在各个APP中，很难从外部获取到里面的信息。一天之中，你需要打开很多不同的APP获取不同的信息。

24年前，有个技术就是帮大家解决不同信息源获取信息的问题，也即RSS（Really Simple Syndication）。它是一种网页内容的分发和聚合格式，允许用户订阅和浏览迅速更新的网页内容。用户可以通过RSS阅读器订阅自己感兴趣的网站或博客，当这些网站有新的内容更新时，RSS阅读器会自动获取并显示这些更新，从而使用户无需逐个访问这些网站就能获取到最新的信息。但是后来RSS缺慢慢衰落，像Google Reader都停止了运营，很大的原因可能是很多网站都减少或者删除了对RSS的支持，另外就是很多信息都集中在APP内部。

对我来说，相比于各大社交媒体、APP的算法推荐系统和各种跟踪器，RSS可以让我更好的控制内容。我不想被动的被推荐各种内容，我只想关注我想看的内容。2018 年，《连线》杂志发表了一篇名为“It’s Time for an RSS Revival”的文章，2024年了，我想可以命名为“It’s Time for an RSS Agent”。

前面提到的微信机器人只解决了一个微信场景中公众号文章阅读的部分问题，帮你提炼信息，虽然做了RAG，但是我觉得问答的形式并不是很好的一种阅读方法，因此它只解决了信息获取中的一部分工作。如何帮助人们获取所有信息源，并且帮助人们深入阅读我感兴趣的文章，这是我想要做的事情。

感谢现在的技术，至少让我们还有机会能够从部分信息源中主动获取信息，我用到的能力如下：

• RSSHub:一个开源的RSS生成器，可以给各种奇奇怪怪的内容生成RSS订阅源
• 良心的博客主和部分网站：提供了直接的RSS订阅或者接口，如arxiv，openai blog
• Github：开源社区有很多自动做RSS更新了
• 爬虫：没办法，有时候还是得靠爬
• 微信机器人：帮我监控我关注的公众号
• Notion：短期内用它做内容的管理，但是扩展性不太强

RSS Agent做什么？

RSS Agent的目的是解决信息->人的全链路问题，包括信息获取、信息筛选、信息阅读。

现在这个Agent，可以自动帮我关注几大类信息：每天的github trending更新，每天的大模型相关论文的更新，每天的博客更新，还有公众号内容的更新。当然还有一些杂七杂八的内容，没有放到notion里面，直接通过对话进行获取了，如微博热点、知乎热点、reddit的热帖、producthunt每日Top。

信息获取后有两种推送方式：每天定时的总结推送，用户的主动获取。这个解决的是信息获取的问题。然后需要解决的是信息筛选和信息阅读的问题，可以到RSSAgent直接体验看效果。下面会详细介绍。

信息获取和筛选

通过分享公众号名片给微信机器人，它会自动帮我关注这个公众号，并获取它的推送，并且根据我的需求，过滤掉类似营销文。其他信息源则是通过接口或者爬虫直接获取了。

然后可以设置每天每个渠道的信息的主动推送时间，比如我一般早上九点多到公司，那么Agent会在9点之前帮我从各个渠道获取信息并整理成一份小结给我，这样我到公司的时候就可以直接看我关心的内容。每天晚上吃完晚饭大概6点半，再推送一次。

比如Github Trending，我喜欢看每天都有哪些新鲜的github项目出现了，Agent可以帮我将我没看过的新项目推送给我，并且读取项目的readme总结它的内容。又比如arxiv论文，我可以设置让它只关注大模型、LLM、agent相关的论文，并且按照文章的主题进行分类给到我。还有其他平台的内容，如reddit我关注的是localllama这个小组，我可以主动让它帮我总结一下今天的热门帖子。

当然还可以订阅很多其他平台的内容，这里我就不展开了。

信息的展现-LUI？

在微信这个平台虽然可以很方便的通过对话获取各种信息源，但是它的展现并不友好，尤其是内容很多的时候，洋洋洒洒可能有上千字的内容，我们只能做一些取舍（当然我们可以自己搞个APP，😊），比如只能取标题和一句话的摘要。详细的信息还是需要有一个更好平台来展示，找了一圈，notion提供了内容的接口，而且相对简单，因此我们可以放到这上面去。

以微信公众号为例，每天的摘要信息都会记录在这上面，也可以查看具体的详情。

信息的阅读

通过前面的步骤，层层筛选下我们可能发现了一些让我们感兴趣的文章，除了自己点进去阅读，有没有更好的辅助阅读的方法呢？

目前常见的方法：

• 提炼摘要【这个我们已经做了】
• 问答形式：采用RAG方法从文章中提取问题的答案
• 提供几个跟文章相关的问题【个人感觉意义不大】

其他感觉有用但是没做的：

• 阅读建议：推荐相关的阅读材料或文章
• 复杂概念解释：当用户在阅读过程中遇到不理解的词汇或概念时，模型可以提供详细的解释和背景信息
• 阅读难度调整：把专业复杂的文章简化，便于理解
• 文章思维导图化：将整个文章的脉络输出为思维导图，与文章联动实现更高效的阅读

理想情况是在用户阅读的过程中，Agent提供与阅读强相关的功能，在交互中不断根据反馈学习用户的偏好，从而实现越用越好的目的。

从技术上来说，核心其实就是：

• 阅读强相关的功能API能力建设（基于大模型开发）
• Function call的LLM（GPT-4）
• 长期记忆（如MemGPT）

以思维导图为例，我对回顾2023，那些令AI圈大地震的瞬间这篇文章感兴趣，但是它太长了，而摘要也只提供了非常抽象的信息：

这时，我可以让Agent帮我总结文章的思维导图，从而让我有个更加直观的认识，甚至只要关注我感兴趣的内容。

思维导图和文章的联动对我来说太难，大家可以自己想象一下吧，点击思维导图某个节点，可以自动跳转到文章对应位置。

不足

• 可以发现，前面提到的都是基于文字的信息，但是图片、视频在现在是量更大的信息源，如何做好图文、视频多模态的阅读Agent？

• 文字还包括小说、教材等非常长的内容，这种如何做好？更别说电源、电视剧了。
• 打通各个APP和平台还有很长的路要走。
• 现在这个还不能叫Agent，形态也非常早期，更别提产品了。

竞品分析

会读

目前跟我这个比较像的是个叫会读的APP，也是用户关注其企业微信然后转发文章给它，它会自动帮你总结，然后有个APP，可以帮你记录你转发的文章，便于你后面再去阅读。

但是它的问题是只解决了整个阅读过程中的一小步，摘要提取，还需要用户手动发送文章给他。APP中提供也只是摘要+原文两种阅读模式，并没有什么亮点。

知了/Zknown

与会读类似，也是通过企业微信转发文章，然后总结给摘要。有个稍微好点网站上有个导图模块，可以生成思维导图，一眼看出大模型生成+markmap搞的。

有知识库概念，但是感觉好像是单篇文章的问答。相比monica还是有差距。

Aminer

Aminer是专注于论文订阅和阅读的网站，用户可以自己设置自己的关注词（不过目前看好像是单纯的关键词匹配）来获取推送。首页会显示要点、方法、实验等基本信息，点击论文可以看到一个AI理解论文，大体是对论文的主要内容进行总结翻译。同时可以通过右侧的对话方法，更加深入的进行全文的QA。不过目前右侧对话显示了很多用户的对话，有些对话信息其实价值不大（比如很多都是一些基础问题）。

RSS阅读器

inoreader这种更多还是偏阅读器的形式，没有看到AI的内容。

浏览器插件

Monica是我非常喜欢的一款大模型插件，功能强大且好用，它除了提供基本的大模型对话能力，也能提供阅读方面的AI能力。

具体来说我们打开某个页面时，可以直接呼出Monica，然后让它进行总结，然后进行问答。

同时Monica提供了一个非常好的功能叫备忘，你阅读过的文章、PDF、视频、图片会自动帮你存入知识库，方便后期的随时可以读取和问答。这块其实跟我现在这个非常类似。

ChatMind

ChatMind是一个生成思维导图的工具，它也可以基于链接和上传的文章帮我们总结出思维导图，但是没有跟文章联动这个效果，如果你有感兴趣的节点，还得自己去文章中找到对应内容。