Key Takeaway
知识库分两类,方法不同:自己用的,资料必须掌握在自己手里(Obsidian + Wiki);给别人用的,放在网站上通过RAG + MCP开放,让会员的Agent按需调用。核心原则是:积累要留在自己手里,且能跨模型、跨Agent持续使用。
自己用的知识库不再死磕传统RAG:上下文窗口变大后,优先直接喂原文;但资料量过大、想降成本或保精度时,仍需检索。做法是:用Obsidian CLI调用原生精确检索(关键词+结构+标签+属性),再配一套Wiki作为“地图”,把已梳理的概念、观点和关系沉淀下来,避免Agent每次从头整理。
给别人用的知识库走RAG + MCP:网站内容切块建向量索引,同时做关键词匹配;通过MCP提供搜索、读原文、浏览目录能力。以前内容主要给人看,现在让它进入用户自己的Agent工作流,作为可调用的外部参考。
早在2024年,我就出了一堆搭建个人知识库的视频,介绍过各种工具和方法。什么向量数据库啊、RAG啊,都聊过。很多小伙伴也是因为有知识库的需求才认识我,加入知识星球newtype的。
那么,两年之后的今天,我是怎么用知识库的?本期视频我来完整介绍一下。我把我的知识库分成两个类别,一个是“我自己用”,另一个是“给别人用”。用的人不同,采用的方法也不同。
先说我自己用的知识库。
对我来说,有一点一直没变:资料得掌握在自己手里。以后不管换哪个模型、哪个Agent,这些积累都能继续用,而不是换个工具,就得从头再来。
跟两年前不同,今天要搞知识库会简单许多。我是不再搭建传统RAG系统了。因为,模型的上下文窗口大了许多,可以一次放进更多原文。
但是,长上下文也不是万能的。
当资料真的超级多,超过上下文大小,或者希望降低输入量、减少成本的时候,还是得靠检索。
而且,上下文装得下,也不等于模型能在这么多内容里边,都保持同样的检索和推理精度。
所以,为了帮助模型检索,帮助模型更容易找到资料,我做了两件事。
第一,使用Obsidian原生检索能力。
Obsidian有一个很强的能力一直被大家忽视,就是它的精确检索。它不是单纯去做关键词匹配,而是可以把关键词、笔记结构、标签和属性这些条件组合起来使用,所以它的检索精确度很高。
那么问题来了:怎么让Agent去调用Obsidian的原生检索能力呢?
很简单,官方出了CLI。你让Agent帮你配置好,然后告诉它,以后要去这个知识库里查资料,优先使用Obsidian CLI。
第二,建立Wiki。
光提升检索能力还不够,因为如果你的知识库一团糟,Agent还是很难找到资料。所以,我给我的知识库建了一套Wiki。
这套Wiki能以更加结构化的方式去展现整个知识库都有什么内容,比如反复谈到的概念、主题都有哪些,等等。
但它不只是目录,还把我过去讨论过的观点,以及它们之间的关系整理出来。这样,已经梳理过的东西,Agent就不用每次从头再来。以后有了新内容,还能继续更新进去,让这些积累不断生长。
对于Agent来说,Wiki就相当于一张地图,让它知道这个知识库是干嘛的,有哪些已经整理好的知识,以及需要的时候去哪里找原文。这样真的能有效提升检索的效率。
刚才我介绍的这套方法,我很早就在newtype OS里实现了,用挺久的,效果很不错,大家可以试试。
这是给我自己用的知识库。那么,给别人用的知识库是什么意思?
我在网站newtype.pro上发布了我过往所有的帖子、文章、视频脚本和课程。但这些都是给人看的。如果用户想把我的内容给到Agent作为参考,那怎么办?
于是,我就把网站上的所有内容整理成一个知识库。在这边,我用到了两个技术:RAG,和MCP。
先说RAG。在我这套系统里,我会把文字内容切块、建立向量索引。这样模型就可以通过语义找到最相近的内容。除了语义匹配,我的网站也会做关键词匹配,帮助模型找到相关资料。
那为了让Agent调用知识库,还需要一个接入方式。我用的是MCP。
newtype MCP提供了搜索内容、读取原文、浏览目录这些功能。我的会员给Agent装上这个MCP之后,就能调用它们。
以前,这些内容主要是给你看的。现在,我想让它们也能进入你的工作流,帮你做事。
这样一来,我就给会员提供了一套可以接进自己工作流的外部知识库。你让你自己的Agent,在处理你的问题时,按需调用我的内容作为参考就OK。
以上就是我目前使用知识库的方法。
给自己用的知识库,资料掌握在自己手里。我让Agent通过Obsidian去检索,再用Wiki把已经梳理过的知识积累下来。以后换模型、换Agent,这些东西都能继续用。
给别人用的知识库,资料统一放在网站这一端,做好检索、阅读和权限管理,再通过MCP,让会员的Agent能够方便地调用,服务于他们自己的问题和工作流。
选什么方法,主要看资料放在哪里、谁来使用,以及Agent怎样才能找到并读懂它。方法可以变,但自己的积累,要留在自己手里,也要能持续发挥作用。
OK,以上就是本期内容。想了解AI,想夺回个体主权,想找到志同道合的人,就来newtype社群。那咱们下期见!

