向量数据库
AI / MCP定义
向量数据库是一种专门设计用于存储和高效查询高维向量嵌入的数据库。它支持在数百万条嵌入文档之间进行快速相似度搜索。
与 CrawlForge 的关联
Pinecone、Weaviate 和 pgvector 等向量数据库是 RAG 系统和语义搜索的核心组件。它们存储文档嵌入向量，并在查询到来时根据向量相似度检索最相关的文档。
CrawlForge 作为内容摄入层融入向量数据库工作流。使用 batch_scrape 大规模采集页面，使用 extract_content 获取干净文本，然后将结果嵌入并存入你的向量数据库。这一流水线能让你的知识库始终保持最新的网页数据。