RAG 知识库
构建一个检索增强生成（RAG）系统。上传文档，对其进行分块并嵌入向量存储，然后使用自然语言查询，获取基于你的数据的 AI 回答。
ragvector-storeembeddingsknowledge-base
目标
- 上传并处理 PDF、DOCX 和纯文本文档
- 使用最优重叠策略对文档进行分块
- 生成嵌入向量并存储到向量数据库中
- 使用自然语言查询并检索相关片段
- 生成带来源引用的答案
提示
- 使用 OpenAI embeddings 或 sentence-transformers
- 使用 Pinecone、Weaviate 或 Chroma 作为向量存储
- 约 500 个 token 的分块大小配合 100 个 token 的重叠效果良好