RAG开发教程：从零构建智能问答系统
RAG（检索增强生成）是一种将信息检索与大语言模型生成能力相结合的技术框架，旨在解决纯LLM在知识时效性、幻觉和私有数据访问上的短板。通过RAG，开发者可以在不微调模型的情况下，让AI系统实时从外部知识库中检索相关文档并生成精准回答。这套技术栈广泛应用于智能客服、企业知识库、学术研究辅助等场景。本教程将带你从环境配置开始，一步步实现一个基础的RAG问答系统，涵盖文档加载、向量化、检索与生成等核心环节。
准备工作与环境配置
在动手开发前，需要准备好Python环境（建议3.10+）并安装核心依赖库。推荐使用LangChain框架简化流程，同时需要向量数据库（如Chroma）和嵌入模型（如OpenAI的text-embedding-ada-002或开源的BGE系列）。
关键数据：LangChain在GitHub拥有超过95,000颗星、Chroma向量数据库支持超过100万条向量存储、OpenAI的text-embedding-ada-002模型维度为1536、BGE-small-zh模型在中文检索任务中准确率超过85%。
1、创建项目目录并初始化虚拟环境：mkdir rag_tutorial && cd rag_tutorial && python -m venv venv。
2、安装依赖库：pip install langchain chromadb openai pypdf（pypdf用于加载PDF文档）。
3、设置OpenAI API密钥：在环境变量中配置OPENAI_API_KEY，或直接在代码中传入。
文档加载与拆分
RAG的第一步是将原始文档（如PDF、TXT、Markdown）加载到内存中，并按合理粒度拆分成chunk，以便后续检索。LangChain提供了多种文档加载器和文本拆分器。
1、使用PyPDFLoader加载PDF文件：from langchain.document_loaders import PyPDFLoader; loader = PyPDFLoader('your_file.pdf'); documents = loader.load()。
2、使用RecursiveCharacterTextSplitter按段落和句子拆分：from langchain.text_splitter import RecursiveCharacterTextSplitter; splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50); chunks = splitter.split_documents(documents)。
3、chunk_size通常设为300-1000字符，chunk_overlap设为10%-20%，以保持上下文连贯性。
向量化与存储
将拆分后的文档chunk转换为向量嵌入，并存入向量数据库，为后续相似度检索做准备。
1、初始化嵌入模型：from langchain.embeddings import OpenAIEmbeddings; embeddings = OpenAIEmbeddings()。
2、创建Chroma向量存储：from langchain.vectorstores import Chroma; vectorstore = Chroma.from_documents(chunks, embeddings, persist_directory='./chroma_db')。
3、持久化存储：vectorstore.persist()，之后可通过Chroma.load('chroma_db', embeddings)直接加载。
构建检索与生成链
将检索器与大语言模型组合成完整的问答链，用户提问时先检索相关文档，再输入LLM生成答案。
1、创建检索器：retriever = vectorstore.as_retriever(search_kwargs={'k': 3})，k表示返回最相似的3个chunk。
2、定义提示模板：from langchain.prompts import PromptTemplate; template = """基于以下上下文回答用户问题。如果无法从上下文中得到答案，请说'无法回答'。\n上下文：{context}\n问题：{question}\n答案："""; prompt = PromptTemplate(template=template, input_variables=['context', 'question'])。
3、构建链：from langchain.chains import RetrievalQA; qa_chain = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type='stuff', retriever=retriever, return_source_documents=True)。
测试与调优
运行问答系统，测试其效果，并根据结果调整chunk大小、检索数量或提示模板。
1、执行查询：result = qa_chain({'query': '什么是RAG？'}); print(result['result'])。
2、检查返回的源文档：print(result['source_documents'])，确认检索是否准确。
3、常见调优方向：增大chunk_size以包含更多上下文、减少k以降低噪声、修改提示模板强制模型引用原文。
总结
通过本教程，你已掌握RAG开发的核心流程：文档加载与拆分、向量化存储、检索与生成链构建。这套系统可以快速适配不同领域的知识库，无需重新训练模型。后续可扩展为多轮对话、添加重排序器、或集成更多数据源（如网页、数据库），进一步提升问答质量。