半天玩转大模型技术之RAG

笛梵尊

半天玩转大模型技术之RAG 中国光大银行 中国光大银行数据+ 中国光大银行数据+ 中国光大银行股份有限公司 中国光大银行数据资产管理部官方公众号，让数据创造无限可能！ 71篇内容 2024年09月11日 08:00 北京 引 言在前一篇《金融行业大模型（LLM）应用研究》中提到，当前大模型在金融行业最广泛的应用之一就是知识问答，而支撑该应用的技术正是当下火热的检索增强生成（Retrieval Augmented Generation）技术，简称 RAG。因企业具体的业务往往需要注入特定的知识，比如ChatBI中企业数据库的相关知识、客服助手中客服FAQ等，所以RAG不仅可以应用在知识问答中，也在很多的业务场景中均有应用。本文将带读者了解RAG技术，并以知识问答为例帮助读者快速搭建一套属于自己RAG。什么是RAG？RAG全称为检索增强生成（Retrieval Augmented Generation），“检索”顾名思义是对大模型外挂知识库的检索，“增强生成”则是把检索得到的信息通过prompt提示给大模型使其从包含外部信息中学习知识（in-context learning）并生成正确答案。为什么产生RAG技术？RAG的产生主要源自于大模型自身存在的局限性。时效性大模型的知识更新就停留在它完成训练的那一刻，而重训一次大模型硬件、能源、时间等成本消耗非常高，仅为更新知识频繁重训大模型并不现实。因此，大模型无法回答近期发生的事件、趋势等具有时效性的问题。缺少专业领域知识大模型的训练虽然用了海量的知识，但仍然无法覆盖所有领域，比如法律、医学及企业内部知识等，所以面对未知的知识问题时，大模型无法给出有效的回答。幻觉问题面对未知的问题，大模型仍然会给出看似合理的错误回答,让用户难辨真假，这就是大模型的幻觉问题。大模型产生幻觉是因其训练的本质，即经过大量的训练后，预测下一个token。所以面对未知的问题，大模型不知“自己不知道”，只是在预测下一个概率高的token。图1 大模型预测下一个tokenRAG的出现就是为了解决上述问题，通过外挂知识库，解决时效性问题、补充领域知识；通过将检索内容作为背景知识供大模型参考，减少幻觉。RAG的核心组件图2 RAG流程（图源自论文：Gao, Yunfan et. "Retrieval-Augmented Generation for Large Language Models: A Survey." arXiv e-prints (2023): arXiv-2312）上图展示了RAG的工作流程，对于用户的问题“如何评价你们OpenAI公司……”，从事先已经建立好索引的知识向量库中（图中索引模块）检索出与问题相关的文档片段“片段1《Sam Altman 回归 OpenAI 重任CEO……》、片段2《大戏落幕？Sam Altman将回归OpenAI……》、片段3《OpenAI 人事震荡……》”（图中检索模块），再将用户问题和检索到知识片段拼接成一个prompt“问题：如何评价你们OpenAI公司的……，请基于以下资料回答上述问题：片段1……,片段2……,片段3……”提交给大模型LLM生成最终的回答（图中生成模块）。从上述流程不难总结出，RAG包含以下核心组件：知识向量库，检索和LLM生成。知识向量库在介绍知识向量库前，我们先了解下知识向量，将知识数据通过embedding算法映射到一个固定维度的向量空间中，从而捕捉到知识数据的语义就是知识向量。用相同的embedding算法将用户问题映射到同一向量空间，用户问题和知识的语义相似度就可以通过两个向量在空间中的距离来度量。知识向量库顾名思义就是专门用来高效存储和检索向量数据的数据库。常见embedding算法有M3E、text-embedding-3、fasttext等，常见的向量库有faiss、Milvus、Elasticsearch等。检索检索是指基于向量数据库集成的向量相似度检索算法，召回与用户问题语义相似的知识向量的过程。常见检索算法包括全量搜索、降维、聚类、量化等。LLM生成基于大模型的技术综合考虑检索文档或信息片段和用户的问题，产出一份逻辑连贯、上下文一致的回答。如何搭建RAG应用搭建大模型环境推荐使用Ollama框架搭建大模型运行环境，以Windows操作系统为例（Windows10或更高版本）进行说明。1.安装ollama从Ollama官网【https://ollama.com/download】下载Windows版的安装文件 【OllamaSetup.exe】，下载完成后直接点击安装即可。在命令行窗口输入 【ollama -v】查看是否安装成功。2.模型文件拉取联网情况执行【ollama pull】命令进行模型文件拉取（支持拉取的模型可参考官方文档【https://ollama.com/library】， 包含Qwen2、Llama3.1、Gemma2等主流大模型 ），拉取完成后可执行【ollama list】查看已经安装的模型。非联网情况建议先从联网机器上中通过ollama pull提前完成模型拉取，再通过ollama show --modelfile获取模型的配置，其中以“FROM”开头的这行配置说明了模型源文件存储位置。将整个模型配置拷贝到配置文件Modelfile中，再将Modelfile和模型源文件拷贝到要安装的非联网机器上。在非联网机器上执行【ollama create-f Modelfile】完成模型文件导入，注意需要修改Modelfile中FROM的位置到非联网机器上模型源文件的位置。图3 Ollama命令获取大模型配置3.启动大模型执行【ollama run】启动大模型，即可跟大模型对话了。执行【ollama ps】可查看正在运行的大模型的情况。图4 调起大模型并查看大模型运行状态安装python依赖推荐使用miniconda来安装python相关的依赖包。1.安装miniconda在可信源上(如清华源）下载可执行文件，Miniconda3-py311_24.5.0-0-Windows-x86_64.exe，下载完成后点击安装即可。2.安装python依赖包联网情况联网情况下安装可直接使用pip命令，【pip install ollama faiss-cpu tqdm numpy】，即可完成所有RAG应用程序所需的安装包。非联网情况需先在联网环境中使用pip命令下载好所需的所有python依赖到指定目录【pip download -d /path/to/your/directory ollama faiss-cpu tqdm numpy】。下载完毕后，将整个下载目录拷贝到离线环境设备上。执行【pip install --no-index --find-links= /path/to/your/directory ollama faiss-cpu tqdm numpy】即可完成python依赖安装。搭建RAG应用-知识问答下面代码块中展示了完整的RAG程序。其中，大模型采用的通义千问（qwen2:7b），embedding算法采用的是bge-m3，知识读取自相同目录下的“doc.txt”的文件。程序主要包含4个函数：text_to_embedding，将text文本转化为向量faiss_database，建立知识向量库find_relative_knowledge，检索相关知识llm_generate，llm生成问答main，程序执行的主流程：Step1：构建知识向量库Step2：提示用户输入问题Step3：基于用户问题检索相关知识Step4：基于检索到的知识让大模型生成回答测试效果下图展示了以金融相关知识构建的知识文档并在程序执行之前提前保存到“doc.txt”中。通过python example_rag.py命令，程序开始执行，首先按行对问数需求进行向量转化并存储（step1），共计12条知识片段；其次，提示用户提问（step2）；然后针对用户的问题“货币供应量是什么”召回的相关的知识片段“什么叫货币供应量？货币......”(step3),最后将召回的知识片段和用户问题拼接成prompt让大模型生成回答（step4）。图5 RAG应用程序测试效果总 结本文介绍了RAG技术产生的背景、RAG技术的核心组件以及如何搭建一个自己的RAG应用。得益于大模型技术的开源文化，搭建大模型及RAG应用均不难上手，读者可动手搭建开启自己的大模型RAG之旅。其中，搭建环境的任何问题可联系王子帆(zifan_wang19@126.com),程序执行的任何问题可联系刘新觅（liuxinmi104@126.com）。作者丨刘新觅王子帆 武竞 郭丛敏编辑 | 邵 茜视觉 | 王梓卿