从头开始搭建Langchain-Chatchat0.3x

见贤思齐

github代码库链接Langchain-Chatchathttps://github.com/chatchat-space/Langchain-Chatchatinferencehttps://github.com/xorbitsai/inference本文将会用到两个代码库第一个代码库是启动chatchat使用。第二个代码库是加载推理模型使用。安装Xinference首先新建虚拟环境,然后通过pip安装pipinstall"xinference[all]"启动方式xinference-local--host0.0.0.0--port8887通过浏览器打开会看到这样一个界面launchmodel会自动下载模型文件，默认是从huggingface下载，如果网络不通可以更改到ModelScope。也可以添加本地模型添加注册模型点击resgistermodel 填写modelname自己随便起一个名字就好了模型介绍可写可不写按照截图勾选即可选择你下载到本地的大模型基座填写本地大模型的实际路径registermdoel点击注册glm4-chat模型下载国内可以去魔塔社区下载：魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。https://www.modelscope.cn/models/ZhipuAI/glm-4-9b打开网址复制名字，以glm4为例，按照下面代码操作可以指定下载目录。pipinstallmodelscopefrommodelscopeimportsnapshot_downloaddownload_dir=r'D:\mycode\MachineLearningPractice-main\modelscope_download'model_dir=snapshot_download("ZhipuAI/glm-4-9b-chat",cache_dir=download_dir)魔塔下载模型详细文档信息：魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD启动模型点击launchmodel点击custommodels点击languagemdels然后我们就会看到我们刚刚注册的大模型信息点击卡片--右边弹出信息选择推理模型引擎是否量化选择gpuorcpu小火箭启动模型API点击RunningModelLANGUAGEMODELS即可查看到我们启动的模型Actions-向上箭头↑即可打开模型推理界面右边垃圾桶即关闭运行的模型同理我们在注册一个embeddingmodel使用nohup方式启动xinference，这样我们关闭终端的时候，我们启动的API接口依然存在。nohupxinference-local--host0.0.0.0--port8887>logfile.log2>&1&安装chatchat3退出xinference虚拟环境，新建一个虚拟环境用来运行Langchain-Chatchatpipinstall"langchain-chatchat[xinference]"-U需要修改默认llm模型可执行：模型名字即为之前注册的模型ID，选择你所启动的模型的ID chatchat-configmodel--default_llm_modelautodl-tmp-glm-4-9b-chat需要修改默认embedding模型可执行：chatchat-configmodel--DEFAULT_EMBEDDING_MODELcustom-embedding-bge自定义模型接入配置完成上述项目配置项可以通过MODEL_PLATFORMS这里配置chatchat-configmodel--set_model_platforms"[{\"platform_name\":\"xinference\",\"platform_type\":\"xinference\",\"api_base_url\":\"http://127.0.0.1:9997/v1\",\"api_key\":\"EMPT\",\"api_concurrencies\":5,\"llm_models\":[\"autodl-tmp-glm-4-9b-chat\"],\"embed_models\":[\"custom-embedding-bge\"],\"image_models\":[],\"reranking_models\":[],\"speech2text_models\":[],\"tts_models\":[]}]"主要修改这两个选项初始化知识库指定自己在xinference平台上启动的embedding模型IDchatchat-kb-r--embed-model=custom-embedding-bgechatchat-configbasic--show知识库路径为 DATA_PATH 变量指向的路径下的knowledge_base目录中:启动项目chatchat-a启动成功由于chatchat-configserver配置默认监听地址 DEFAULT_BIND_HOST 为127.0.0.1,所以无法通过其他ip进行访问。chatchat-configserver--show{"HTTPX_DEFAULT_TIMEOUT":300.0,"OPEN_CROSS_DOMAIN":true,"DEFAULT_BIND_HOST":"127.0.0.1","WEBUI_SERVER_PORT":8501,"API_SERVER_PORT":7861,"WEBUI_SERVER":{"host":"127.0.0.1","port":8501},"API_SERVER":{"host":"127.0.0.1","port":7861},"class_name":"ConfigServer"}chatchat-configserver--DEFAULT_BIND_HOST0.0.0.0修改监听地址