笔记篇

0 RAG 概述

RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。

这里我也额外去搜索了RAG相关知识,如果上面的话你看了还是有些不懂,可以理解为

你读完全日制高中的课程（暂不考虑文理分科），咱可以说你已经完成了预训练(Pre-training)，已经具备了一个通用大模型的基础能力。然后你填报了计算机科学专业，完成四年的专业课学习，咱可以说你已经完成了一轮微调(Fine-Tuning)，然后你就是一个合格的可以解答各类基础计算机相关的问题的大模型了。但毕竟本科四年学习周期有点长，咱想一个速成点的办法就是以你高中掌握的知识，再加上身边放一堆计算机专业的书籍，那这样你有了开卷考的buff加持，也勉强可以成为一个低配版解答基础计算机相关的问题的大模型了，而你收到问题，基于你高中的知识，在专业书籍中找到答案，组织后反馈给提问者的过程就是检索增强生成(RAG)。有了这个比喻，你就可以比较直观地理解，RAG的方式成本小，不需要花4年拿个相应专业的文凭就可以上岗；而且RAG的方式比较灵活，身边放《Python 21天从入门到精通》你就是信息产业问答模型，身边放《母猪的产后护理》你就是畜物业问答模型。但是因为并不是科班出身，对于专业信息的理解消化能力有限，给出的答案质量会略为逊色；而且毕竟每次都要去翻书找答案，回答的效率也肯定会低于微调过的模型。在这样的情况下，如何摆放这些参考书籍，收到问题后按什么顺序去寻找答案就会影响到返回答案效率和质量。

----学习检索增强生成(RAG)技术，看这篇就够了——热门RAG文章摘译(10篇)

RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。

这里我们在Intern Studio开发机中,创建conda的虚拟环境

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

如果是本地环境使用conda创建,可参考以下命令

conda create -n demo python==3.10 -y
conda activate demo
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

复制完成后，在本地查看环境。

conda env list

结果如下所示。

# conda environments:
#
base                     /root/.conda
InternLM2_Huixiangdou     /root/.conda/envs/InternLM2_Huixiangdou

运行 conda 命令，激活 InternLM2_Huixiangdou python 虚拟环境:

conda activate InternLM2_Huixiangdou

后续教程所有操作都需要在该环境下进行，重启开发机或打开新命令行后要重新激活环境。

1.2 下载基础文件

复制茴香豆所需模型文件，为了减少下载和避免 HuggingFace 登录问题，所有作业和教程涉及的模型都已经存放在 Intern Studio 开发机共享文件中。本教程选用 InternLM2-Chat-7B 作为基础模型。

# 创建模型文件夹
cd /root && mkdir models

# 软连接到BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 软连接到大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

这里补充介绍一下BCE模型是什么?

BCEmbedding*是网易有道研发的两阶段检索算法库，作为QAnything的基石发挥着重要作用。作为RAG技术路线中最为重要和基础的一环，二阶段检索器一般由召回*和精排*这两个模块组成。本文将详细讲述有道BCEmbedding二阶段检索算法设计和*实践过程，为RAG社区的语义检索优化提供思路。

QAnything[github]是网易有道检索增强生成式应用（RAG）开源项目，在有道众多商业产品实践中已积累丰富的经验，比如有道速读和有道翻译。QAnything是一个支持任意格式文件或数据库的本地知识库问答系统，可获得准确、快速、靠谱的问答体验。QAnything支持断网离线使用，可私有化。

1.3 下载安装茴香豆

安装茴香豆运行所需依赖。

# 安装 python 依赖
# pip install -r requirements.txt

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
## 想要自己尝试解析 Word 文件的同学，uncomment 掉下面这行，安装解析 .doc .docx 必需的依赖
# apt update && apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

从茴香豆官方仓库下载茴香豆。

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

2 使用茴香豆搭建 RAG 助手

2.1 修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

替换为

......
#修改用于向量数据库和词嵌入的模型
embedding_model_path = "/root/models/bce-embedding-base_v1"
#用于检索的重排序模型
reranker_model_path = "/root/models/bce-reranker-base_v1"
.....
#本次选用的大模型
local_llm_path = "/root/models/internlm2-chat-7b"

或者使用sed命令直接插入修改配置文件

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

配置好后如图

2.2 创建知识库

本示例中，使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。

首先，下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodir

git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。

除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

接受问题列表，希望茴香豆助手回答的示例问题
存储在 huixiangdou/resource/good_questions.json 中
拒绝问题列表，希望茴香豆助手拒答的示例问题
存储在 huixiangdou/resource/bad_questions.json 中
其中多为技术无关的主题或闲聊
如："nihui 是谁", "具体在哪些位置进行修改？", "你是谁？", "1+1"

运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

然后将以下内容覆盖写入到/root/huixiangdou/resource/good_questions.json(使用vi或者vscode打开该文件)

[
    "mmpose中怎么调用mmyolo接口","mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

PS:这里向量化可能会出现以下报错

2024-04-9 16:19:40.227 | ERROR    | __main__:test_reject:495 - reject query: 你好，介绍下自己
You're using a XLMRobertaTokenizerFast tokenizer. Please note that with a fast tokenizer, using the `__call__` method is faster than using a method to encode the text followed by a call to the `pad` method to get a padded encoding.
2024-04-9 16:19:40.660 | INFO     | huixiangdou.service.retriever:query:158 - target README.md file length 15378
2024-04-9 16:19:40.661 | INFO     | huixiangdou.service.retriever:query:158 - target HuixiangDou.pdf file length 27670
Traceback (most recent call last):
  File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 196, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "/root/.conda/envs/InternLM2_Huixiangdou/lib/python3.10/runpy.py", line 86, in _run_code
    exec(code, run_globals)
  File "/root/huixiangdou/huixiangdou/service/feature_store.py", line 558, in <module>
    test_query(retriever, args.sample)
  File "/root/huixiangdou/huixiangdou/service/feature_store.py", line 523, in test_query
    print(retriever.query(example))
  File "/root/huixiangdou/huixiangdou/service/retriever.py", line 184, in query
    assert (len(context) <= context_max_length)
AssertionError

这里是因为传入的文档长度(以该示例为例,实测长度为46000+)超过了最大值context_max_length,我将/root/huixiangdou/huixiangdou/service/retriever.py中存在大约109行左右的context_max_length修改为以下长度,报错消失

context_max_length: int = 50000

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。

完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

2.3 运行茴香豆知识助手

我们已经提取了知识库特征，并创建了对应的向量数据库。现在，让我们来测试一下效果：

命令行运行：

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型 InternLM2-Chat-7B，没有任何额外数据的训练。面对同样的问题，我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案：

2024-04-10 16:49:40.141 | INFO     | __main__:lark_send_only:79 - ErrorCode.SUCCESS, huixiangdou 是什么？, HuixiangDou 是一个基于 LLM（大型语言模型）的群组聊天助手。它使用两阶段管道来处理群组聊天场景，以回答用户问题，而不会导致信息过载。该工具的优点包括：

1. 两阶段管道：HuixiangDou 使用一个两阶段管道来处理群组聊天。首先，它使用一个预训练的模型来快速判断一个消息是否需要被处理。如果消息需要被处理，它将使用另一个模型来生成回答。这种设计可以避免信息过载，并提高处理效率。
2. 低成本：HuixiangDou 只需要 1.5GB 的内存，并且不需要进行训练，因此它的成本相对较低。
3. 完整套件：HuixiangDou 提供了 Web、Android 和管道源代码的完整套件，这些代码是工业级和商业上可行的。
4. 运行场景：HuixiangDou 已经在多个场景中运行，包括 WeChat 和 Feishu 群组。
5. 开源：HuixiangDou 的源代码是开源的，并且可以在 [OpenXLab](https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web) 上使用，用户可以轻松地构建自己的知识助手，而无需编写任何代码。

2024-04-10 16:50:03.332 | INFO     | __main__:lark_send_only:79 - ErrorCode.SUCCESS, 茴香豆怎么部署到微信群, 要部署茴香豆到微信群，请按照以下步骤操作：

1. **安装茴香豆**：
   - 首先，您需要从 GitHub 上下载茴香豆的源代码。
   - 在您的计算机上安装 Python 3.8 或更高版本。
   - 使用 `pip` 安装茴香豆的依赖项：`pip install -r requirements.txt`。

2. **准备数据**：
   - 您需要为茴香豆提供一些数据，例如问题、答案和相关知识。
   - 将数据整理成 JSON 格式，并保存为 `data.json` 文件。

3. **配置茴香豆**：
   - 打开 `config.ini` 文件，并根据您的需求配置参数。
   - 配置 `model` 参数，以选择您要使用的模型。
   - 配置 `data` 参数，以指定您要使用的数据文件。
   - 配置 `log` 参数，以指定日志文件的路径。

4. **运行茴香豆**：
   - 在终端中，导航到茴香豆的根目录。
   - 运行 `python huixiangdou.py` 启动茴香豆。
   - 茴香豆将开始处理数据，并准备回答用户的问题。

5. **集成到微信群**：
   - 在您的微信中，创建一个新的群聊。
   - 将茴香豆的 QQ 号添加到该群聊中。
   - 茴香豆将开始接收来自微信群的消息，并尝试回答用户的问题。

6. **测试和优化**：
   - 测试茴香豆的性能，并根据需要进行调整。
   - 您可以通过添加更多数据、调整参数或使用更高级的模型来提高茴香豆的性能。

请注意，以上步骤仅提供了一个基本的部署流程，您可能需要根据您的具体需求进行一些调整。同时，为了确保茴香豆的正常运行，请确保您的计算机具有足够的计算资源，并且您的数据集是干净、有组织且格式正确的。, ['README_zh.md']

3 茴香豆进阶（选做）

茴香豆并非单纯的 RAG 功能实现，而是一个专门针对群聊优化的知识助手，下面介绍一些茴香豆的进阶用法。详情请阅读技术报告或观看本节课理论视频。

3.1 加入网络搜索

茴香豆除了可以从本地向量数据库中检索内容进行回答，也可以加入网络的搜索结果，生成回答。

开启网络搜索功能需要用到 Serper 提供的 API：

进入 Serper API 界面，复制自己的 API-key：

替换 /huixiangdou/config.ini 中的 ${YOUR-API-KEY} 为自己的API-key：

[web_search]
# check https://serper.dev/api-key to get a free API key
x_api_key = "${YOUR-API-KEY}"
domain_partial_order = ["openai.com", "pytorch.org", "readthedocs.io", "nvidia.com", "stackoverflow.com", "juejin.cn", "zhuanlan.zhihu.com", "www.cnblogs.com"]
save_dir = "logs/web_search_result"

其中 domain_partial_order 可以设置网络搜索的范围。

3.3 利用 Gradio 搭建网页 Demo

让我们用 Gradio 搭建一个自己的网页对话 Demo，来看看效果。

首先，安装 Gradio 依赖组件：

pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4

运行脚本，启动茴香豆对话 Demo 服务：

cd /root/huixiangdou
python3 -m tests.test_query_gradio

此时服务器端接口已开启。如果在本地服务器使用，直接在浏览器中输入 127.0.0.1:7860 ，即可进入茴香豆对话 Demo 界面。

如果需要更换检索的知识领域，只需要用新的语料知识重复步骤 2.2 创建知识库提取特征到新的向量数据库，更改 huixiangdou/config.ini 文件中 work_dir = "新向量数据库路径"；

或者运行：

python3 -m tests.test_query_gradi --work_dir <新向量数据库路径>

无需重新训练或微调模型，就可以轻松的让基础模型学会新领域知识，搭建一个新的问答助手。

作业篇

基础作业 - 完成下面两个作业

1. 在茴香豆 Web 版中创建自己领域的知识问答助手

参考视频零编程玩转大模型，学习茴香豆部署群聊助手
完成不少于 400 字的笔记 + 线上茴香豆助手对话截图(不少于5轮)
（可选）参考代码在自己的服务器部署茴香豆 Web 版

2.在 `InternLM Studio` 上部署茴香豆技术助手

根据教程文档搭建 茴香豆技术助手，针对问题"茴香豆怎么部署到微信群？"进行提问
完成不少于 400 字的笔记 + 截图

与上文类似操作,故跳过

进阶作业 - 二选一

A.【应用方向】结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。

飞书、微信
可以使用茴香豆 Web 版或 InternLM Studio 云端服务器部署
涵盖部署全过程的作业报告和个人助手问答截图

这里以微信为例:

(穿越回来的博主提示,实测安卓13无法开启辅助功能,其他版本待测,还是试试飞书吧:)

我采用的是茴香豆 Web 版,先到web版创建自己的知识库,并上传wiki文件

然后点击"零开发集成微信-查看教程"查看回调地址

手机从 github release 下载编译好的 apk，安装。

然后将回调地址填写到app中

MSTG Blog

书生·浦语大模型实战营(第二期)–第三节基于 InternLM 和 LangChain 搭建你的知识库

笔记篇

0 RAG 概述

1.2 下载基础文件

这里补充介绍一下BCE模型是什么?

1.3 下载安装茴香豆

2 使用茴香豆搭建 RAG 助手

2.1 修改配置文件

2.2 创建知识库

PS:这里向量化可能会出现以下报错

2.3 运行茴香豆知识助手

3 茴香豆进阶（选做）

3.1 加入网络搜索

3.3 利用 Gradio 搭建网页 Demo

作业篇

基础作业 - 完成下面两个作业

1. 在茴香豆 Web 版中创建自己领域的知识问答助手

2.在 `InternLM Studio` 上部署茴香豆技术助手

进阶作业 - 二选一

A.【应用方向】结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。

这里以微信为例:

书生·浦语大模型实战营(第二期)–第二节轻松玩转书生·浦语大模型趣味 Demo

llm-universe-第一节

Comments NOTHING

取消回复

MSTG Blog

笔记篇

0 RAG 概述

1.2 下载基础文件

这里补充介绍一下BCE模型是什么?

1.3 下载安装茴香豆

2 使用茴香豆搭建 RAG 助手

2.1 修改配置文件

2.2 创建知识库

PS:这里向量化可能会出现以下报错

2.3 运行茴香豆知识助手

3 茴香豆进阶（选做）

3.1 加入网络搜索

3.3 利用 Gradio 搭建网页 Demo

作业篇

基础作业 - 完成下面两个作业

1. 在茴香豆 Web 版中创建自己领域的知识问答助手

2.在 InternLM Studio 上部署茴香豆技术助手

进阶作业 - 二选一

A.【应用方向】 结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。

这里以微信为例:

书生·浦语大模型 实战营(第二期)–第二节 轻松玩转书生·浦语大模型趣味 Demo

llm-universe-第一节

Comments NOTHING

取消回复

2.在 `InternLM Studio` 上部署茴香豆技术助手

A.【应用方向】结合自己擅长的领域知识（游戏、法律、电子等）、专业背景，搭建个人工作助手或者垂直领域问答助手，参考茴香豆官方文档，部署到下列任一平台。

书生·浦语大模型实战营(第二期)–第二节轻松玩转书生·浦语大模型趣味 Demo