使用 InternLM 构建个人 AI 助手：Prompt、RAG、Agent 与 XTuner 微调

前言#

在日常使用大模型时，我发现它经常在数字比对这类基础问题上出错，并且输出结果很不严谨。为了解决这个问题，我尝试使用Prompt Engineering， 并在网上找到了一个开源的「结构化提示词框架」— LangGPT，以下是我的使用过程记录。

实现步骤#

step0：前期准备

1. 创建虚拟环境->激活虚拟环境->安装必要包文件
2. 创建项目路径->进入项目
3. 安装必要软件，如tmux

step1：模型部署 模型下载->部署模型为OpenAI server->图形化界面调用

step3：langgpt结构化提示词编写 偷懒大法：GPTS有LangGPT提示词专家，用大模型生成即可

tmux使用#

tmux可以在终端中创建终端，将进程维持在后台。

所以当我们下载模型，使用tmux在后台下载时，即便我们断开ssh连接，下载也不会中断。

step1：部署模型为OpenAI server

1
tmux new -t <session_name>

1
tmux a -t <session_name>

1
tmux ls

1
tmux attach -t <session_name>

1
tmux kill-session -t <session_name>

1
CUDA_VISIBLE_DEVICES=0 lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b --server-port 23333 --api-keys internlm2

1
from openai import OpenAI
2

3
client = OpenAI(
4
    api_key = "internlm2",
5
    base_url = "http://0.0.0.0:23333/v1"
6
)
7

8
response = client.chat.completions.create(
9
    model=client.models.list().data[0].id,
10
    messages=[
11
        {"role": "system", "content": "请介绍一下你自己"}
12
    ]
13
)
14

15
print(response.choices[0].message.content)

作业：#

基础任务 (完成此任务即完成闯关)：

• 背景问题：近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。

• 任务要求：利用LangGPT优化提示词，使LLM输出正确结果。完成一次并提交截图即可

使用GPTS中LangGPT提示词专家，配合我们的需求生成LangGPT结构化提示词

生成结果如下：

1
# Role: 数学助手
2

3
## Profile
4
- author: LangGPT
5
- version: 1.0
6
- language: 中文
7
- description: 一个能够进行基本数学加减法运算，并能够比较两个数字大小的助手。
8

9
## Skills
10
1. 能够进行基本的数学加法和减法运算。
11
2. 能够比较两个数字的大小，并给出相应的判断。
12
3. 能够理解用户输入的简单数学表达式或问题描述。
13

14
## Rules
15
1. 用户输入可以是任意两个数字或一个包含加法、减法的表达式。
16
2. 当输入两个数字时，助手应比较它们的大小，并返回结果。
17
3. 当输入一个加法或减法表达式时，助手应计算出结果并返回。
18
4. 如果用户输入有误或不符合数学表达式规则，助手应给出提示并要求重新输入。
19

20
## Workflows
21
1. 接收用户输入的数字或数学表达式。
22
2. 判断输入的类型（两个数字或数学表达式）。
23
3. 如果是两个数字，执行大小比较，并返回结果。
24
4. 如果是数学表达式，进行加法或减法计算，返回结果。
25
5. 如果输入不符合预期格式，返回错误提示，要求用户重新输入。
26

27
## Init
28
1. 向用户介绍助手的功能和使用方法。
29
2. 提示用户可以输入两个数字进行比较，或输入一个加法、减法表达式进行计算。

加入系统提示词前： PS：估计InternLM2-chat-1_8b版本太久远了，所以回答不出来🤔

加入系统提示词后： PS：效果明显变好了😋

Reference：#

1.LangGPT社区：LangGPT结构化提示词 - 飞书云文档 2.浦语开源文档书生浦语-浦语提示词工程实践 3.文档：系统论述文章： 构建高性能 Prompt 之路——结构化 Prompt

一、前置知识#

• 给模型注入新知识的方式：
  • 内部方式：更新模型的权重，但训练代价较大。
  • 外部方式：给模型注入额外的上下文或外部信息，不改变其权重。
• RAG 工作原理：
  • 将问题编码成向量，在向量数据库中找到最相关的文档块（top-k chunks）。
  • 将知识源分割成小块，编码成向量并存储在向量数据库中。
  • 将检索到的文档块与原始问题一起作为提示输入到 LLM 中，生成最终的回答。
• RAG 效果比对：
  • 由于 xtuner 是较新的框架，InternLM2-Chat-1.8B 训练数据库中未收录相关信息，使用 RAG 前问答均未给出准确答案，使用后能获得想要的答案。

二、环境、模型准备#

三、LlamaIndex HuggingFaceLLM#

• 运行以下指令，把 InternLM2 1.8B 软连接出来：

  1
  cd ~/model
  2
  ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./

• 新建一个 python 文件，贴入以下代码：

  1
  from llama_index.llms.huggingface import HuggingFaceLLM
  2
  from llama_index.core.llms import ChatMessage
  3
  
  4
  llm = HuggingFaceLLM(
  5
      model_name="/root/model/internlm2-chat-1_8b",
  6
      tokenizer_name="/root/model/internlm2-chat-1_8b",
  7
      model_kwargs={"trust_remote_code": True},
  8
      tokenizer_kwargs={"trust_remote_code": True}
  9
  )
  10
  
  11
  rsp = llm.chat(messages=[ChatMessage(content="xtuner 是什么？")])
  12
  print(rsp)

• 运行以下命令：

  1
  conda activate llamaindex
  2
  cd ~/llamaindex_demo/
  3
  python llamaindex_internlm.py

• 结果回答效果并不好，不是想要的 xtuner。

四、LlamaIndex RAG#

• 安装 LlamaIndex 词嵌入向量依赖：

  1
  conda activate llamaindex
  2
  pip install llama-index-embeddings-huggingface**0.2.0 llama-index-embeddings-instructor**0.1.3

• 获取知识库：

  1
  cd ~/llamaindex_demo
  2
  mkdir data
  3
  cd data
  4
  git clone https://github.com/InternLM/xtuner.git
  5
  mv xtuner/README_zh-CN.md ./

• 新建一个 python 文件，贴入以下代码：

  1
  from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
  2
  from llama_index.embeddings.huggingface import HuggingFaceEmbedding
  3
  from llama_index.llms.huggingface import HuggingFaceLLM
  4
  
  5
  # 初始化一个 HuggingFaceEmbedding 对象，用于将文本转换为向量表示
  6
  embed_model = HuggingFaceEmbedding(
  7
      model_name="/root/model/sentence-transformer"
  8
  )
  9
  Settings.embed_model = embed_model
  10
  
  11
  llm = HuggingFaceLLM(
  12
      model_name="/root/model/internlm2-chat-1_8b",
  13
      tokenizer_name="/root/model/internlm2-chat-1_8b",
  14
      model_kwargs={"trust_remote_code": True},
  15
      tokenizer_kwargs={"trust_remote_code": True}
  16
  )
  17
  Settings.llm = llm
  18
  
  19
  # 从指定目录读取所有文档，并加载数据到内存中
  20
  documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
  21
  index = VectorStoreIndex.from_documents(documents)
  22
  query_engine = index.as_query_engine()
  23
  response = query_engine.query("xtuner 是什么?")
  24
  
  25
  print(response)

  展开收起

• 运行以下命令：

  1
  conda activate llamaindex
  2
  cd ~/llamaindex_demo/
  3
  python llamaindex_RAG.py

• 结果借助 RAG 技术后，能获得想要的答案。

五、LlamaIndex Web#

• 安装依赖：

  1
  pip install streamlit==1.36.0

• 新建一个 python 文件，贴入以下代码：

  1
  import streamlit as st
  2
  from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
  3
  from llama_index.embeddings.huggingface import HuggingFaceEmbedding
  4
  from llama_index.llms.huggingface import HuggingFaceLLM
  5
  
  6
  st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
  7
  st.title("llama_index_demo")
  8
  
  9
  # 初始化模型
  10
  @st.cache_resource
  11
  def init_models():
  12
      embed_model = HuggingFaceEmbedding(
  13
          model_name="/root/model/sentence-transformer"
  14
      )
  15
      Settings.embed_model = embed_model
  16
  
  17
      llm = HuggingFaceLLM(
  18
          model_name="/root/model/internlm2-chat-1_8b",
  19
          tokenizer_name="/root/model/internlm2-chat-1_8b",
  20
          model_kwargs={"trust_remote_code": True},
  21
          tokenizer_kwargs={"trust_remote_code": True}
  22
      )
  23
      Settings.llm = llm
  24
  
  25
      documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
  26
      index = VectorStoreIndex.from_documents(documents)
  27
      query_engine = index.as_query_engine()
  28
  
  29
      return query_engine
  30
  
  31
  # 检查是否需要初始化模型
  32
  if 'query_engine' not in st.session_state:
  33
      st.session_state['query_engine'] = init_models()
  34
  
  35
  def greet2(question):
  36
      response = st.session_state['query_engine'].query(question)
  37
      return response
  38
  
  39
  
  40
  # Store LLM generated responses
  41
  if "messages" not in st.session_state.keys():
  42
      st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]
  43
  
  44
  # Display or clear chat messages
  45
  for message in st.session_state.messages:
  46
      with st.chat_message(message["role"]):
  47
          st.write(message["content"])
  48
  
  49
  def clear_chat_history():
  50
      st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]
  51
  
  52
  st.sidebar.button('Clear Chat History', on_click=clear_chat_history)
  53
  
  54
  # Function for generating LLaMA2 response
  55
  
  56
  
  57
  def generate_llama_response(question):
  58
      response = greet2(question)
  59
      return response
  60
  
  61
  # User-provided prompt
  62
  if prompt := st.chat_input("What's on your mind?"):
  63
      st.chat_message("user").write(prompt)
  64
      with st.chat_message("assistant"):
  65
          message_placeholder = st.empty()
  66
          response = generate_llama_response(prompt)
  67
          message_placeholder.write(response)
  68
      st.session_state.messages.append({"role": "assistant", "content": response})

  展开收起

• 启动 Streamlit 服务：

  1
  cd ~/llamaindex_demo/
  2
  streamlit run llamaindex_streamlit.py

• 打开浏览器，访问 https://localhost:XXX。

六、总结#

• 本文介绍如何结合 LlamaIndex 和 InternLM2 部署 RAG，为大模型注入最新知识库，效果显著。

七、作业#

RAG前

RAG后

使用Streamlit部署webui（使用RAG）

启动webui服务#

使用lmdeploy启动一个api_server

1
conda activate agent_camp3
2
lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat --model-name internlm2_5-7b-chat

另开一个终端，使用stremlit启动agent_web应用

1
cd /root/agent_camp3/lagent
2
conda activate agent_camp3
3
streamlit run examples/internlm2_agent_web_demo.py

本地powershell建立ssh连接，进行端口映射

Q&A#

1
ModuleNotFoundError: No module named 'griffe.enumerations

1
Due to griffe's recent 1.x release, the `griffe.enumerations` module has been removed, resulting in a break change, which can be resolved by
2
`pip install griffe==0.48`.

修改模型名称以及模型IP地址#

启动streamlit的web应用如下：

修改红框内的内容

终端的反馈：

PS:很是可惜，没有找到我想要的内容[1706.03762] Attention Is All You Need (arxiv.org)

自定义工具#

进入lagent_web_demo的py文件中

添加&修改代码：

1
from lagent.actions import ActionExecutor, ArxivSearch, IPythonInterpreter
2
+ from lagent.actions.magicmaker import MagicMaker
3
from lagent.agents.internlm2_agent import INTERPRETER_CN, META_CN, PLUGIN_CN, Internlm2Agent, Internlm2Protocol
4

5
...
6
        action_list = [
7
            ArxivSearch(),
8
+             MagicMaker(),
9
        ]

重新启动agent_web服务

使用MagicMaker工具绘画

Prompt：帮我画一个微笑的女孩，穿着校服在学校的走廊上，阳光照耀在她身上

可以看到对于用户输入的提示词，有自动进行填充完善

任务内容#

完成任务截图#