一、前置知识#

• 给模型注入新知识的方式：
  • 内部方式：更新模型的权重，但训练代价较大。
  • 外部方式：给模型注入额外的上下文或外部信息，不改变其权重。
• RAG 工作原理：
  • 将问题编码成向量，在向量数据库中找到最相关的文档块（top-k chunks）。
  • 将知识源分割成小块，编码成向量并存储在向量数据库中。
  • 将检索到的文档块与原始问题一起作为提示输入到 LLM 中，生成最终的回答。
• RAG 效果比对：
  • 由于 xtuner 是较新的框架，InternLM2-Chat-1.8B 训练数据库中未收录相关信息，使用 RAG 前问答均未给出准确答案，使用后能获得想要的答案。

二、环境、模型准备#

三、LlamaIndex HuggingFaceLLM#

• 运行以下指令，把 InternLM2 1.8B 软连接出来：

  1
  cd ~/model
  2
  ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./

• 新建一个 python 文件，贴入以下代码：

  1
  from llama_index.llms.huggingface import HuggingFaceLLM
  2
  from llama_index.core.llms import ChatMessage
  3
  
  4
  llm = HuggingFaceLLM(
  5
      model_name="/root/model/internlm2-chat-1_8b",
  6
      tokenizer_name="/root/model/internlm2-chat-1_8b",
  7
      model_kwargs={"trust_remote_code": True},
  8
      tokenizer_kwargs={"trust_remote_code": True}
  9
  )
  10
  
  11
  rsp = llm.chat(messages=[ChatMessage(content="xtuner 是什么？")])
  12
  print(rsp)

• 运行以下命令：

  1
  conda activate llamaindex
  2
  cd ~/llamaindex_demo/
  3
  python llamaindex_internlm.py

• 结果回答效果并不好，不是想要的 xtuner。

四、LlamaIndex RAG#

• 安装 LlamaIndex 词嵌入向量依赖：

  1
  conda activate llamaindex
  2
  pip install llama-index-embeddings-huggingface==0.2.0 llama-index-embeddings-instructor==0.1.3

• 获取知识库：

  1
  cd ~/llamaindex_demo
  2
  mkdir data
  3
  cd data
  4
  git clone https://github.com/InternLM/xtuner.git
  5
  mv xtuner/README_zh-CN.md ./

• 新建一个 python 文件，贴入以下代码：

  1
  from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
  2
  from llama_index.embeddings.huggingface import HuggingFaceEmbedding
  3
  from llama_index.llms.huggingface import HuggingFaceLLM
  4
  
  5
  # 初始化一个 HuggingFaceEmbedding 对象，用于将文本转换为向量表示
  6
  embed_model = HuggingFaceEmbedding(
  7
      model_name="/root/model/sentence-transformer"
  8
  )
  9
  Settings.embed_model = embed_model
  10
  
  11
  llm = HuggingFaceLLM(
  12
      model_name="/root/model/internlm2-chat-1_8b",
  13
      tokenizer_name="/root/model/internlm2-chat-1_8b",
  14
      model_kwargs={"trust_remote_code": True},
  15
      tokenizer_kwargs={"trust_remote_code": True}
  16
  )
  17
  Settings.llm = llm
  18
  
  19
  # 从指定目录读取所有文档，并加载数据到内存中
  20
  documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
  21
  index = VectorStoreIndex.from_documents(documents)
  22
  query_engine = index.as_query_engine()
  23
  response = query_engine.query("xtuner 是什么?")
  24
  
  25
  print(response)

  展开收起

• 运行以下命令：

  1
  conda activate llamaindex
  2
  cd ~/llamaindex_demo/
  3
  python llamaindex_RAG.py

• 结果借助 RAG 技术后，能获得想要的答案。

五、LlamaIndex Web#

• 安装依赖：

  1
  pip install streamlit==1.36.0

• 新建一个 python 文件，贴入以下代码：

  1
  import streamlit as st
  2
  from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
  3
  from llama_index.embeddings.huggingface import HuggingFaceEmbedding
  4
  from llama_index.llms.huggingface import HuggingFaceLLM
  5
  
  6
  st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
  7
  st.title("llama_index_demo")
  8
  
  9
  # 初始化模型
  10
  @st.cache_resource
  11
  def init_models():
  12
      embed_model = HuggingFaceEmbedding(
  13
          model_name="/root/model/sentence-transformer"
  14
      )
  15
      Settings.embed_model = embed_model
  16
  
  17
      llm = HuggingFaceLLM(
  18
          model_name="/root/model/internlm2-chat-1_8b",
  19
          tokenizer_name="/root/model/internlm2-chat-1_8b",
  20
          model_kwargs={"trust_remote_code": True},
  21
          tokenizer_kwargs={"trust_remote_code": True}
  22
      )
  23
      Settings.llm = llm
  24
  
  25
      documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
  26
      index = VectorStoreIndex.from_documents(documents)
  27
      query_engine = index.as_query_engine()
  28
  
  29
      return query_engine
  30
  
  31
  # 检查是否需要初始化模型
  32
  if 'query_engine' not in st.session_state:
  33
      st.session_state['query_engine'] = init_models()
  34
  
  35
  def greet2(question):
  36
      response = st.session_state['query_engine'].query(question)
  37
      return response

  展开收起

  Store LLM generated responses#

  if “messages” not in st.session_state.keys(): st.session_state.messages = [{“role”: “assistant”, “content”: “你好，我是你的助手，有什么我可以帮助你的吗？”}]

  Display or clear chat messages#

  for message in st.session_state.messages: with st.chat_message(message[“role”]): st.write(message[“content”])

  def clear_chat_history(): st.session_state.messages = [{“role”: “assistant”, “content”: “你好，我是你的助手，有什么我可以帮助你的吗？”}]

  st.sidebar.button(‘Clear Chat History’, on_click=clear_chat_history)

  Function for generating LLaMA2 response#

  def generate_llama_response(question): response = greet2(question) return response

  User-provided prompt#

  if prompt := st.chat_input(“What’s on your mind?”): st.chat_message(“user”).write(prompt) with st.chat_message(“assistant”): message_placeholder = st.empty() response = generate_llama_response(prompt) message_placeholder.write(response) st.session_state.messages.append({“role”: “assistant”, “content”: response})

• 启动 Streamlit 服务：

  1
  cd ~/llamaindex_demo/
  2
  streamlit run llamaindex_streamlit.py

• 打开浏览器，访问 https://locahost:XXX。

六、总结#

• 本文介绍如何结合 LlamaIndex 和 InternLM2 部署 RAG，为大模型注入最新知识库，效果显著。

七、作业#

==RAG前==

==RAG后==

==使用Streamlit部署webui（使用RAG）==