从认识 InternLM 到 8G 显存部署：Demo、LMDeploy 与 OpenCompass 评测

书生·浦语大模型全链路开源开放体系的历程及最新版本的特征#

书生·浦语大模型开源开放体系在多个方面表现出色，包括数据收集整理、模型训练、微调、评测和搜索引擎AI应用的部署等方面。最新版本书生·浦语大模型2.5在推理能力和短期记忆等方面有质的飞跃，并开放了label LLM项目，方便标注数据。此外，视频还介绍了模型的性能天梯和应用前景。

• 书生浦语大模型开源开放体系
• InputLM2.5性能飞跃
• 迭代发展过程中的数据驱动模型性能

基于规则、模型和反馈的数据生成方法，以及如何使用开源项目进行标注和推理#

反映模型的数据生成方法在模型优化和训练过程中至关重要，以下是一些关键方法的介绍：

• 基于模型的反馈数据生成方法：包括相似度对齐和基于反馈的强化训练。
• 大海捞针实验：介绍模型的推理能力和大海捞针实验，模型在处理稀长背景知识的表现。
• 问题匹配分块：介绍问题匹配分块的方法，可以用于语言模型的索引和问题理解。

mind search项目#

mind search项目展示了其在语言模型、预训练模型、微调框架、部署工具等方面的强大功能和应用潜力。

• Mindsearch项目和书生普与开源模型谱系
• 部署工具和评测工具
• 应用方面的工具和框架

开源数据提取工具Minor U和预训练框架XTNER#

Minor U和XTNER提供了无缝衔接和数据格式兼容性的功能，极大地加速了模型的训练和优化过程。

• 智能体框架和开源工具无缝衔接
• 微调框架和数据格式兼容性
• 使用XTNER进行微调的方法和流程

EXTINA的评测和部署#

EXTINA通过微调和Open Compass评测模型，以及lm deploy的推理性能对比，构建了智能体框架建设方案。

• 使用EXTINA微调和Open Compass评测模型
• lm deploy模型部署框架和智能体框架
• 基于AI的搜索引擎和知识插件

知识管理工具笞香豆的企业级应用#

知识管理工具笞香豆通过可视化、强生和知识图谱生成，支持搜索和思考过程的展示，推动了开源生态系统的完善和实践营的创新发展。

• 思维可视化：通过搜索和思考1900年和1924年的相关信息，展示了模拟人脑思维逻辑的可视化过程。
• 支持检索增强生成和知识图谱：理解群体行为。
• 赋能创新：通过开源生态实践营，持续以高质量的开源赋能创新。

在人工智能的快速发展中，书生·浦语大模型全链路开源开放体系无疑是一颗璀璨的明珠。它不仅在技术上不断推陈出新，在应用上也不断拓展，为各行各业带来了无限的可能。期待未来它能为更多领域提供支持，推动社会的智能化发展。

一、用Cli Demo 部署#

1.创建demo文件夹，用于存放代码。并创建 cli_demo.py文件

1
mkdir -p /root/demo
2
touch /root/demo/cli_demo.py

其中cli_demo.py 的代码为：

1
import torch
2
from transformers import AutoTokenizer, AutoModelForCausalLM
3

4

5
model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"
6

7
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
8
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
9
model = model.eval()
10

11
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
12
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
13
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
14
"""
15

16
messages = [(system_prompt, '')]
17

18
print("===========**Welcome to InternLM chatbot, type 'exit' to exit.**===========")
19

20
while True:
21
    input_text = input("\nUser  >>> ")
22
    input_text = input_text.replace(' ', '')
23
    if input_text == "exit":
24
        break
25

26
    length = 0
27
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
28
        if response is not None:
29
            print(response[length:], flush=True, end="")
30
            length = len(response)

2.在终端执行python /root/demo/cli_demo.py命令启动Demo

3.使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事

二、用Streamlit Web Demo 部署#

1.clone InternLM 的github仓库 到本地：

1
cd /root/demo
2
git clone https://github.com/InternLM/Tutorial.git

2.启动Streamlit 服务：

1
cd /root/demo
2
streamlit run /root/demo/Tutorial/tools/streamlit_demo.py --server.address 127.0.0.1 --server.port 6006

3.在本地的 PowerShell 中输入以下命令，将端口映射到本地：

1
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号

4.完成端口映射后，通过浏览器访问 http://localhost:6006 来启动我们的 Demo。

一、InternLM-XComposer2-VL-1.8B 模型#

1
conda activate demo
2
pip install lmdeploy[all]==0.5.1
3
pip install timm==1.0.7

1
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1

1
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36558

二、InternVL2-2B 模型#

1
conda activate demo
2
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1

1
ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 36558