lmdeploy 部署 OpenGVLab/InternVL3-2B-Instruct 大模型

开通Hai服务器，CS显存不够，所以就没有使用CS来部署。

安装 conda

ubuntu install conda 参考：
https://phoenixnap.com/kb/install-anaconda-ubuntu

https://repo.anaconda.com/archive/

Copy
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh

Copy
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh && ./Anaconda3-2024.10-1-Linux-x86_64.sh -b

Copy
source /home/ubuntu/anaconda3/bin/activate

创建虚拟环境 ocr，并激活，安装 lmdeploy

Copy
conda create -n ocr python=3.11 -y && conda activate ocr
pip install lmdeploy -i https://pypi.org/simple/

安装支持库 partial_json_parser timm

Copy
pip install partial_json_parser timm -i https://pypi.org/simple/

用 lmdeploy 以 api 的方式进行部署 OpenGVLab/InternVL3-2B-Instruct，并在 8888 端口上运行。速度会比较慢，冲一杯咖啡，休息一下。

Copy
lmdeploy serve api_server OpenGVLab/InternVL3-2B-Instruct --backend turbomind --server-port 8888 --tp 1

不知道为什么，我这边不能直接打开这个端口，所以需要用到穿透服务，
创建密钥

Copy
ssh-keygen -t ed25519

默认回车就好

执行穿透命令

Copy
ssh srv.us -R 1:localhost:8888

这里的 8888 端口就是上面部署成功的，我们打开穿透的网址

部署成功，之后我们使用 open-webui 来进行调用

安装 open-webui

Copy
pip install open-webui -i https://pypi.python.org/simple

运行 open-webui

Copy
open-webui serve

在执行一次穿透命令
这次是穿透 open-webui

Copy
ssh srv.us -R 1:localhost:8080

作者在此建议，可以把两次穿透命令和在一起一次执行。

Copy
ssh srv.us -R 1:localhost:8888 -R 2:localhost:8080

之后分别打开上面的地址，open-webui 需要进行初始化即创建管理员账号

上图的箭头指示是开源设置密钥，这个需要在 open-webui 添加模型是使用。

设置参考如图

完成后，返回，我们新创建对话，选择我们的模型 OpenGVLab/InternVL3-2B-Instruct

到此部署完成，由于测试出现了一些 bug，也不清楚是哪里出了问题，等下次有时间，再补上。