#
安装 conda#
ubuntu install conda 参考：
https://phoenixnap.com/kb/install-anaconda-ubuntu
https://repo.anaconda.com/archive/
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh && ./Anaconda3-2024.10-1-Linux-x86_64.sh -b
source /home/ubuntu/anaconda3/bin/activate
创建虚拟环境 ocr，并激活，安装 lmdeploy#
conda create -n ocr python=3.11 -y && conda activate ocr
pip install lmdeploy -i https://pypi.org/simple/
安装支持库 partial_json_parser timm#
pip install partial_json_parser timm -i https://pypi.org/simple/
用 lmdeploy 以 api 的方式进行部署 OpenGVLab/InternVL3-2B-Instruct，并在 8888 端口上运行。速度会比较慢，冲一杯咖啡，休息一下。#
lmdeploy serve api_server OpenGVLab/InternVL3-2B-Instruct --backend turbomind --server-port 8888 --tp 1
不知道为什么，我这边不能直接打开这个端口，所以需要用到穿透服务，
创建密钥
ssh-keygen -t ed25519
默认回车就好
执行穿透命令
ssh srv.us -R 1:localhost:8888
这里的 8888 端口就是上面部署成功的，我们打开穿透的网址
部署成功，之后我们使用 open-webui 来进行调用
安装 open-webui#
pip install open-webui -i https://pypi.python.org/simple
运行 open-webui#
open-webui serve
在执行一次穿透命令
这次是穿透 open-webui
ssh srv.us -R 1:localhost:8080
作者在此建议，可以把两次穿透命令和在一起一次执行。
ssh srv.us -R 1:localhost:8888 -R 2:localhost:8080
之后分别打开上面的地址，open-webui 需要进行初始化即创建管理员账号
上图的箭头指示是开源设置密钥，这个需要在 open-webui 添加模型是使用。
设置参考如图
完成后，返回，我们新创建对话，选择我们的模型 OpenGVLab/InternVL3-2B-Instruct
到此部署完成，由于测试出现了一些 bug，也不清楚是哪里出了问题，等下次有时间，再补上。