#
安裝 conda#
ubuntu install conda 參考：
https://phoenixnap.com/kb/install-anaconda-ubuntu
https://repo.anaconda.com/archive/
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh && ./Anaconda3-2024.10-1-Linux-x86_64.sh -b
source /home/ubuntu/anaconda3/bin/activate
創建虛擬環境 ocr，並激活，安裝 lmdeploy#
conda create -n ocr python=3.11 -y && conda activate ocr
pip install lmdeploy -i https://pypi.org/simple/
安裝支持庫 partial_json_parser timm#
pip install partial_json_parser timm -i https://pypi.org/simple/
用 lmdeploy 以 api 的方式進行部署 OpenGVLab/InternVL3-2B-Instruct，並在 8888 端口上運行。速度會比較慢，沖一杯咖啡，休息一下。#
lmdeploy serve api_server OpenGVLab/InternVL3-2B-Instruct --backend turbomind --server-port 8888 --tp 1
不知道為什麼，我這邊不能直接打開這個端口，所以需要用到穿透服務，
創建密鑰
ssh-keygen -t ed25519
默認回車就好
執行穿透命令
ssh srv.us -R 1:localhost:8888
這裡的 8888 端口就是上面部署成功的，我們打開穿透的網址
部署成功，之後我們使用 open-webui 來進行調用
安裝 open-webui#
pip install open-webui -i https://pypi.python.org/simple
運行 open-webui#
open-webui serve
在執行一次穿透命令
這次是穿透 open-webui
ssh srv.us -R 1:localhost:8080
作者在此建議，可以把兩次穿透命令和在一起一次執行。
ssh srv.us -R 1:localhost:8888 -R 2:localhost:8080
之後分別打開上面的地址，open-webui 需要進行初始化即創建管理員賬號
上圖的箭頭指示是開源設置密鑰，這個需要在 open-webui 添加模型是使用。
設置參考如圖
完成後，返回，我們新創建對話，選擇我們的模型 OpenGVLab/InternVL3-2B-Instruct
到此部署完成，由於測試出現了一些 bug，也不清楚是哪里出了問題，等下次有時間，再補上。