Cloud Studio 透過 vllm 部署 Qwen2.5-1.5B-Instruct 大模型#
ps: 本來筆者是想部署 qwq:32b 大模型，哪怕用到了進階版的 hai 伺服器，都沒有成功（顯存和內存不夠大，所以均以失敗告終），最後只能選擇部署 wen2.5-1.5B-Instruct 模型來進行測試。
這裡我們選用cloud studio 的高性能空間，基礎款
首先安裝vllm
python -m pip install --upgrade pip
等待的時間稍微久一點，大家耐心等待
安裝 vllmpip install vllm
安裝成功之後我們輸入命令vllm 進行簡單的測試，看看安裝是否正常。
接著我們安裝pip install modelscope
安裝pip install openai
安裝pip install tqdm和pip install transformers
分割線部分，無需理會，忽略就好，也不用運行。
----------------- 分割線開始 -----------------
1. 在當前目錄新建 tmp 文件夾mkdir tmp, 或者直接新建。
新建 model_download_32b.py 代碼如下：
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/QwQ-32B', cache_dir='./tmp', revision='master')
2. 運行 model_download_32b.py, 會下載 qwq32b 這個模型，由於我的機器資源是新加坡，所以速度比較慢。
python model_download_32b.py
需要等等， U_U ~~
----------------- 分割線結束 -----------------
由於機子的資源是新加坡機房，所以訪問國內的魔塔社區的模型速度比較慢。
大家可以用 git lfs clone 來使用 hf 的模型文件，這樣速度會比較快
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
git lfs clone https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct
這個就是從 hf 拉取 Qwen2.5-1.5B-Instruct 模型。
由於顯存和內存的關係，筆者測試多個模型均宣告失敗，故選擇了 Qwen2.5-1.5B-Instruct 大模型進行測試，這篇博文是一篇開了一台 hai 來部署的機子。奈何上面幾個模型都不支持，白開了。
ok 我們繼續，等待拉取完成。
創建兼容 OpenAI API 接口的伺服器
vllm 具體用法詳見官方文檔
python -m vllm.entrypoints.openai.api_server \
--model ./Qwen2.5-1.5B-Instruct \
--served-model-name Qwen2.5-1.5B \
--max-model-len=2048 \
--dtype=half
看到這個界面就是部署成功了
我們打開https://ohaxxx.ap-singapore.cloudstudio.work/proxy/8000/version 這樣的網址，看看是否能正常訪問
我們接下來進行客戶端的配置，老生常談
怎麼配置都是不起作用，只能嘗試打穿它
老命令ssh srv.us -R 1:localhost:8000
如果報錯，根據提示創建密鑰就行
ssh-keygen -t ed25519
全部默認回車就好，之後在重新運行ssh srv.us -R 1:localhost:8000命令
配置客戶端 chatx
看清楚，網址後面不帶斜杠
對話框進行測試
終於使用 vllm 部署大模型完成。基本算得上是通用部署教程了，因為只要內存和顯存足夠，理論上支持部署任何 hf 上的大模型。教程到此結束。
歷時近 6 個小時，使用 hai 接近 3 個小時。一小時 3.5 左右。。。關鍵是最後寫成了，最後沒有使用 hai 的自定義機器，踩坑無數，終於寫完。
U_U ~_~ D_D
最後的呐喊，能不能把我用 hai 的費用補回來！！！
能不能把我用 hai 的費用補回來！！！
費用補回來！！！