Cloud Studio 通过 vllm 部署 Qwen2.5-1.5B-Instruct 大模型#
ps: 本来笔者是想部署 qwq:32b 大模型，哪怕用到了进阶版的 hai 服务器，都没有成功（显存和内存不够大，所以均以失败告终），最后只能选择部署 wen2.5-1.5B-Instruct 模型来进行测试。
这里我们选用cloud studio 的高性能空间，基础款
首先安装vllm
python -m pip install --upgrade pip
等待的时间稍微久一点，大家耐心等待
安装 vllmpip install vllm
安装成功之后我们输入命令vllm 进行简单的测试，看看安装是否正常。
接着我们安装pip install modelscope
安装pip install openai
安装pip install tqdm和pip install transformers
分割线部分，无需理会，忽略就好，也不用运行。
----------------- 分割线开始 -----------------
1. 在当前目录新建 tmp 文件夹mkdir tmp, 或者直接新建。
新建 model_download_32b.py 代码如下：
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/QwQ-32B', cache_dir='./tmp', revision='master')
2. 运行 model_download_32b.py, 会下载 qwq32b 这个模型，由于我的机器资源是新加坡，所以速度比较慢。
python model_download_32b.py
需要等等， U_U ~~
----------------- 分割线结束 -----------------
由于机子的资源是新加坡机房，所以访问国内的魔塔社区的模型速度比较慢。
大家可以用 git lfs clone 来使用 hf 的模型文件，这样速度会比较快
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs
git lfs clone https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct
这个就是从 hf 拉取 Qwen2.5-1.5B-Instruct 模型。
由于显存和内存的关系，笔者测试多个模型均宣告失败，故选择了 Qwen2.5-1.5B-Instruct 大模型进行测试，这篇博文是一篇开了一台 hai 来部署的机子。奈何上面几个模型都不支持，白开了。
ok 我们继续，等待拉取完成。
创建兼容 OpenAI API 接口的服务器
vllm 具体用法详见官方文档
python -m vllm.entrypoints.openai.api_server \
--model ./Qwen2.5-1.5B-Instruct \
--served-model-name Qwen2.5-1.5B \
--max-model-len=2048 \
--dtype=half
看到这个界面就是部署成功了
我们打开https://ohaxxx.ap-singapore.cloudstudio.work/proxy/8000/version 这样的网址，看看是否能正常访问
我们接下来进行客户端的配置，老生常谈
怎么配置都是不起作用，只能尝试打穿它
老命令ssh srv.us -R 1:localhost:8000
如果报错，根据提示创建密钥就行
ssh-keygen -t ed25519
全部默认回车就好，之后在重新运行ssh srv.us -R 1:localhost:8000命令
配置客户端 chatx
看清楚，网址后面不带斜杠
对话框进行测试
终于使用 vllm 部署大模型完成。基本算得上是通用部署教程了，因为只要内存和显存足够，理论上支持部署任何 hf 上的大模型。教程到此结束。
历时近 6 个小时，使用 hai 接近 3 个小时。一小时 3.5 左右。。。关键是最后写成了，最后没有使用 hai 的自定义机器，踩坑无数，终于写完。
U_U ~_~ D_D
最后的呐喊，能不能把我用 hai 的费用补回来！！！
能不能把我用 hai 的费用补回来！！！
费用补回来！！！