Cloud Studio 通过vllm 部署 Qwen2.5-1.5B-Instruct大模型

Cloud Studio 通过 vllm 部署 Qwen2.5-1.5B-Instruct 大模型

ps: 本来笔者是想部署 qwq:32b 大模型，哪怕用到了进阶版的 hai 服务器，都没有成功（显存和内存不够大，所以均以失败告终），最后只能选择部署 wen2.5-1.5B-Instruct 模型来进行测试。

这里我们选用cloud studio 的高性能空间，基础款

首先安装vllm

Copy
python -m pip install --upgrade pip

等待的时间稍微久一点，大家耐心等待
安装 vllmpip install vllm

安装成功之后我们输入命令vllm 进行简单的测试，看看安装是否正常。

接着我们安装pip install modelscope

安装pip install openai

安装pip install tqdm和pip install transformers

分割线部分，无需理会，忽略就好，也不用运行。
----------------- 分割线开始 -----------------

1. 在当前目录新建 tmp 文件夹mkdir tmp, 或者直接新建。
新建 model_download_32b.py 代码如下：

Copy
from modelscope import snapshot_download

model_dir = snapshot_download('Qwen/QwQ-32B', cache_dir='./tmp', revision='master')

2. 运行 model_download_32b.py, 会下载 qwq32b 这个模型，由于我的机器资源是新加坡，所以速度比较慢。

Copy
python model_download_32b.py

需要等等， U_U ~~
----------------- 分割线结束 -----------------

由于机子的资源是新加坡机房，所以访问国内的魔塔社区的模型速度比较慢。
大家可以用 git lfs clone 来使用 hf 的模型文件，这样速度会比较快

lfs 安装指南

Copy
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt-get install git-lfs

Copy
git lfs clone https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct

这个就是从 hf 拉取 Qwen2.5-1.5B-Instruct 模型。
由于显存和内存的关系，笔者测试多个模型均宣告失败，故选择了 Qwen2.5-1.5B-Instruct 大模型进行测试，这篇博文是一篇开了一台 hai 来部署的机子。奈何上面几个模型都不支持，白开了。
ok 我们继续，等待拉取完成。

创建兼容 OpenAI API 接口的服务器
vllm 具体用法详见官方文档

Copy
python -m vllm.entrypoints.openai.api_server \
--model ./Qwen2.5-1.5B-Instruct \
--served-model-name Qwen2.5-1.5B \
--max-model-len=2048 \
--dtype=half

看到这个界面就是部署成功了

我们打开https://ohaxxx.ap-singapore.cloudstudio.work/proxy/8000/version 这样的网址，看看是否能正常访问

我们接下来进行客户端的配置，老生常谈
怎么配置都是不起作用，只能尝试打穿它
老命令ssh srv.us -R 1:localhost:8000
如果报错，根据提示创建密钥就行
ssh-keygen -t ed25519
全部默认回车就好，之后在重新运行ssh srv.us -R 1:localhost:8000命令

配置客户端 chatx

看清楚，网址后面不带斜杠

对话框进行测试

终于使用 vllm 部署大模型完成。基本算得上是通用部署教程了，因为只要内存和显存足够，理论上支持部署任何 hf 上的大模型。教程到此结束。

历时近 6 个小时，使用 hai 接近 3 个小时。一小时 3.5 左右。。。关键是最后写成了，最后没有使用 hai 的自定义机器，踩坑无数，终于写完。
U_U ~_~ D_D
最后的呐喊，能不能把我用 hai 的费用补回来！！！

能不能把我用 hai 的费用补回来！！！

费用补回来！！！