更正,经笔者测试,Cloud Studio 高性能基础版由于某种原因是不支持对外服务的,也就是说默认只能在他的命令行下,进行对话操作。
如下图:
不能提供 api 服务,但其他机器及 hai 机器经笔者测试均支持
腾讯云不亏是良心云,这波福利绝对要赶上。
今天来介绍一下我们的主角
腾讯云 Cloud Studio
简介:
Cloud Studio 是基于浏览器的集成式开发环境(IDE),为开发者提供了一个永不间断的云端工作站。用户在使用 Cloud Studio 时无需安装,随时随地打开浏览器就能在线编程。
Cloud Studio 作为在线 IDE,包含代码高亮、自动补全、Git 集成、终端等 IDE 的基础功能,同时支持实时调试、插件扩展等,可以帮助开发者快速完成各种应用的开发、编译与部署工作。
在线 IDE 界面
更详细的介绍可以看这里官方文档
为什么要说呢,因为腾讯云给予开发者很多的免费体验时长
最早的时候给了 3000 分钟时长(通用),
高性能给了 10000 分钟时长,而现在是通用时长直接给到了 50000 分钟,好了话不多说,我们开始搞事。
今天的教程是教大家如何用 cloud studio 通过 ollama 来部署大模型
第一步,注册腾讯云账号,这个就没有啥可说的,按照提示进行注册,并且实名就好,速度很快的
第二步,打开我们的主角腾讯云 Cloud Studio
界面如下:
第三步,新建空间
如图所示,我们先点击左侧的菜单,高性能空间,之后点击新建
或许有人会有疑问,上面的 banner 不是已经说了可以直接创建了 ollama 并且是最火的 deepseek 了,为什么还要很麻烦的说如何使用 ollama 来创建呢?这是为了授之以鱼不如授之以渔,如果你会安装 ollama,那么之后其他的大模型你也就会安装和使用了。好了继续
选择相应的规格,点击下一步,就开始创建机器了,可能需要登上几分钟,之后会自动跳转到 ide 页面。
因为今天又放了一波资源,所以我呢就直接选了左下的高性能空间,毕竟是 gpu 服务器,是的免费体验的 gpu 服务器
第四步,安装 ollama
之后在编辑器的菜单栏选择终端 ==》新建终端
在编辑器的右下部分区域就是打开的终端,在这里我们可以输入正常的 linux 命令就好,我们来安装 ollama 这个大模型部署框架。只需一条命令,就可以安装 ollama 了
curl -fsSL https://ollama.com/install.sh | sh
复制上面的命令,到终端界面,回车,开始自动安装
稍等片刻,就可以安装成功。
可能界面会有所不同,但是命令都是一样的。
安装成功后,我们在终端输入 ollama --help。
由于网络的问题,我这边直接用已经下载好的来使用
我们常用的命令就是 ollama run xxxx 一键下载 xxx 模型并且运行这个大模型
ollama stop xxxx 停止运行 xxx 大模型
ollama list 列出所有已经下载的大模型
ollama ps 列出正在运行的大模型
ollama rm xxxx 删除一个大模型(先停止运行,在删除)
其他的可以参考文档。
ollama 支持的模型主流开源大模型都支持,具体是哪些可以相见官网