#
開通Haiサーバー、CSのメモリが不足しているため、CSを使用してデプロイすることはありませんでした。
conda のインストール#
ubuntu に conda をインストールする参考：
https://phoenixnap.com/kb/install-anaconda-ubuntu
https://repo.anaconda.com/archive/
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
chmod +x Anaconda3-2024.10-1-Linux-x86_64.sh && ./Anaconda3-2024.10-1-Linux-x86_64.sh -b
source /home/ubuntu/anaconda3/bin/activate
仮想環境 ocr を作成し、アクティブにして lmdeploy をインストール#
conda create -n ocr python=3.11 -y && conda activate ocr
pip install lmdeploy -i https://pypi.org/simple/
サポートライブラリ partial_json_parser timm をインストール#
pip install partial_json_parser timm -i https://pypi.org/simple/
lmdeploy を使用して API の方法で OpenGVLab/InternVL3-2B-Instruct をデプロイし、8888 ポートで実行します。速度は遅くなるので、コーヒーを入れて、少し休憩してください。#
lmdeploy serve api_server OpenGVLab/InternVL3-2B-Instruct --backend turbomind --server-port 8888 --tp 1
なぜかこちらではこのポートを直接開けないので、トンネリングサービスを使用する必要があります。
キーを作成
ssh-keygen -t ed25519
デフォルトで Enter を押すだけで大丈夫です。
トンネルコマンドを実行
ssh srv.us -R 1:localhost:8888
ここでの 8888 ポートは上記でデプロイに成功したものです。トンネリングの URL を開きます。
デプロイに成功しました。その後、open-webui を使用して呼び出します。
open-webui のインストール#
pip install open-webui -i https://pypi.python.org/simple
open-webui を実行#
open-webui serve
再度トンネルコマンドを実行します。
今度は open-webui をトンネリングします。
ssh srv.us -R 1:localhost:8080
著者は、2 回のトンネルコマンドを一緒に実行することをお勧めします。
ssh srv.us -R 1:localhost:8888 -R 2:localhost:8080
その後、上記のアドレスをそれぞれ開き、open-webui は初期化を行い、管理者アカウントを作成する必要があります。
上の図の矢印はオープンソース設定キーを指示しています。これは open-webui でモデルを追加する際に使用します。
設定の参考は以下の通りです。
完了したら、戻って新しい対話を作成し、私たちのモデル OpenGVLab/InternVL3-2B-Instruct を選択します。
これでデプロイが完了しました。テスト中にいくつかのバグが発生し、どこに問題があるのかわからないので、次回時間があるときに補足します。