Chatbox の接続

このガイドでは、Chatbox を OpenAI 互換クライアントとして設定し、デバイスの IP アドレスを介して StackFlow が提供するローカルモデルサービスへ接続する方法を説明します。

Chatbox のインストール

Chatbox 公式サイトにアクセスして、対応するオペレーティングシステムのインストールパッケージをダウンロードし、インストールを行ってください。

Chatbox の設定

1. Setup Provider をクリックして、モデルプロバイダーを追加します。

2. Add provider 内で、Name に ModuleLLM または AI Pyramid と入力し、API Mode で OpenAI API Compatible を選択します。

3. API Host に ModuleLLM または AI Pyramid の IP アドレスと API パスを入力し、インストール済みのモデルを取得して追加します。

4. StackFlow が提供する qwen2.5-1.5B-Int4-ax650 モデルを追加します。プラットフォームに応じて対応するモデルを選択する必要があります。ModuleLLM/LLM630 Compute Kit プラットフォームのモデル接尾辞は -ax630c、AI Pyramid プラットフォームは -ax650、LLM8850 プラットフォームは -axcl です。詳細は モデル紹介 のセクションを参照してください。

5. 最大コンテキストメッセージ長を 0 に変更します。また、設定で「タイトルの自動生成」機能をオフにしてください。

6. モデルはストリーミング出力をサポートしており、一部のモデルは連続対話に対応しています。"reset" と送信するとコンテキストがクリアされます。Internvl3 などのマルチモーダルモデルでは、複数の画像を同時に送信できますが、新しい画像を送信する前に "reset" を送信してコンテキストをクリアする必要があります。