Chatbox 接入

本文介绍如何将 Chatbox 配置为 OpenAI 兼容客户端，并通过设备 IP 地址调用 StackFlow 提供的本地模型服务。

安装 Chatbox

访问Chatbox 官网下载对应操作系统的安装包并进行安装。

配置 Chatbox

1. 点击 Setup Provider，添加模型提供方。

2. 在 Add provider 中填写便于识别的名称，例如 StackFlow，并将 API Mode 设置为 OpenAI API Compatible。

3. 在 API Host 中填写设备 IP 地址和 API 路径，然后获取设备中已安装的模型。

4. 添加设备中已经安装的模型。模型包和模型 ID 需要与设备平台匹配：Module LLM 与 LLM630 Compute Kit 使用 AX630C 模型，AI Pyramid 使用 AX650 模型，LLM-8850 Card 使用 AXCL 模型。支持情况请参考模型库。

5. 将最大上下文消息长度设置为 0，并关闭自动生成标题功能。

6. 模型支持流式输出，部分模型支持连续对话，发送 "reset" 即可清空上下文。多模型模型，例如 Internvl3 可以同时传入多张图片，但每次传入新的图片前，需要先发送 “reset” 清空上下文。