StackFlow AI Platform
模型库
开发示例
OpenAI 兼容 API 概述与部署
StackFlow 可以在设备本地提供与 OpenAI API 格式兼容的 HTTP 接口。已有的 OpenAI SDK、Chatbox 或其他兼容客户端，可以通过设备的 IP 地址访问本地模型，实现对话生成、语音识别和语音合成等功能。
这里的“OpenAI 兼容”仅表示接口格式兼容。模型和推理服务运行在本地设备上，请求不会发送到 OpenAI 云端。
部署前准备
使用前请参考对应设备的软件更新教程，完成 M5Stack apt 软件源信息的添加与索引更新。
安装 OpenAI 兼容 API
- 通过 ADB、UART 或 SSH 访问设备终端，并更新 APT 软件包索引。
apt update- 安装 StackFlow 基础运行环境和 OpenAI 兼容 API 服务。
apt install lib-llm llm-sys llm-openai-api- 根据需要安装对应的功能服务。
| AI 能力 | 功能服务 | 安装命令 |
|---|---|---|
| 大语言模型 | llm-llm | apt install llm-llm |
| 多模态模型 | llm-vlm | apt install llm-vlm |
| Whisper 语音识别 | llm-whisper | apt install llm-whisper |
| MeloTTS 语音合成 | llm-melotts | apt install llm-melotts |
功能服务还需要与设备平台匹配的模型包。安装模型后，执行以下命令刷新 OpenAI 兼容 API 的模型列表：
systemctl restart llm-openai-apiPython SDK
在 PC 上配置好 Python 环境，并通过 pip 安装 OpenAI 官方 Python 库。后续将使用该库访问设备提供的 OpenAI 兼容 API，并调用设备上的本地模型。
pip install openai相关文档
Page Tools