StackFlow AI Platform
模型库
开发示例
获取模型列表
模型列表接口用于查询当前设备中已安装且可由 OpenAI 兼容 API 调用的模型。
安装模型
- 参考对应设备的安装教程，完成 M5Stack APT 软件源配置与软件包索引更新。
- 查询当前软件源提供的模型包。模型包名称以
llm-model-开头。
apt list | grep llm-model-- 选择与设备平台匹配的模型包并进行安装。Module LLM 与 LLM630 Compute Kit 使用 AX630C 模型，AI Pyramid 使用 AX650 模型，LLM-8850 Card 使用 AXCL 模型。各模型的支持平台和安装命令请参考模型库。
apt install llm-model-qwen2.5-0.5b-p256-ax630c查看可用模型
安装完成后，可通过 OpenAI 兼容 API 查询当前设备可用的模型列表。远程调用时，请将示例中的服务地址替换为设备的实际 IP 地址。
注意
每次安装新模型后，需要手动执行 systemctl restart llm-openai-api 更新模型列表。
Curl 调用
curl http://127.0.0.1:8000/v1/models \
-H "Content-Type: application/json"Python 调用
from openai import OpenAI
client = OpenAI(
api_key="sk-",
base_url="http://192.168.20.186:8000/v1"
)
client.models.list()
print(client.models.list())返回示例
SyncPage[Model](data=[
Model(id='melotts_zh-cn', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-prefill-20e', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-20M-2023-02-17', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_english_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-p256-ax630c', created=0, object='model', owned_by='user', permission=[], root='')
],
object='list')Page Tools