对话生成 API

对话生成接口接收消息列表，并由设备上运行的语言模型生成回复。接口路径为 /v1/chat/completions。

调用前需在设备上安装 llm-openai-api、LLM 功能服务和对应的模型包，并将示例中的设备 IP 与模型 ID 替换为实际配置。以下示例使用 AI Pyramid 的 AX650 模型；其他设备请从模型库选择与其平台匹配的模型。

Curl 调用

curl http://192.168.20.186:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-xxxxxxxx" \
  -d '{
    "model": "qwen2.5-1.5B-Int4-ax650",
    "messages": [
      {"role": "developer", "content": "You are a helpful home assistant."},
      {"role": "user", "content": "Write a one-sentence bedtime story about a unicorn."}
    ]
  }' 

Python 调用

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://192.168.20.186:8000/v1"
)

completion = client.chat.completions.create(
  model="qwen2.5-0.5B-p256-ax630c",
  messages=[
    {"role": "developer", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"}
  ]
)

print(completion.choices[0].message) 

请求参数

参数名称	类型	必选	示例值	描述
messages	array	是	[{"role": "user", "content": "你好"}]	对话历史，由若干条消息组成，支持文本、图像、音频等模态（视模型而定）
model	string	是	qwen2.5-0.5B-p256-ax630c	用于生成回复的模型 ID。支持多个模型，请参阅模型介绍进行选择。
audio	-	否	-	当前不支持音频输出
function_call	-	否	-	当前不支持函数调用功能
max_tokens	integer	否	1024	模型允许生成的最大 token 数量，超出将被截断
response_format	object	否	"json_object"	指定模型输出的格式，目前仅支持 "json_object"

返回示例

ChatCompletionMessage(content='Hello! How can I assist you today?', refusal=None, role='assistant', annotations=None, audio=None, function_call=None, tool_calls=None) 