モデル一覧の取得

モデル一覧エンドポイントは、デバイスにインストールされ、OpenAI 互換 API から呼び出せるモデルを取得するために使用します。

モデルのインストール

使用前に、対応するデバイスのソフトウェアアップデートチュートリアルを参照し、M5Stack apt ソフトウェアリポジトリ情報の追加とモデルリストの更新を完了してください。

利用可能な llm deb パッケージリストを確認します。llm-model-name 形式で名前が付けられているものがモデルパッケージです。

apt list | grep llm-model-

デバイスのプラットフォームに対応するモデルパッケージを選択してインストールします。Module LLM と LLM630 Compute Kit は AX630C モデル、AI Pyramid は AX650 モデル、LLM-8850 Card は AXCL モデルを使用します。対応プラットフォームとインストールコマンドはモデルライブラリを参照してください。

apt install llm-model-qwen2.5-0.5b-p256-ax630c

利用可能なモデルの確認

インストール後、OpenAI 互換 API からデバイスで利用可能なモデル一覧を取得できます。リモートから呼び出す場合は、例のサービスアドレスをデバイスの実際の IP アドレスへ置き換えてください。

注意

新しいモデルをインストールするたびに、モデルリストを更新するために手動で systemctl restart llm-openai-api を実行する必要があります。

Curl 呼び出し

curl http://127.0.0.1:8000/v1/models \
  -H "Content-Type: application/json"

Python 呼び出し

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://192.168.20.186:8000/v1"
)

client.models.list()
print(client.models.list()) 

レスポンス例

SyncPage[Model](data=[
Model(id='melotts_zh-cn', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-prefill-20e', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-20M-2023-02-17', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='sherpa-ncnn-streaming-zipformer-zh-14M-2023-02-23', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_english_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='single_speaker_fast', created=0, object='model', owned_by='user', permission=[], root=''),
Model(id='qwen2.5-0.5B-p256-ax630c', created=0, object='model', owned_by='user', permission=[], root='')
],
object='list') 

Next 概要

Page Tools

PDF

モデルライブラリ

Module LLM

マルチモーダルモデル

コンピュータービジョン

音声認識とオーディオ

音声合成

開発例

Module LLM

LLM630 Compute Kit

AI Pyramid

OpenAI 互換 API