OpenAI 互換 API の概要と導入

StackFlow は、OpenAI API 形式と互換性のある HTTP インターフェースをローカルデバイス上で提供できます。既存の OpenAI SDK、Chatbox、その他の互換クライアントからデバイスの IP アドレスを介してローカルモデルへアクセスし、チャット生成、音声認識、音声合成などを利用できます。

「OpenAI 互換」とは API 形式の互換性のみを指します。モデルと推論サービスはローカルデバイス上で動作し、リクエストが OpenAI のクラウドへ送信されることはありません。

導入前の準備

使用するデバイスのソフトウェア更新ガイドに従い、M5Stack APT リポジトリを追加してパッケージインデックスを更新してください。

OpenAI 互換 API のインストール

ADB、UART、または SSH でデバイスのターミナルへアクセスし、APT パッケージインデックスを更新します。

apt update

StackFlow の基本ランタイムと OpenAI 互換 API サービスをインストールします。

apt install lib-llm llm-sys llm-openai-api

用途に必要な機能サービスをインストールします。

AI 機能	機能サービス	インストールコマンド
大規模言語モデル	`llm-llm`	`apt install llm-llm`
マルチモーダルモデル	`llm-vlm`	`apt install llm-vlm`
Whisper 音声認識	`llm-whisper`	`apt install llm-whisper`
MeloTTS 音声合成	`llm-melotts`	`apt install llm-melotts`

各機能サービスには、デバイスのプラットフォームに適合したモデルパッケージも必要です。モデルをインストールした後、次のコマンドで OpenAI 互換 API のモデル一覧を更新します。

systemctl restart llm-openai-api

Python SDK

PC に Python 環境を用意し、pip で OpenAI 公式 Python ライブラリをインストールします。このライブラリからデバイスが提供する OpenAI 互換 API へアクセスし、デバイス上のローカルモデルを呼び出せます。

pip install openai

モデルライブラリ

Module LLM

マルチモーダルモデル

コンピュータービジョン

音声認識とオーディオ

音声合成

開発例

Module LLM

LLM630 Compute Kit

AI Pyramid