本チュートリアルでは、Module LLM と LLM630 Compute Kit で異なるモデルサービスをインストールする方法と、PC 端末やその他のデバイスで標準の OpenAI API を通じてそれらのモデル機能(会話生成、音声認識、音声合成などの一般的なシナリオを含む)にアクセスして呼び出す方法を紹介します。これにより、効率的な AI エッジアプリケーションシステムの構築を支援します。
使用前に対応する機器のソフトウェア更新チュートリアルを参照し、M5Stack apt ソフトウェアソース情報の追加とインデックス更新を完了してください。
apt update
apt install lib-llm
apt install llm-sys llm-llm llm-vlm llm-whisper llm-melotts llm-openai-api
reboot
PC 上に Python 環境を設定し、pip を使用して OpenAI 公式の Python ライブラリをインストールします。これ以降、このライブラリをベースに、標準の OpenAI API インターフェイスを使用して LLM デバイスにアクセスし、そのモデルの機能を呼び出す。
pip install openai