Module LLM UiFlow2 クイックスタート

概要

Module LLM モジュールはさまざまな M5 マスターコントローラと組み合わせて使用できます。本チュートリアルでは、Basic マスターコントローラを例に、UiFlow2 で Module LLM をプログラミングで制御する方法を紹介します。

準備

• UIFlow Web IDEチュートリアルを参照して、UiFlow2 の基本的なワークフローを理解し、M5Coreファームウェアの書き込みとプログラムのアップロードチュートリアルに従って、デバイスの UIFlow ファームウェアの書き込みと UIFlow 2 への接続を完了してください。

例

以下に基本的なサンプルプログラムを示します。必要に応じてダウンロードし、UIFlow 2 にインポートして使用できます。

• サンプル:
  • get_model_list: Module LLM のモデルリストを取得します。
  • kws_asr: KWS によるウェイクワード検出→ASR をトリガーして音声をテキストに変換します。(KWS + ASR)
  • text_assistant: テキストを介して LLM モデルに内容を入力し、推論結果をテキストとして出力します。(LLM)
  • tts: TTS モジュールを使用してテキストを音声再生に変換します。(TTS)
  • melotts: MeloTTS モジュールを使用してテキストを音声再生に変換します。(TTS)
  • voice_assistant: KWS によるウェイクワード検出→ASR をトリガーして音声をテキストに変換→変換された内容を LLM 推論の入力として使用→最後に TTS を介して推論結果を音声として出力します。(KWS + ASR + LLM + TTS)
  • yolo11n with UVC: USB カメラを介してビデオストリームを読み取り、ビデオストリームを yolo11 に送信し、出力認識結果を推論します。
  • vlm: CoreS3 カメラを介して画像を読み取り、画像を VLM に送信し、出力結果を推論します。

関連リンク

• Module LLM UiFlow2 API

動画