pdf-icon

Module LLM

SKU:M140

説明

モジュール LLMは、効率的でインテリジェントなインタラクションを必要とする端末デバイス向けに設計された統合型オフライン大言語モデル (LLM) 推論モジュールです。スマートホーム、音声アシスタント、産業用制御など、どのような用途であっても、モジュール LLM はクラウドに依存することなく、スムーズで自然な AI 体験を提供し、プライバシーと安定性を確保します。StackFlowフレームワークとArduino/UiFlowライブラリと統合されており、スマート機能をわずか数行のコードで簡単に実装できます。 先進のAX630C SoC プロセッサを搭載し、3.2 TOPs の高効率 NPU を内蔵し、Transformer モデルをネイティブサポートしているため、複雑な AI タスクも容易に処理できます。4GB LPDDR4メモリ (ユーザーアプリケーション用に 1GB、ハードウェアアクセラレーション専用に 3GB) と32GB eMMCストレージを搭載しており、複数のモデルの並列読み込みと逐次推論をサポートし、スムーズなマルチタスクを実現します。メインチップのランタイム消費電力は約 1.5W と非常に効率的で、長時間の稼働に適しています。 内蔵マイク、スピーカー、TF カード、USB OTG、RGB ステータスライトを搭載しており、音声インタラクションやデータ転送をサポートすることで、多様なアプリケーションニーズに対応します。モジュールは柔軟な拡張性を提供します。オンボードの SD カードスロットは、コールド / ホットファームウェアアップグレードをサポートし、UART通信インターフェースは接続とデバッグを簡素化し、モジュールの機能の継続的な最適化と拡張を保証します。USB ポートはマスター・スレーブの自動切り替えに対応しており、デバッグポートとして機能するほか、カメラなどの追加 USB デバイスを接続することも可能です。LLM デバッグキットを購入すれば、100Mbps イーサネットポートとカーネルシリアルポートを追加でき、SBC として使用できます。 このモジュールは複数のモデルと互換性があり、Qwen2.5-0.5B言語モデルがプリインストールされています。 KWS(ウェイクワード)、ASR(音声認識)、LLM(大規模言語モデル)、TTS(音声合成) の各機能を備え、スタンドアロンコールまたはパイプライン自動転送をサポートしているため、開発が容易です。将来的には、Qwen2.5-1.5B、Llama3.2-1B、InternVL2-1B モデルのサポートが予定されており、コミュニティのトレンドに追随し、さまざまな複雑な AI タスクに対応するためのホットモデルアップデートが可能になります。 視覚認識機能には、CLIP、YoloWorld のサポートと、DepthAnything、SegmentAnything、その他の高度なモデルの今後のアップデートが含まれており、インテリジェントな認識と分析が強化されます。 M5Stackとのプラグアンドプレイにより、Module LLM は使いやすい AI インタラクション体験を提供します。ユーザーは複雑な設定をすることなく、既存のスマートデバイスに素早く統合でき、スマート機能を実現し、デバイスのインテリジェンスを向上させることができます。この製品は、オフライン音声アシスタント、テキスト音声変換、スマートホーム制御、インタラクティブロボットなど、さまざまな用途に適しています。

チュートリアル

このチュートリアルでは、Arduino IDE を使用して Module LLM デバイスのプログラミングと制御方法について紹介します。
このチュートリアルでは、UIFlow2.0 グラフィカルプログラミングプラットフォームを使用してモジュール LLM デバイスを制御する方法を紹介します。

特徴

  • オフライン推論、3.2T@INT8 精度のコンピューティングパワー
  • KWS (ウェイクワード)、ASR (音声認識)、LLM (大規模言語モデル)、TTS (音声合成) の統合
  • マルチモデル並列処理
  • 32GB eMMC ストレージおよび 4GB LPDDR4 メモリ搭載
  • マイクおよびスピーカー搭載
  • シリアル通信
  • SD カードによるファームウェアのアップグレード
  • ADB デバッグをサポート
  • RGB インジケータライト
  • Ubuntu システム内蔵
  • OTG 機能をサポート
  • Arduino/UIFlow との互換性あり

含まれるもの

  • モジュール LLM x 1
module size

製品にデバッグボードが付属 (初回リリース限定)
有線 LAN で ssh 経由の接続を行う場合の初期パスワードは123456です。

アプリケーション

  • オフライン音声アシスタント
  • テキスト音声変換
  • スマートホーム制御
  • インタラクティブロボット

仕様

仕様 パラメータ
プロセッサ SoC AX630C@Dual Cortex A53 1.2 GHz
MAX.12.8 TOPS @INT4 and 3.2 TOPS @INT8
メモリ 4GB LPDDR4 (1GB システムメモリ + 3GB ハードウェアアクセラレーション専用)
ストレージ 32GB eMMC5.1
通信 シリアル通信 デフォルトボーレート 115200@8N1 (調整可能)
マイク MSM421A
オーディオドライバ AW8737
スピーカー 8Ω@1W , サイズ:20x14 スピーカー
RGB ライト 3x RGB LED@2020、LP5562 による駆動 (ステータス表示)
電力 アイドル時: 5V@0.5W, 最大負荷時: 5V@1.5W
ボタン ファームウェアアップグレード用のダウンロードモードに入るためのボタン
拡張 SDCard / USB Type-C Port
動作温度 0-40°C
製品サイズ 54.0 x 54.0 x 13.0mm
製品重量 17.1g
梱包サイズ 132.0 x 95.0 x 16.0mm
梱包重量 31.9g

データシート

ピンマップ

Module LLM RXD TXD
Core (Basic) G16/G13/G34/G35 G17/G15/G12/G0
Core2 G13/G19/G34/G35 G14/G2/G27/G0
CoreS3 G18/G7/G14/G10 G17/G13/G6/G0
Module LLM ピン切り替え
Module LLM はピン切り替え用のパッドを用意しており、ピンの競合が発生した場合、PCB の配線を切断し、ジャンパーワイヤーで他のピンに接続することで対応できます。
module size

CoreS3を例にすると、左側の緑枠がシリアル通信の TX ピンです。ユーザーは必要に応じて 4 つの中から 1 つを選択します(上から順に G18、G7、G14、G10 のピンに対応)。デフォルトでは IO18 ピンが使用されています。別のピンに切り替えるには、パッドの接続線(赤線部分)を切断し(カッターでの切断を推奨)、下部の 3 つのピンのいずれか 1 つに接続してください。右側の緑枠は RX ピンの切り替えで、TX ピンと同様に 4 つの中から 1 つを選ぶ形式です。

回路図

製品サイズ

module size

ソフトウェア

クイックスタート

  • Module LLM ADB / SSH / UART 接続する

  • Module LLM Software Update

  • Module LLM Image Update

  • LLM モジュール動作状態インジケータ:

    • 赤:デバイスが初期化中
    • 緑:デバイスが正常に初期化
  • LLM モジュールアップグレードステータスインジケータ:

    • 青点滅:アプリケーションパッケージの更新中
    • 赤:アプリケーションパッケージの更新に失敗
    • 緑:アプリケーションパッケージの更新が正常に完了
モデルの置き換えに関する注意事項
LLM モジュールは、適切に機能させるために特別な処理を必要とする独自のフォーマットのモデルをサポートしています。そのため、既存の市場モデルを直接使用することはできません。

Arduino

UiFlow1

UiFlow2

OpenAI API

開発フレームワーク

開発リソース

動画

  • モジュール Module LLM 製品紹介とサンプルショーケース

AI ベンチマーク比較

compare