LLM-8850 Card への StackFlow のインストール

このガイドでは、LLM-8850 Card を接続した Raspberry Pi に StackFlow をインストールする方法を説明します。開始する前に、LLM-8850 Card の環境設定とドライバのインストールを完了し、axcl-smi がアクセラレータカードを正常に認識できることを確認してください。

システムバージョンの確認

次のコマンドを実行して Raspberry Pi OS のコードネームを確認します。

lsb_release -cs

現在のリポジトリは Debian 12（bookworm）と Debian 13（trixie）に対応しています。

パッケージリポジトリの追加

GPG キーをインストールします。

sudo wget -qO /etc/apt/keyrings/StackFlow.gpg https://repo.llm.m5stack.com/m5stack-apt-repo/key/StackFlow.gpg

Debian 12（bookworm）の場合：

echo 'deb [arch=arm64 signed-by=/etc/apt/keyrings/StackFlow.gpg] https://repo.llm.m5stack.com/m5stack-apt-repo bookworm llm8850' \
| sudo tee /etc/apt/sources.list.d/StackFlow.list > /dev/null

Debian 13（trixie）の場合：

echo 'deb [arch=arm64 signed-by=/etc/apt/keyrings/StackFlow.gpg] https://repo.llm.m5stack.com/m5stack-apt-repo trixie llm8850' \
| sudo tee /etc/apt/sources.list.d/StackFlow.list > /dev/null

パッケージインデックスを更新します。

sudo apt update

StackFlow のインストール

最初に基本ランタイムをインストールします。

sudo apt install lib-llm llm-sys

続いて、用途に必要な機能サービスをインストールします。たとえば、大規模言語モデルサービスと OpenAI 互換 API は次のコマンドでインストールできます。

sudo apt install llm-llm llm-openai-api

機能サービスには対応するモデルパッケージも必要です。設定したリポジトリで提供されているパッケージは、次のコマンドで確認できます。

apt list 2>/dev/null | grep '^llm-'

モデルパッケージは多くのストレージを使用する場合があります。モデルライブラリを参照し、LLM-8850 プラットフォームに対応した必要なパッケージのみをインストールしてください。

インストール後は、LLM-8850 Card OpenAI APIへ進むか、その他の StackFlow 開発例を参照してください。