Llama-3.2-1B-Instruct

紹介

Llama 3.2 の多言語大規模言語モデル（LLM）コレクションは、1B と 3B のサイズ（テキスト入力 / テキスト出力）の事前学習モデルと命令微調整モデルのコレクションです。 Llama 3.2 の命令微調整されたテキスト専用モデルは、エージェント型の検索や要約タスクを含む多言語対話ユースケースに最適化されています。 これらのモデルは、一般的な業界ベンチマークにおいて、利用可能な多くのオープンソースおよびクローズドチャットモデルを上回る性能を発揮します。

使用可能な NPU モデル

基本モデル

llama3.2-1B-prefill-ax630c

基本モデルは、128 のコンテキストウィンドウと最大 1,024 トークンの出力を提供します。

サポートプラットフォーム: LLM630 Compute Kit、Module LLM、Module LLM Kit

• 128 コンテキストウィンドウ
• 最大 1,024 トークン出力
• ttft（最初のトークンまでの時間）891ms
• 平均トークン / 秒 4.48

インストール

apt install llm-model-llama3.2-1b-prefill-ax630c

• llm-model-llama3.2-1b-prefill-ax630cをダウンロード

ロングコンテキストモデル

llama3.2-1B-p256-ax630c

ロングコンテキストモデルは、基本モデルと比較して拡張されたコンテキスト機能を提供し、256 のコンテキストウィンドウと最大 1,024 トークンの出力を実現しています。

サポートプラットフォーム: LLM630 Compute Kit、Module LLM、Module LLM Kit

• 256 コンテキストウィンドウ
• 最大 1,024 トークン出力
• ttft（最初のトークンまでの時間）2601.11ms
• 平均トークン / 秒 4.49

インストール

apt install llm-model-llama3.2-1b-p256-ax630c

• llm-model-llama3.2-1b-p256-ax630cをダウンロード