Qwen2.5-Coder-0.5B-Instruct

紹介

Qwen2.5-Coder-0.5B-Instruct は、コード特化型の Qwen 大規模言語モデルであり、コード生成、コード推論、コード修正において大幅な性能向上を実現しています。このモデルの主な特徴は以下の通りです。

• タイプ：因果言語モデル
• 学習段階：事前学習及び事後学習
• アーキテクチャ：RoPE、SwiGLU、RMSNorm、アテンション QKV バイアス、および結合された単語埋め込みを搭載した Transformer
• パラメータ数：0.49B（非埋め込みパラメータは 0.36B）
• レイヤー数：24
• アテンションヘッド数（GQA）：Q が 14、KV が 2
• コンテキスト長：最大 32,768 トークンで、生成は最大 8,192 トークン

使用可能な NPU モデル

基礎モデル

qwen2.5-Coder-0.5B-ax630c

• 128 の長さのコンテキストウィンドウを提供
• 最大出力 1024 トークン
• サポートプラットフォーム：LLM630 計算ツールキット、Module LLM、および Module LLM ツールキット

インストール

apt install llm-model-qwen2.5-coder-0.5b-ax630c

• llm-model-qwen2.5-coder-0.5b-ax630c のダウンロード