OpenAI API

OpenAI API と互換性のある使用方法を提供しています。StackFlow パッケージをインストールするだけで利用できます。

準備作業

AI Pyramid ソフトウェアパッケージ更新を参照し、以下のモデルパッケージおよびソフトウェアパッケージのインストールを完了してください。

apt install lib-llm llm-sys llm-llm llm-openai-api

apt install llm-model-qwen2.5-1.5b-int4-ax650

注意

新しいモデルをインストールするたびに、systemctl restart llm-openai-api を手動で実行してモデル一覧を更新する必要があります。

Curl 呼び出し

curl http://127.0.0.1:8000/v1/models \
  -H "Content-Type: application/json"

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-xxxxxxxx" \
  -d '{
    "model": "qwen2.5-1.5B-Int4-ax650",
    "messages": [
      {"role": "developer", "content": "You are a helpful home assistant."},
      {"role": "user", "content": "Write a one-sentence bedtime story about a unicorn."}
    ]
  }' 

Python 呼び出し

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://127.0.0.1:8000/v1"
)

client.models.list()
print(client.models.list()) 

from openai import OpenAI
client = OpenAI(
    api_key="sk-",
    base_url="http://127.0.0.1:8000/v1"
)

completion = client.chat.completions.create(
  model="qwen2.5-1.5B-Int4-ax650",
  messages=[
    {"role": "developer", "content": "You are a helpful home assistant."},
    {"role": "user", "content": "Turn on the light!"}
  ]
)

print(completion.choices[0].message) 