前提条件
OpenAI SDK がConnect AI のLLM Gateway を使用できるように設定する前に、プロバイダーを登録し、ルーティングルールを作成し、プロジェクトを作成し、仮想キーを発行する必要があります。詳細については、LLM Gateway を参照してください。Connect AI のPersonal Access Token(PAT)はLLM Gateway では使用できません。リクエストの認証に使用できるのは仮想キーのみです。
SDK のインストール
- Python
- JavaScript
リクエストの送信
base_url(Python)またはbaseURL(JavaScript)をConnect AI のLLM Gateway エンドポイントに設定し、仮想キーをapi_key またはapiKey として渡します。ゲートウェイは、プロジェクトのルーティングルールに基づいてプロバイダーとモデルを選択します。
- Python
- JavaScript
環境変数での設定
コード内で接続情報を渡す代わりに、環境変数を設定することもできます。OpenAI SDK はこれらを自動的に読み取ります。- macOS / Linux
- Windows (PowerShell)
- Python
- JavaScript