- Name—ルーティングルールの名前。
- Rule Type—ルーティング戦略の種類：Single、Priority Failover、またはModel Allowlist。
- Projects—このルールを使用しているプロジェクト。
- Status—ルーティングルールのステータス：Active またはInactive。
- Workspace Default—このルーティングルールが組織のデフォルトかどうかを示します。デフォルトのルーティングルールは、ルーティングルールを指定していないプロジェクトに適用されます。
ルーティングルールの種類
Connect AI は、次のルーティングルールの種類をサポートしています：- Single Provider—すべてのトラフィックを 1 つのプロバイダーとモデルにルーティングします。フェイルオーバーが不要な場合に使用します。
- Priority Failover—トラフィックをプライマリプロバイダーにルーティングし、プライマリプロバイダーが利用できなくなった場合は、設定済みのチェーン内の次のプロバイダーに自動的にフェイルオーバーします。複数のプロバイダー間で信頼性を向上させたい場合に使用します。
- Model Allowlist—各リクエストを、クライアントが指定したモデルとペアになっているプロバイダーにルーティングします。リクエストされたモデルが許可リストにない場合、ゲートウェイはエラーを返してリクエストを拒否します。特定のモデルを承認しつつ、クライアントにその中から選択させたい場合に使用します。
ルーティングルールの追加
新しいルーティングルールを追加するには、次の手順を行います：1
+ Add Routing Rule をクリックします。Add Routing Rule ダイアログが表示されます。
2
ルーティングルールに関する次の情報を入力します：
- Name—ルーティングルールの名前を入力します。
- Description—（任意）ルーティングルールの簡単な説明を入力します。
- Use as default rule for Workspace—このルールをデフォルトに設定するには、トグルをオンにします。ルーティングルールを指定していないプロジェクトは、このデフォルトルールを使用します。
- Rule Type—ドロップダウンリストからルーティング戦略を選択します。プロバイダーが 1 つの場合はSingle provider を選択します。プロバイダーに順番にトラフィックをルーティングし、プロバイダーが利用できなくなった場合に自動的にフェイルオーバーさせるにはPriority failover を選択します。承認済みのモデルとプロバイダーのペアのセットを定義するにはModel Allowlist を選択します。この場合、クライアントは各リクエストでモデルを指定し、ゲートウェイはペアになっているプロバイダーに転送するか、モデルがリストにない場合はリクエストを拒否します。
- Provider and Model—LLM Providers ページで設定したプロバイダーとモデルを選択します。
Priority failover を選択した場合、プライマリのプロバイダーとモデルを入力した後、+ Add Failover Provider and Model をクリックします。フェイルオーバー先のProvider and Model #2 を入力します。必要に応じてフェイルオーバープロバイダーを追加します。
Model Allowlist を選択した場合、+ Add Allowed Providers and Models をクリックして、承認済みのモデルとプロバイダーのペアをそれぞれ追加します。最大 50 ペアまで追加できます。同じモデルが複数回登場する場合、一覧の先頭に記載されたエントリがリクエストを処理します。