インテリジェントモデルルーティング
EvoLink Auto
EvoLink Auto - スマートモデルルーティング
システムがリクエストを処理する最適なモデルを自動選択
POST
インテリジェントモデルルーティング
スマートモデルルーティング
EvoLink Autoは、リクエスト内容に基づいて適切なAIモデルを自動的に選択するインテリジェントモデルルーティング機能です。手動でモデルを指定する必要はありません。主な利点
- スマートマッチング:リクエスト内容を自動分析し、適切なモデルを選択
- コスト最適化:品質を維持しながら、コストパフォーマンスの高いモデルを優先
- 負荷分散:複数のモデル間でリクエストを自動分散し、システムの安定性を向上
- 透明性:レスポンスに実際に使用されたモデル名を返し、追跡と最適化を容易に
動作原理
システムは、リクエストの複雑さ、長さ、タイプに基づいて、モデルプールから最適なモデルを選択します。サポートされているモデル
EvoLink Autoは、GPT-4、GPT-3.5、Claude、Geminiなどの主流AIモデル間でインテリジェントにルーティングします。制限事項
- 特定のモデル機能が必要なシナリオには適していません(例:GPT-4のビジョン機能)
- すべてのリクエストで同じモデルが使用されることは保証されません
使用シーン
どのモデルを使用すべきか不明な場合や、システムにモデル選択を自動最適化させたい場合に最適です。modelパラメータをevolink/autoに設定するだけで、システムが自動的に適切なモデルを選択します。BaseURL:デフォルトの BaseURL は
https://direct.evolink.ai で、テキストモデルへの対応が優れており、長時間接続をサポートします。https://api.evolink.ai はマルチモーダルの主力エンドポイントで、テキストモデルに対しては代替アドレスとして使用されます。承認
すべてのAPIにBearer Token認証が必要です
APIキーの取得:
APIキー管理ページにアクセスしてAPIキーを取得してください
リクエストヘッダーに追加:
Authorization: Bearer YOUR_API_KEYボディ
application/json
インテリジェントルーティングを使用
利用可能なオプション:
evolink/auto 例:
"evolink/auto"
会話メッセージリスト
Minimum array length:
1例:
[
{
"role": "user",
"content": "人工知能の発展の歴史を紹介してください"
}
]サンプリング温度、出力のランダム性を制御
説明:
- 低い値(例: 0.2): より確定的で集中した出力
- 高い値(例: 1.5): よりランダムで創造的な出力
必須範囲:
0 <= x <= 2例:
0.7
核サンプリング(Nucleus Sampling)パラメータ
説明:
- 累積確率の上位何パーセントのトークンからサンプリングするかを制御
- 例えば 0.9 は累積確率が90%に達するトークンから選択
- デフォルト値: 1.0(すべてのトークンを考慮)
推奨: temperature と top_p を同時に調整しないでください
必須範囲:
0 <= x <= 1例:
0.9
Top-K サンプリングパラメータ
説明:
- 例えば 10 は各サンプリング時に確率が最も高い10個のトークンのみを考慮
- 小さい値は出力をより集中させます
- デフォルトでは制限なし
必須範囲:
x >= 1例:
40
ストリーミング方式でレスポンスを返すかどうか
true: ストリーミング返却、チャンクごとにリアルタイムで内容を返すfalse: 完全なレスポンスを待ってから一括返却
例:
false