지능형 모델 라우팅
EvoLink Auto
EvoLink Auto - 스마트 모델 라우팅
시스템이 자동으로 가장 적합한 모델을 선택하여 요청을 처리합니다
POST
지능형 모델 라우팅
스마트 모델 라우팅
EvoLink Auto는 요청 내용에 따라 적합한 AI 모델을 자동으로 선택하는 지능형 모델 라우팅 기능입니다. 수동으로 모델을 지정할 필요가 없습니다.핵심 장점
- 스마트 매칭: 요청 내용을 자동 분석하여 적합한 모델 선택
- 비용 최적화: 품질을 유지하면서 비용 효율적인 모델 우선 선택
- 부하 분산: 여러 모델 간 요청을 자동 분산하여 시스템 안정성 향상
- 투명성: 응답에 실제 사용된 모델 이름을 반환하여 추적 및 최적화 용이
작동 원리
시스템은 요청의 복잡도, 길이 및 유형에 따라 모델 풀에서 가장 적합한 모델을 선택합니다.지원 모델
EvoLink Auto는 GPT-4, GPT-3.5, Claude, Gemini 등 주요 AI 모델 간에 지능적으로 라우팅합니다.제한 사항
- 특정 모델 기능이 필요한 시나리오에는 적합하지 않습니다(예: GPT-4 비전 기능)
- 모든 요청에 대해 동일한 모델을 보장하지 않습니다
사용 시나리오
어떤 모델을 사용할지 불확실하거나 시스템이 자동으로 모델 선택을 최적화하기를 원하는 경우에 적합합니다.model 매개변수를 evolink/auto로 설정하기만 하면 시스템이 자동으로 적합한 모델을 선택합니다.BaseURL: 기본 BaseURL은
https://direct.evolink.ai이며, 텍스트 모델 지원이 더 우수하고 장시간 연결을 지원합니다. https://api.evolink.ai는 멀티모달 서비스의 주력 엔드포인트이며, 텍스트 모델에 대해서는 대체 주소로 사용됩니다.인증
모든 API는 Bearer Token 인증이 필요합니다
API Key 받기:
API Key 관리 페이지를 방문하여 API Key를 받으세요
요청 헤더에 추가:
Authorization: Bearer YOUR_API_KEY본문
application/json
지능형 라우팅 사용
사용 가능한 옵션:
evolink/auto 예시:
"evolink/auto"
대화 메시지 목록
Minimum array length:
1예시:
[
{
"role": "user",
"content": "인공지능의 발전 역사를 소개해 주세요"
}
]샘플링 온도, 출력의 무작위성을 제어합니다
설명:
- 낮은 값(예: 0.2): 더 확실하고 집중된 출력
- 높은 값(예: 1.5): 더 무작위적이고 창의적인 출력
필수 범위:
0 <= x <= 2예시:
0.7
핵 샘플링(Nucleus Sampling) 매개변수
설명:
- 누적 확률 상위 몇 %의 토큰에서 샘플링할지 제어합니다
- 예를 들어 0.9는 누적 확률이 90%에 도달하는 토큰 중에서 선택합니다
- 기본값: 1.0 (모든 토큰 고려)
권장 사항: temperature와 top_p를 동시에 조정하지 마세요
필수 범위:
0 <= x <= 1예시:
0.9
Top-K 샘플링 매개변수
설명:
- 예를 들어 10은 매 샘플링 시 확률이 가장 높은 10개의 토큰만 고려하도록 제한합니다
- 값이 작을수록 출력이 더 집중됩니다
- 기본값은 제한 없음
필수 범위:
x >= 1예시:
40
스트리밍 방식으로 응답을 반환할지 여부
true: 스트리밍 반환, 청크 단위로 실시간 콘텐츠 반환false: 전체 응답을 기다린 후 한 번에 반환
예시:
false