Free Provider Rankings (Arena ELO) (한국어)

개요

OmniRoute에는 329개의 제공업체가 등록되어 있으며, 그중 155개의 카탈로그 항목이 무료/인증 불필요 (인증 불필요, 무료 등급 OAuth 또는 무료 등급 API 키 — 자세한 내용은 무료 등급 가이드와 전체 무료 등급 디렉터리 참조)로 표시되어 있습니다. 문제는 무료 제공업체마다 모델 품질이 크게 다르다는 점입니다. 프런티어 모델을 제공하는 인증 불필요 제공업체는 소형 레거시 모델을 제공하는 업체보다 훨씬 유용합니다.

무료 제공업체 순위는 각 무료 제공업체의 카탈로그를 Arena AI 리더보드의 크라우드소싱 품질 점수(사람의 선호도를 반영한 ELO로, LMArena 챗봇 아레나의 기반이 되는 것과 동일한 개념)와 결합하여 “어떤 무료 제공업체가 가장 좋은 모델을 제공하는가?“라는 질문에 답합니다. 그런 다음 제공업체는 최고의 무료 모델 성능을 기준으로 순위가 매겨집니다.

순위는 다음 세 가지 실제 소스를 기반으로 계산됩니다.

1. 무료 제공업체 목록 — NOAUTH_PROVIDERS 및 hasFree로 표시된 OAUTH_PROVIDERS / APIKEY_PROVIDERS 항목 (src/shared/constants/providers.ts).
2. 제공업체 레지스트리에 있는 각 제공업체의 모델 카탈로그 (open-sse/config/providerRegistry.ts).
3. Arena ELO 동기화 엔진(src/lib/arenaEloSync.ts)이 model_intelligence DB 테이블에 저장한 ELO 기반 작업 적합도 점수.

결합 로직은 src/lib/freeProviderRankings.ts에 있습니다.

---

액세스 방법

대시보드 페이지

대시보드를 열고 비용 → 무료 제공업체 순위로 이동하거나 다음 경로로 직접 이동하세요.

/dashboard/free-provider-rankings

이 페이지(src/app/(dashboard)/dashboard/free-provider-rankings/page.tsx)에는 다음이 표시됩니다.

• 순위가 가장 높은 무료 제공업체의 상위 3개 시상대(🥇 🥈 🥉).
• 순위, 제공업체, 최고 모델, 점수, 평균 점수, 모델, 유형 열이 포함된 전체 순위표.
• 카테고리 필터 버튼: 모든 카테고리, 기본, 코딩, 리뷰, 문서화, 디버깅.

각 제공업체의 유형 배지는 무료 제공 방식이 무엇인지 나타냅니다.

배지	의미
NOAUTH	항상 무료이며 자격 증명이 필요하지 않음
OAUTH	무료 등급(hasFree)이 있는 OAuth 제공업체
APIKEY	무료 등급(hasFree)이 있는 API 키 제공업체

기반 값은 백분율이 아니라 상대적인 순위 품질이므로 점수는 원시 숫자 대신 사람이 읽기 쉬운 레이블(예: 최상급, 탁월함, 매우 좋음, 좋음, 보통)로 표시됩니다.

API 엔드포인트

이 페이지는 공개 읽기 엔드포인트 (src/app/api/free-provider-rankings/route.ts)를 기반으로 합니다.

GET /api/free-provider-rankings
GET /api/free-provider-rankings?category=coding
GET /api/free-provider-rankings?category=coding&limit=20

쿼리 매개변수(Zod로 검증):

매개변수	유형	기본값	참고
category	string	(없음)	default, coding, review, documentation, debugging 중 하나. 통합 순위에서는 생략합니다.
limit	number	50	1–100 범위로 제한됩니다.

응답 형식:

{
  "rankings": [
    {
      "id": "<provider-id>",
      "name": "<provider name>",
      "icon": "<icon>",
      "color": "<hex color>",
      "textIcon": "<short label>",
      "category": "noauth | oauth | apikey",
      "topModel": {
        "modelId": "<registry model id>",
        "modelName": "<model display name>",
        "score": 0.0,
        "eloRaw": 0,
        "confidence": "high | medium | low",
        "category": "&lt;task category&gt;"
      },
      "averageScore": 0.0,
      "modelCount": 0
    }
  ]
}

eloRaw는 원래 Arena ELO 값이고, score는 정규화된 작업 적합도 값입니다 (아래 참조). 점수가 산정된 모델이 없는 제공업체는 응답에서 제외됩니다.

---

점수 산정 방식

출처: Arena AI 리더보드

Arena ELO 동기화 엔진(src/lib/arenaEloSync.ts)은 Arena AI 리더보드 API (https://api.wulong.dev/arena-ai-leaderboards/v1/leaderboard)에서 text와 code, 두 개의 리더보드를 가져옵니다. 각 리더보드 항목에는 모델 이름, 공급업체, ELO score, 신뢰 구간 및 투표 수가 포함됩니다.

리더보드 카테고리는 OmniRoute 작업 카테고리에 다음과 같이 매핑됩니다.

Arena 리더보드	OmniRoute 작업 카테고리
text	default, review, documentation, debugging
code	coding

정규화(작업 적합도 점수)

원시 ELO 점수는 각 리더보드별로 [0.4, 0.98] 범위의 작업 적합도 값으로 정규화됩니다.

taskFit = 0.4 + 0.58 * ((elo - minElo) / (maxElo - minElo))

점수는 0이나 1에 도달하지 않으므로 사용자가 재정의할 수 있는 여유가 남습니다. 이 값이 API 응답에서 표시되는 score 필드이자 대시보드에 표시되는 레이블입니다.

신뢰도

각 항목에는 Arena 투표 수를 기준으로 신뢰도 수준이 부여됩니다.

신뢰도	투표 수
high	≥ 5,000
medium	≥ 1,000
low	< 1,000

저장 및 최신 상태 유지

정규화된 항목은 source = "arena_elo"로 model_intelligence DB 테이블에 기록됩니다(src/lib/db/modelIntelligence.ts). 항목은 7일 후 만료되므로, 동기화를 중단한 공급업체는 오래된 데이터를 계속 제공하는 대신 최종적으로 목록에서 제외됩니다.

동기화는 기본적으로 활성화됩니다.

• 서버 시작 시 한 번 실행된 후 주기적인 타이머에 따라 실행됩니다 (src/lib/arenaEloSync.ts, src/instrumentation-node.ts에서 연결).
• 비차단 방식이며 치명적인 오류를 일으키지 않습니다. 업스트림 가져오기에 실패해도 OmniRoute는 계속 실행되며, 순위에는 단순히 마지막으로 정상적으로 가져온 데이터가 표시됩니다(또는 빈 상태가 표시됩니다).

다음 두 환경 변수로 동기화를 제어할 수 있습니다(docs/reference/ENVIRONMENT.md에 문서화되어 있음).

변수	기본값	용도
ARENA_ELO_SYNC_ENABLED	true	아웃바운드 동기화를 사용하지 않으려면 false로 설정합니다.
ARENA_ELO_SYNC_INTERVAL	86400 (24시간)	동기화 간격(초)입니다.

수동 동기화 / 상태 / 초기화

운영자를 위해 인증된 관리 엔드포인트에서 수동 제어 기능을 제공합니다 (src/app/api/intelligence/sync/route.ts — 관리 인증 필요).

GET    /api/intelligence/sync          # 현재 동기화 상태(enabled, lastSync, nextSync, intervalMs)
POST   /api/intelligence/sync          # 수동 동기화 실행. 기록하지 않고 미리 보려면 본문에 { "dryRun": true } 지정
DELETE /api/intelligence/sync          # 동기화된 모든 arena_elo 인텔리전스 항목 삭제

순위 페이지가 비어 있다면 수동으로 POST /api/intelligence/sync를 실행하거나 서버를 다시 시작하기만 해도 데이터가 다시 채워집니다.

모델과 리더보드 매칭

레지스트리 모델 ID와 Arena 모델 이름이 항상 정확히 일치하는 것은 아닙니다. 순위 산정에는 유연한 매칭 방식(src/lib/freeProviderRankings.ts의 findMatchingIntelligence)이 사용됩니다.

1. 정규화된 모델 ID와 정확히 일치하는지 확인합니다.
2. 뒤쪽 버전 접미사를 제거한 후 일치하는지 확인합니다(예: kimi-k2.6 → kimi-k2).
3. 접두사가 일치하는지 확인합니다(리더보드 모델 이름이 레지스트리 ID의 접두사인 경우).

동기화 측에서는 알려진 공급업체 접두사(anthropic/, openai/, google/, …)를 제거하고, 소규모 별칭 맵을 사용해 정식 이름을 OmniRoute가 내부적으로 사용하는 변형 이름으로 확장합니다. 따라서 어떤 이름을 사용하더라도 모델을 찾을 수 있습니다.

공급업체 순위 산정 방식

각 무료 공급업체에 대해 엔진은 해당 카탈로그의 모든 모델 점수를 산정한 후 다음 값을 계산합니다.

• 최고 모델 = 공급업체에서 점수가 가장 높은 모델.
• 평균 점수 = 해당 공급업체에서 점수가 산정된 모든 모델의 평균 점수.
• 모델 수 = Arena 점수가 있는 공급업체 모델의 수.

공급업체는 먼저 최고 모델 점수를 기준으로 정렬한 다음 평균 점수를 기준으로 정렬됩니다. 따라서 강력한 무료 모델을 하나 이상 제공하는 공급업체가 높은 평가를 받습니다.

---

무료 제공업체를 선택하는 데 활용하기

1. 적절한 카테고리를 선택하세요. 에이전트형/코딩 워크로드에는 Coding 필터를 사용하고, 일반 채팅에는 All Categories / Default로 두세요. 리더보드마다 최상위 모델이 다르기 때문에 동일한 제공업체라도 카테고리에 따라 순위가 달라질 수 있습니다.
2. 한 번에 구성하려면 최상위권을 우선하세요. 무료 제공업체를 한두 개만 연결하려면 해당 카테고리에서 순위가 가장 높은 제공업체부터 시작하세요.
3. Type 배지를 확인하세요. NOAUTH 제공업체는 자격 증명이 필요 없어 가장 빠르게 연결할 수 있습니다. OAUTH / APIKEY 무료 티어는 간단한 가입이 필요하지만, 더 강력한 모델을 제공하는 경우가 많습니다. 연결 단계는 무료 티어 가이드를 참조하세요.
4. 여러 제공업체를 연결하고 Auto-Combo가 결정하도록 하세요. 이 페이지를 구동하는 것과 동일한 Arena ELO 데이터가 Auto-Combo 점수 산정 엔진의 작업 적합성 요소에도 사용됩니다(open-sse/services/autoCombo/taskFitness.ts, 결정 우선순위: user_override → arena_elo → models_dev_tier → static table). 따라서 상위 무료 제공업체를 연결한 후 model: "auto"(예: auto/coding)로 라우팅하면 요청별로 품질이 더 높은 무료 모델이 자동으로 우선 선택됩니다. 전체 16개 요소의 점수 산정 방식은 Auto-Combo를 참조하세요.

---

관련 문서

• 무료 티어 가이드 — 신용카드 없이 무료 제공업체를 연결하는 방법입니다.
• 무료 티어 디렉터리 — 무료 제공업체와 각 제공업체의 한도에 대한 전체 카탈로그입니다.
• Auto-Combo — 동일한 Arena ELO 작업 적합성 데이터를 사용하는 16개 요소 기반 라우팅 엔진입니다.
• 환경 변수 — ARENA_ELO_SYNC_ENABLED / ARENA_ELO_SYNC_INTERVAL 참조 문서입니다.

---

OmniRoute 소스 코드 (a58000c7685f)