跳到內容
OmniRoute source

Free Provider Rankings (Arena ELO) (中文 (繁體))

OmniRoute 註冊了 329 個提供者,其中有 155 個目錄項目標示為免費/無須驗證 (無須驗證、 免費方案 OAuth,或免費方案 API 金鑰——請參閱 免費方案指南與完整的 免費方案目錄)。但問題在於:免費提供者的模型品質 差異極大。提供前沿模型的無須驗證提供者,遠比提供小型舊式模型的提供者實用。

免費提供者排名透過將每個免費提供者的目錄與來自 Arena AI 排行榜的群眾外包品質分數(人類偏好 ELO,概念與 LMArena 聊天機器人競技場背後的機制相同)結合,以回答「哪個免費提供者能為我提供最佳模型?」。 接著,系統會根據各提供者的最佳免費模型強度進行排名。

此排名由三個真實來源計算而成:

  1. 免費提供者清單——NOAUTH_PROVIDERS,以及標示 hasFree 的 OAUTH_PROVIDERS / APIKEY_PROVIDERS 項目 (src/shared/constants/providers.ts)。
  2. 來自提供者登錄檔的各提供者模型目錄 (open-sse/config/providerRegistry.ts)。
  3. Arena ELO 同步引擎 (src/lib/arenaEloSync.ts) 儲存在 model_intelligence 資料庫資料表中的 ELO 衍生任務適配分數。

聯結邏輯位於 src/lib/freeProviderRankings.ts。


開啟儀表板並前往成本 → 免費提供者排名,或直接瀏覽:

/dashboard/free-provider-rankings

此頁面 (src/app/(dashboard)/dashboard/free-provider-rankings/page.tsx) 顯示:

  • 排名最佳的免費提供者前三名頒獎台(🥇 🥈 🥉)。
  • 完整的排名表格,包含以下欄位:排名、提供者、頂級模型、 分數、平均分數、模型、類型。
  • 類別篩選按鈕:所有類別、預設、程式設計、審查、 文件撰寫、偵錯。

每個提供者的類型徽章會說明其免費方式:

徽章 意義
NOAUTH 永久免費,無須認證資訊
OAUTH 提供免費方案 (hasFree) 的 OAuth 提供者
APIKEY 提供免費方案 (hasFree) 的 API 金鑰提供者

分數會顯示為人類可讀的標籤(例如_頂尖_、極佳、非常好、 良好、一般),而不是原始數值,因為底層數值代表的是相對排名品質, 而非百分比。

此頁面由公開唯讀端點 (src/app/api/free-provider-rankings/route.ts) 提供支援:

GET /api/free-provider-rankings
GET /api/free-provider-rankings?category=coding
GET /api/free-provider-rankings?category=coding&limit=20

查詢參數(使用 Zod 驗證):

參數 類型 預設值 備註
category string (無) default、coding、review、documentation、debugging 其中之一。省略此參數即可取得綜合排名。
limit number 50 限制在 1–100 的範圍內。

回應結構:

{
"rankings": [
{
"id": "<provider-id>",
"name": "<provider name>",
"icon": "<icon>",
"color": "<hex color>",
"textIcon": "<short label>",
"category": "noauth | oauth | apikey",
"topModel": {
"modelId": "<registry model id>",
"modelName": "<model display name>",
"score": 0.0,
"eloRaw": 0,
"confidence": "high | medium | low",
"category": "&lt;task category&gt;"
},
"averageScore": 0.0,
"modelCount": 0
}
]
}

eloRaw 是原始 Arena ELO 值;score 是正規化後的任務適配值 (請參閱下文)。回應中會省略沒有任何已評分模型的提供者。


Arena ELO 同步引擎(src/lib/arenaEloSync.ts)會從 Arena AI 排行榜 API (https://api.wulong.dev/arena-ai-leaderboards/v1/leaderboard)擷取兩個排行榜——text 和 code。每個排行榜項目都包含模型名稱、提供者、ELO score、信賴區間和票數。

排行榜類別會對應至 OmniRoute 任務類別:

Arena 排行榜 OmniRoute 任務類別
text default、review、documentation、debugging
code coding

原始 ELO 分數會依各排行榜正規化為 [0.4, 0.98] 範圍內的任務適配值:

taskFit = 0.4 + 0.58 * ((elo - minElo) / (maxElo - minElo))

分數永遠不會達到 0 或 1,以保留使用者覆寫的空間。這就是您在 API 回應中看到的 score 欄位,也是儀表板上顯示的標籤。

每個項目都會根據 Arena 票數獲得一個信心等級:

信心程度 票數
high ≥ 5,000
medium ≥ 1,000
low < 1,000

正規化後的項目會寫入 model_intelligence 資料庫資料表,並設定 source = "arena_elo"(src/lib/db/modelIntelligence.ts)。項目會在 7 天後 到期,因此停止同步的提供者最終會從結果中移除,而不會繼續提供過時資料。

同步功能預設為啟用:

  • 它會在伺服器啟動時執行一次,之後依週期性計時器執行 (src/lib/arenaEloSync.ts,由 src/instrumentation-node.ts 接線啟用)。
  • 它不會阻塞,也永遠不會造成致命錯誤——如果上游擷取失敗,OmniRoute 仍會 繼續運作,而排行榜只會顯示最近一次成功取得的資料(或空白狀態)。

有兩個環境變數可控制此功能(記錄於 docs/reference/ENVIRONMENT.md):

變數 預設值 用途
ARENA_ELO_SYNC_ENABLED true 設為 false 以停用對外同步。
ARENA_ELO_SYNC_INTERVAL 86400 (24h) 同步間隔,以秒為單位。

對於維運人員,經過驗證的管理端點提供手動控制功能 (src/app/api/intelligence/sync/route.ts——需要管理驗證):

GET /api/intelligence/sync # 目前的同步狀態(enabled、lastSync、nextSync、intervalMs)
POST /api/intelligence/sync # 觸發手動同步;請求主體:{ "dryRun": true },可在不寫入的情況下預覽
DELETE /api/intelligence/sync # 清除所有已同步的 arena_elo 情資項目

如果排行榜頁面為空,手動執行 POST /api/intelligence/sync(或直接重新啟動 伺服器)即可重新填入資料。

登錄檔中的模型 ID 與 Arena 模型名稱不一定完全一致。排行榜會使用彈性配對 (src/lib/freeProviderRankings.ts 中的 findMatchingIntelligence):

  1. 對正規化模型 ID 進行完全比對。
  2. 移除尾端版本後綴後再比對(例如 kimi-k2.6 → kimi-k2)。
  3. 前綴比對(排行榜模型名稱是登錄檔 ID 的前綴)。

在同步端,會移除已知的提供者前綴(anthropic/、openai/、google/ 等), 並使用小類型名對照表將標準名稱展開為 OmniRoute 內部使用的各種變體,讓模型無論 使用哪個名稱都能被找到。

對於每個免費提供者,引擎會為其目錄中的每個模型評分,然後:

  • 頂尖模型 = 該提供者分數最高的模型。
  • 平均分數 = 該提供者所有已評分模型的平均分數。
  • 模型數 = 該提供者有 Arena 分數的模型數量。

提供者會先依頂尖模型分數排序,再依平均分數排序。這會讓至少提供一個優秀免費 模型的提供者獲得較高排名。


  1. 選擇正確的類別。 對於代理式/程式碼工作負載,請使用 Coding 篩選器;一般聊天則保留為 All Categories/Default。由於各排行榜中提供者的頂尖模型不同,同一提供者在不同類別中的排名可能有所差異。
  2. 單次設定時優先選擇前三名。 如果您只想連線至一或兩個免費提供者,請從您所選類別中排名最高的提供者開始。
  3. 查看 Type 徽章。 NOAUTH 提供者連線速度最快(不需要認證資訊)。OAUTH/APIKEY 免費方案需要快速註冊,但通常可使用更強大的模型。連線步驟請參閱免費方案指南。
  4. 連線多個提供者,並讓 Auto-Combo 決定。 支援此頁面的同一組 Arena ELO 資料,也會提供給 Auto-Combo 評分引擎的任務適配度因子(open-sse/services/autoCombo/taskFitness.ts,解析順序為 user_override → arena_elo → models_dev_tier → static table)。因此,在您連線至排名最高的免費提供者後,使用 model: "auto"(例如 auto/coding)進行路由,便會針對每個請求自動優先選擇品質較高的免費模型。完整的 16 因子評分機制請參閱 Auto-Combo。

  • 免費方案指南 — 如何連線至免費提供者,無須信用卡。
  • 免費方案目錄 — 免費提供者及其限制的完整目錄。
  • Auto-Combo — 採用相同 Arena ELO 任務適配度資料的 16 因子路由引擎。
  • 環境變數 — ARENA_ELO_SYNC_ENABLED/ARENA_ELO_SYNC_INTERVAL 參考資料。

OmniRoute 原始碼 (a58000c7685f)

HagiCode

HagiCode 是智慧代理程式開發工作台,結合結構化工作流程、多代理程式執行與 Hero Dungeon 介面,將想法化為交付成果。

以更聰明、更快速且更有趣的智慧代理程式工作流程,打造實用的軟體。

HagiCode 淺色主題介面畫面
  • Smart結構化流程將意圖轉化為從構想到交付的可執行步驟。
  • Efficient多代理程式工作流程讓研究、實作與審查並行進行。
  • FunHero Dungeon 讓長時間的程式協作更直覺、更有參與感。
造訪 HagiCode