跳转到内容
OmniRoute source

Free Provider Rankings (Arena ELO) (中文 (简体))

OmniRoute 注册了 329 个提供者,其中包括 155 个标记为免费/无需身份验证的目录条目(无需身份验证、免费层 OAuth 或免费层 API 密钥——请参阅免费层指南和完整的免费层目录)。但问题是:免费提供者的模型质量差异很大。提供前沿模型的免身份验证提供者,要比提供小型旧版模型的提供者有用得多。

免费提供者排名通过将每个免费提供者的目录与来自 Arena AI 排行榜的众包质量分数(基于人类偏好的 ELO,与 LMArena 聊天机器人竞技场背后的理念相同)相关联,回答“哪个免费提供者能为我提供最好的模型?”这一问题。随后,系统根据每个提供者的最佳免费模型实力进行排名。

该排名基于以下三个真实数据源计算得出:

  1. 免费提供者列表——NOAUTH_PROVIDERS,以及标记了 hasFree 的 OAUTH_PROVIDERS / APIKEY_PROVIDERS 条目 (src/shared/constants/providers.ts)。
  2. 提供者注册表中每个提供者的模型目录 (open-sse/config/providerRegistry.ts)。
  3. 由 Arena ELO 同步引擎 (src/lib/arenaEloSync.ts) 存储在 model_intelligence 数据库表中的 ELO 衍生任务适配度分数。

关联逻辑位于 src/lib/freeProviderRankings.ts。


打开仪表板,然后转到成本 → 免费提供者排名,或直接访问:

/dashboard/free-provider-rankings

该页面 (src/app/(dashboard)/dashboard/free-provider-rankings/page.tsx) 显示:

  • 排名最高的三个免费提供者的前三名领奖台(🥇 🥈 🥉)。
  • 完整的排名表,其中包含以下列:排名、提供者、最佳模型、分数、平均分数、模型数、类型。
  • 类别筛选按钮:所有类别、默认、编码、审查、文档、调试。

每个提供者的类型徽章说明了它以何种方式免费:

徽章 含义
NOAUTH 始终免费,无需凭据
OAUTH 提供免费层 (hasFree) 的 OAuth 提供者
APIKEY 提供免费层 (hasFree) 的 API 密钥提供者

分数以人类可读的标签(例如_顶尖_、卓越、非常好、良好、一般)显示,而不是原始数值,因为底层数值代表的是相对排名质量,而非百分比。

该页面由一个公共只读端点 (src/app/api/free-provider-rankings/route.ts) 提供支持:

GET /api/free-provider-rankings
GET /api/free-provider-rankings?category=coding
GET /api/free-provider-rankings?category=coding&limit=20

查询参数(使用 Zod 验证):

参数 类型 默认值 说明
category string (无) default、coding、review、documentation、debugging 之一。省略时返回综合排名。
limit number 50 限制在 1–100 范围内。

响应结构:

{
"rankings": [
{
"id": "<provider-id>",
"name": "<provider name>",
"icon": "<icon>",
"color": "<hex color>",
"textIcon": "<short label>",
"category": "noauth | oauth | apikey",
"topModel": {
"modelId": "<registry model id>",
"modelName": "<model display name>",
"score": 0.0,
"eloRaw": 0,
"confidence": "high | medium | low",
"category": "&lt;task category&gt;"
},
"averageScore": 0.0,
"modelCount": 0
}
]
}

eloRaw 是原始 Arena ELO 值;score 是归一化后的任务适配度值(见下文)。响应中会省略没有已评分模型的提供者。


Arena ELO 同步引擎(src/lib/arenaEloSync.ts)从 Arena AI 排行榜 API (https://api.wulong.dev/arena-ai-leaderboards/v1/leaderboard)获取两个排行榜——text 和 code。每个排行榜条目都包含模型名称、供应商、ELO score、置信区间和投票数。

排行榜类别与 OmniRoute 任务类别的映射关系如下:

Arena 排行榜 OmniRoute 任务类别
text default、review、documentation、debugging
code coding

原始 ELO 分数会在各自排行榜内归一化为 [0.4, 0.98] 范围内的任务适配值:

taskFit = 0.4 + 0.58 * ((elo - minElo) / (maxElo - minElo))

该分数永远不会达到 0 或 1,从而为用户覆盖设置保留调整空间。这就是 API 响应中的 score 字段,也是仪表板上显示的标签。

每个条目都会根据 Arena 投票数获得一个置信度等级:

置信度 投票数
high ≥ 5,000
medium ≥ 1,000
low < 1,000

归一化后的条目会写入 model_intelligence 数据库表,并设置 source = "arena_elo"(src/lib/db/modelIntelligence.ts)。条目会在 7 天后过期, 因此停止同步的供应商最终会从榜单中消失,而不会继续提供过时数据。

同步功能默认启用:

  • 服务器启动时运行一次,之后按周期定时运行 (src/lib/arenaEloSync.ts,由 src/instrumentation-node.ts 接入)。
  • 同步过程不会阻塞,也绝不会导致致命错误——如果上游获取失败,OmniRoute 会继续 运行,排行榜只会显示上次成功获取的数据(或空状态)。

可通过两个环境变量控制该功能(相关文档位于 docs/reference/ENVIRONMENT.md):

变量 默认值 用途
ARENA_ELO_SYNC_ENABLED true 设为 false 可禁用向外部发起的同步。
ARENA_ELO_SYNC_INTERVAL 86400 (24h) 同步间隔,以秒为单位。

对于运维人员,经过身份验证的管理端点提供了手动控制功能 (src/app/api/intelligence/sync/route.ts——需要管理身份验证):

GET /api/intelligence/sync # 当前同步状态(enabled、lastSync、nextSync、intervalMs)
POST /api/intelligence/sync # 触发手动同步;请求体:{ "dryRun": true },可在不写入数据的情况下预览
DELETE /api/intelligence/sync # 清除所有已同步的 arena_elo 智能数据条目

如果排行榜页面为空,手动执行 POST /api/intelligence/sync(或直接重启服务器) 即可重新填充数据。

注册表中的模型 ID 与 Arena 模型名称并不总是完全匹配。排行榜采用灵活匹配机制 (src/lib/freeProviderRankings.ts 中的 findMatchingIntelligence):

  1. 对归一化后的模型 ID 进行精确匹配。
  2. 移除末尾的版本后缀后进行匹配(例如 kimi-k2.6 → kimi-k2)。
  3. 进行前缀匹配(排行榜中的模型名称是注册表 ID 的前缀)。

在同步端,系统会移除已知的供应商前缀(anthropic/、openai/、google/ 等), 并通过一个小型别名映射将规范名称扩展为 OmniRoute 内部使用的变体,以确保无论使用 哪种名称都能找到模型。

对于每个免费供应商,引擎会为其目录中的每个模型评分,然后计算:

  • 最佳模型 = 该供应商得分最高的模型。
  • 平均分数 = 该供应商所有已评分模型的平均分。
  • 模型数 = 该供应商拥有 Arena 分数的模型数量。

供应商首先按最佳模型分数排序,然后按平均分数排序。这种方式会奖励至少提供了一个 强大免费模型的供应商。


  1. 选择正确的类别。 对于智能体/代码工作负载,请使用 Coding 筛选器;对于常规聊天,则保留 All Categories / Default。由于各提供者在不同排行榜中的顶级模型不同,同一提供者在不同类别中的排名也可能不同。
  2. 一次性配置时优先选择领奖台上的提供者。 如果您只想连接一两个免费提供者,请从您所选类别中排名最高的提供者开始。
  3. 检查 Type 徽章。 NOAUTH 提供者连接速度最快(无需凭据)。OAUTH / APIKEY 免费套餐需要快速注册,但通常可使用更强大的模型。有关连接步骤,请参阅免费套餐指南。
  4. 连接多个提供者,让 Auto-Combo 做出选择。 为此页面提供支持的同一组 Arena ELO 数据,也会作为 Auto-Combo 评分引擎的任务适配度因子输入(open-sse/services/autoCombo/taskFitness.ts,解析顺序为 user_override → arena_elo → models_dev_tier → static table)。因此,连接排名靠前的免费提供者后,使用 model: "auto"(例如 auto/coding)进行路由时,系统将根据每次请求自动优先选择质量更高的免费模型。有关完整的 16 因子评分机制,请参阅 Auto-Combo。

  • 免费套餐指南 — 如何连接免费提供者,无需信用卡。
  • 免费套餐目录 — 免费提供者及其限制的完整目录。
  • Auto-Combo — 使用同一组 Arena ELO 任务适配度数据的 16 因子路由引擎。
  • 环境变量 — ARENA_ELO_SYNC_ENABLED / ARENA_ELO_SYNC_INTERVAL 参考。

OmniRoute 源码 (a58000c7685f)

HagiCode

HagiCode 是一套智能体编码工作台:结构化工作流、多 Agent 并行执行与 Hero Dungeon 视图,把想法变成真正交付的软件。

让想法更快变成好用的软件,让智能编码更聪明、更高效,也更有趣。

HagiCode 浅色主题主界面截图
  • Smart结构化工作流将意图转化为从想法到交付的可执行路径。
  • Efficient多 Agent 工作流让调研、实现与审阅并行推进。
  • FunHero Dungeon 让长时间编码协作更直观、更有参与感。
访问 HagiCode