Auto-Combo: Let OmniRoute Pick the Best AI for You (中文 (繁體))

功能說明

您不必選擇特定的 AI 模型（例如 GPT-4o 或 Claude），而是可以讓 OmniRoute 為每個請求自動選擇最佳模型。它會考量：

• 健康狀態 — 提供者目前是否正常運作？
• 速度 — 回應速度有多快？
• 成本 — 費用是多少？
• 品質 — 是否擅長處理這類工作？
• 容量 — 是否還有剩餘配額？

OmniRoute 會為您連線的所有提供者評分，並選擇最佳提供者。如果該提供者失敗，它會自動嘗試下一個。

---

快速開始

步驟 1：在 IDE 或 CLI 中將模型設定為 auto：

model: "auto"

步驟 2：就這樣！其餘工作交給 OmniRoute 處理。

步驟 3（選用）：針對特定工作使用變體：

model: "auto/coding"    # 最適合撰寫程式碼
model: "auto/fast"      # 最快回應
model: "auto/cheap"     # 最便宜的選項

---

我該使用哪一種「auto」？

如果您想要……	使用此選項	最適合	運作方式
整體最佳	auto	一般問題、聊天	平衡速度、成本與品質
最佳程式碼能力	auto/coding	撰寫程式碼、偵錯	選擇擅長程式設計工作的模型
最快回應	auto/fast	快速回答、低延遲	優先考量速度
最便宜的選項	auto/cheap	節省費用	選擇最便宜的提供者
最聰明的模型	auto/smart	複雜工作	品質優先，並探索新模型
最高可用性	auto/offline	提供者繁忙時	選擇剩餘容量最多的提供者

範例

# 一般聊天 — 平衡模式
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello!"}]}'

# 程式碼產生 — 品質優先
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto/coding","messages":[{"role":"user","content":"Write a Python function"}]}'

# 快速回答 — 速度優先
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto/fast","messages":[{"role":"user","content":"What is 2+2?"}]}'

---

運作方式（簡易版）

當您傳送使用 model: "auto" 的請求時，OmniRoute 會：

1. 查看您連線的所有提供者 — 您已新增的每個提供者（OpenAI、Anthropic、Google 等）
2. 為每個提供者評分，考量因素包括：
   • 是否正常運作？（健康狀態）
   • 是否還有容量？（配額）
   • 費用是多少？（價格）
   • 速度有多快？（速度）
   • 是否擅長這項工作？（品質）
3. 選擇最佳提供者 — 得分最高的提供者會收到您的請求
4. 自動復原 — 如果失敗，OmniRoute 會自動嘗試下一個提供者

評分系統

每個提供者都會獲得 0 到 1 之間的分數。分數越高，就越適合。

因素	權重	代表意義
健康狀態	20%	提供者是否正常運作？（斷路器狀態）
配額	15%	是否還有剩餘容量？
成本	15%	費用有多高？（越便宜，分數越高）
速度	12%	速度有多快？（延遲越低，分數越高）
工作適配度	8%	是否擅長處理這類工作？
穩定性	5%	表現是否一致？（低錯誤率）
層級	5%	帳戶層級（Ultra > Pro > Free）
其他	20%	上下文親和性、連線密度等

變體如何改變評分方式

每種變體使用不同的權重：

變體	優先考量	主要權重
auto	平衡	health=20%, quota=15%, cost=15%
auto/coding	品質	taskFit=37%, stability=15%
auto/fast	速度	latency=32%, health=28%
auto/cheap	成本	cost=37%
auto/smart	品質 + 探索	taskFit=37%, exploration=10%
auto/offline	容量	quota=37%, health=28%

---

如何處理故障

OmniRoute 提供三層保護機制：

1. 自動備援

如果最佳提供者發生故障，OmniRoute 會自動嘗試下一個提供者。您不需要執行任何操作。

2. 自我修復

如果某個提供者持續發生故障：

• 分數 < 0.2 → 排除 5 分鐘
• 斷路器開啟 → 自動排除
• 超過 50% 的提供者無法使用 → 事件模式（不進行探索）

3. 緊急備援

如果所有提供者都發生故障，OmniRoute 會將請求路由至穩定的免費提供者（例如 Kiro 或 Qoder），作為最後的備援方案。

---

多帳戶支援

如果您在同一個提供者擁有多個帳戶（例如兩個 OpenAI 金鑰），OmniRoute 會將每個帳戶視為獨立候選項目。這表示：

• 帳戶 A 仍有剩餘配額 → 使用它
• 帳戶 B 受到速率限制 → 略過它
• 帳戶 C 成本較低 → 優先使用它

每個帳戶都會根據各自的健康狀態、配額與速度，獨立進行評分。

---

多臂吃角子機探索

OmniRoute 偶爾會探索新的提供者，以找出更好的選項：

• 預設：5% 的請求會傳送至隨機提供者
• Auto/smart：探索率為 10%
• 當超過 50% 的提供者處於不健康狀態時，將停用探索

這有助於 OmniRoute 瞭解哪些提供者最適合您的使用模式。

---

常見問題

「它是否總是會選擇最昂貴的模型？」

**不會。**成本預設僅占分數的 15%。便宜、快速且健康狀態良好的提供者，可以勝過昂貴的提供者。如果您想進一步優先考量成本，請使用 auto/cheap。

「如果提供者停止運作，該怎麼辦？」

OmniRoute 會自動略過該提供者，並嘗試下一個。如果某個提供者持續發生故障，系統會暫時將其排除（5 至 30 分鐘）。您不需要執行任何操作。

「我可以查看使用了哪個提供者嗎？」

請查看回應標頭——OmniRoute 會在每個回應中包含所使用的提供者與模型。

「它會從我的使用情況中學習嗎？」

會！評分系統會使用歷史資料（延遲、錯誤率、成功率），隨時間推移做出更好的決策。

「auto 與 auto/smart 有什麼差異？」

• auto — 均衡模式，探索率為 5%
• auto/smart — 品質優先（權重與 auto/coding 相同），探索率為 10%

當您希望獲得最佳品質，且可以接受偶爾進行探索時，請使用 auto/smart。

「我可以強制使用特定提供者嗎？」

可以！請使用採用 priority 策略的組合，而不是 auto，接著將該組合的確切名稱作為 model 欄位傳送（例如 model: "my-combo"——而不是 auto）。詳細資訊請參閱技術參考。

「這與循環分配有什麼不同？」

循環分配會依序輪流使用各個提供者。Auto-combo 則會對每個提供者進行評分，並選擇最佳提供者。它更智慧——會考量健康狀態、速度、成本與品質。

---

接下來呢？

• 連接提供者 — 新增您的第一個 AI 提供者
• 免費方案指南 — 無需信用卡即可免費使用 AI
• 疑難排解 — 修正常見問題
• 技術參考 — 深入瞭解評分演算法

---

深入瞭解

開發者與貢獻者請參閱 Auto-Combo 技術參考，以瞭解：

• 完整的 16 因子評分演算法
• 模式套件權重表
• 實作檔案路徑
• API 端點
• 自我修復演算法的詳細資訊

---

OmniRoute 原始碼 (a58000c7685f)