OpenRouter把Jev接進智能路由：換模型前先算快取損失

動察 Beating AI 快訊，OpenRouter 上線 Jev Router，把 TypeSafe 的 Jev 接進模型路由。每輪請求發出前，Jev 會判斷任務難度、精度要求，以及當前模型和推理檔位夠不夠用，再決定繼續沿用、提高推理強度，還是換一款模型。

OpenRouter 原來的 Auto Router 更偏向按任務類型選模型。它會先判斷這是什麼任務，再參考過去 7 天同類請求裡各模型的使用情況來選路。Jev Router 會繼續看這一輪到底有多難。簡單任務可以降檔，難題可以提高 reasoning effort；如果同一款模型還能解決，就不急著換模型。

這裡還有一個很實際的問題，就是上下文緩存。長對話裡一旦換模型，已經緩存的上下文通常不能直接復用，新模型可能要重新處理整段聊天記錄。Jev Router 會把這部分損失也算進去。OpenRouter 稱，只有換模型帶來的預期收益高於切換成本時才會真正換模，同一模型也會盡量繼續沿用。

OpenRouter 自測稱，在 4 項 Agent benchmark 共 423 個任務中，Jev Router 完成 237 個，Auto Router 完成 130 個，多解決約 82% 的任務。在另外 5 項 Agent benchmark 中，它的首 token 中位延遲也低於參與測試的其他路由器。

類似思路此前已經在 Jev 社區出現。比如 `gholtzap/jev-codex-model-and-effort-router` 會先讓 Jev 給 Codex 選擇模型和推理檔位，再把整條線程固定下來復用緩存；`Jev-Auto-Router` 則嘗試逐調用重新選模型。OpenRouter 這次把這類做法直接做進了官方路由服務裡。

原文連結

發佈者對本文章的內容承擔全部責任
在投資加密貨幣前，請務必深入研究，理解相關風險，並謹慎評估自己的風險承受能力。不要因為短期高回報的誘惑而忽視潛在的重大損失。