Coding Agents

同一顆模型、兩倍差距:四款 CLI 編碼 Agent 腳手架實測

開發者 Charles Azam 讓四款開源 CLI 編碼 Agent 接上同一顆 GLM-4.7 跑 Terminal-Bench 2.0:Mistral Vibe 拿 0.35、Codex 只有 0.15。結論是腳手架主導成績,模型之外的程式碼決定了兩倍以上的差距。

同一顆模型、兩倍差距:四款 CLI 編碼 Agent 腳手架實測 — 文章封面
本頁內容6 個段落
  1. 實驗設計:同一顆 GLM-4.7 跑 Terminal-Bench 2.0
  2. 兩倍差距:Vibe 0.35 對上 Codex 0.15
  3. 五個拉開差距的架構面
  4. 換上 GLM-5 之後排序不變
  5. 給腳手架開發者的教訓
  6. 參考來源

2026 年 4 月 22 日,開發者 Charles Azam 發表深度實測:把三個開源編碼 Agent fork 後接上同一顆 GLM-4.7,在 Terminal-Bench 2.0 的 89 個任務對跑;閉源的 Claude Code 經 ZAI 的 Anthropic 相容端點原生執行。

為什麼重要:模型能力常被視為 Agent 表現的唯一變數;這份研究固定模型後量出「腳手架」的影響——同模型、同題目,最高最低相差逾兩倍。

實驗設計:同一顆 GLM-4.7 跑 Terminal-Bench 2.0

四款受測者:Codex(OpenAI,Rust)、Gemini CLI(Google,TypeScript)、Mistral Vibe(Python)、OpenCode(TypeScript/Bun)。模型是 ZAI 開源的 GLM-4.7,在 Artificial Analysis 上與 Claude Sonnet 4.5 同級。

題目是 Terminal-Bench 2.0(經 Harbor 執行):89 個 Docker 隔離、限時的真實任務,涵蓋除錯、跨檔重構、測試生成與修復建置。分數為 5 次執行平均,變異約 5%。實驗燒掉約 50 億 token,靠 ZAI 每月 60 美元訂閱跑完(約每秒 100 token)。

兩倍差距:Vibe 0.35 對上 Codex 0.15

GLM-4.7 成績:Mistral Vibe 0.35、Claude Code 0.29、Gemini CLI 0.23、OpenCode 0.21、Codex 0.15。對照 Terminal-Bench 官方排行榜,Claude Code 與 Terminus 2 直連 API 約 0.33,量級一致。差距來源,作者說得直白:是「模型周圍的程式碼」。

fork 難度與成績反向相關:Mistral Vibe 只要 13 個檔案、1 個 commit;Gemini CLI 動 49 個檔案,含 812 行協定轉譯器;Codex 得深改 Rust、重譯 Responses API,還弄丟 prompt caching 與原生 shell 工具。作者的排序:「Adapter pattern 遠勝 translation layer,再遠勝 type system surgery」。

五個拉開差距的架構面

  • 檔案編輯:寬容的編輯工具勝出(OpenCode 有 9 種策略 fallback);Codex 的 patch DSL 是 GPT 微調過的方言,換模型就吃虧
  • 沙箱:從 Codex 的五層 OS 級防護(bubblewrap、seccomp)到 OpenCode 的「只有核准提示」
  • 上下文管理:Mistral Vibe 的主動壓縮在多步任務勝過 Codex 的被動截斷
  • 錯誤處理:兩層式設計(基礎設施錯誤靜默、任務錯誤可見)是最佳折衷
  • 記憶:只有 Codex 跨 session 學習(兩階段記憶抽取管線)

換上 GLM-5 之後排序不變

換 GLM-5 重跑:Mistral Vibe 升到 0.48(+38%)、Claude Code 0.40(+40%)、Gemini CLI 0.35(初步,+54%)。排名不動,架構優勢跨世代延續;代價是逾時更頻繁:Claude Code 27%、Mistral Vibe 24% 的任務逾時。

給腳手架開發者的教訓

作者的結論:「Scaffolding still dominates」。第一,選模型前先挑腳手架——遷移成本與耦合度由 adapter 設計決定,客製協定是長期負債。第二,開放權重模型已能在合適腳手架發揮戰力,從 GLM 到專為 agentic coding 調校的 Qwen3.6-35B-A3B 都值得評估。第三,別只想升級模型——編輯工具寬容度、壓縮時機這類工程決策,貢獻量級與換代相同。正如作者收尾:編碼 Agent 最有趣的不是迴圈,而是迴圈之外的一切。

參考來源

本文由 AI 協助自上述來源整理,經人工審核後發布。

這篇內容對你有幫助嗎?

支持本站繼續整理實用的 AI 文章、教學與開發筆記。

請我喝杯咖啡
分享X電郵