同一個模型換個外殼就變笨:GLM 5.3 flash 在 Claude Code 與其他 Agent 之間的落差,一位開發者的實測觀察
一位非科班開發者在V2EX比較GLM 5.3 flash在不同Agent框架與Claude Code中的表現落差,本文從工具鏈工程效率角度整理這則觀察背後的帳。
刊登 閱讀約 4 分鐘
同一組模型權重,放進不同的 Agent 框架,產出的工程結果可以差到什麼程度?V2EX 一則貼文提供了第一手對照,發文者自述非程序員背景,正在學 AI Coding,開發一個 Mac 小型軟體專案。
這則貼文實際說了什麼
發文者透過名為 Magpie 的接入工具,把 GLM 5.3 flash 接進多種 Harness Agent 使用,之後又試用了原生的 Claude Code。兩組對照的觀察如下。
在各種 Agent 框架裡,模型面對畫 UI 的任務時出現擬人化的空轉行為:宣稱最遲 30 分鐘給方案、聲稱某項改動要花一天工時,最終既畫不出介面,也說不出自己錯在哪裡。換到 Claude Code 之後,發文者觀察到模型能具體定位錯誤點與參數使用問題,結論是 Harness 之間存在一整個等級的差距。
需要先畫清界線:這是單一使用者、單一專案、未附日誌或截圖的個人觀察,貼文發出時尚無回覆討論。它能當線索,不能當結論。但「同一模型在不同 Harness 表現不一」這個現象本身,在工程社羣並不新鮮,值得從成本結構角度拆一拆。
Harness 的差距是什麼差距
模型推論只是 AI Coding 工具鏈的一環。外層框架要負責工具呼叫的介面設計、上下文管理、錯誤回饋的回收與重試策略。同一個模型,在一個把錯誤訊息有效餵回下一輪推論的框架裡,表現會明顯優於只把模型輸出直接吐給使用者的框架。
發文者觀察到的落差,合理的解釋路徑有幾個方向。Claude Code 對自家生態的錯誤訊號、檔案結構與工具呼叫協議做了深度調校;第三方接入工具在協議轉換層可能丟失了關鍵上下文;模型本身也可能針對特定 Harness 的提示格式有訓練偏差。哪一項權重最大,貼文沒有提供足以判斷的資料,此處保留未知。
這與我們先前整理過的ZCode 跨生態整合省誰的工時屬於同一類問題:跨生態接入省下的授權成本,可能以除錯時間的形式轉嫁給使用者。差別在於那次是工具能否喚起外部開發者工具,這次是模型在框架內能否有效收斂到正確答案。
這筆帳由誰支付
影響傳導的方向相當直接。
對照 ZCode 先前的靜默上傳事件與企業採購帳,第三方接入工具的價值主張一直建立在「用便宜或免費的模型,跑在成熟框架裡」。如果 Harness 的調校差距大到抵銷模型的可用性,這個價值主張就出現裂縫:使用者省下的訂閱費,換成的是反覆重試與無法收斂的迭代時間。對個人開發者,這是學習成本的隱性加價;對工具開發商,這是留存的直接風險。
受惠的一方是掌握原生框架的模型廠。Claude Code 的表現差距若持續存在,等於把框架調校能力變成一種定價權:使用者買的不只是模型推論,還包括外層工程。承壓的一方是 Magpie 這類中介接入工具,以及開放模型陣營。GLM 5.3 flash 若在第三方框架裡表現打折,被歸因的往往會是模型而非框架,這對開放模型的口碑是額外負擔。
收束
一則 403 次瀏覽、零回覆的貼文,能支撐的結論有限。但它指出的問題結構是可驗證的:固定模型、固定任務,跨框架比較定位錯誤的成功率與迭代次數,就能量化 Harness 差距。在有人做出這組對照之前,「GLM 接入 Claude Code 比其他 Agent 聰明」停留在個案觀察階段,方向值得追,數字還沒有。