2026-10-22
新!
為什麼綠燈測試對 AI 程式碼代理而言還不夠#
過去幾個月，我花了更多時間與 AI 程式碼代理合作。它們速度快、實用，而且在許多情況下，它們能比手動操作更快地修復小錯誤或實作特定變更。
但在使用它們的過程中，我一直回到同一個問題：我如何知道圍繞修復的證據是否真的有意義？
很容易要求代理修改一些程式碼、執行測試，然後回傳綠燈結果。問題在於綠燈測試只告訴我最終版本通過了。它並不一定能告訴我該測試是否能夠偵測到原始的錯誤。
這個差異聽起來很小，但它非常重要。
想像一個 AI 代理修復了一個錯誤並新增了一個迴歸測試。最終測試執行通過，所以變更看起來不錯。現在想像我們拿完全相同的測試去對壞掉的程式碼版本執行，它在那裡也通過了。
在這種情況下，測試是綠燈的，但它並沒有真正證明錯誤已被修復。
這就是我想要更系統化處理的那種問題。
基本概念
原則很簡單：
壞掉的基準 + 迴歸探測
