home / notes / 什麼情況下不該用 AI agent：先看驗收成本與錯誤可逆性
Note
什麼情況下不該用 AI agent：先看驗收成本與錯誤可逆性
我認為，即使任務需要判斷，只要驗收成本接近人工直接完成，或錯誤難以復原、影響範圍大，就不該讓 AI agent 自主執行。是否需要模型思考，與是否授權它採取行動，應該分開決定。
需要判斷力，只回答了為什麼要用模型
把固定規則交給程式，把模糊任務交給 agent，是很容易理解的分法。OpenAI 的實務指南也建議，先確認用例是否真的需要 agent 的判斷能力，否則確定性方案可能已經足夠。這能排除不必要的複雜度，卻還不足以決定執行權該交到哪裡。
例如，判讀一份退款申請是否有合理的例外情境，可能需要理解上下文。但理解申請、提出退款建議、核准款項、實際付款，是不同的責任。前面的工作需要判斷，並不表示後面的動作也應該讓同一個模型自行決定。
本文討論的自主 agent，指的是能自行決定下一步並執行工具動作的系統。這是為了把授權問題講清楚：Anthropic 的文章指出，agent 一詞有多種用法，涵蓋高度自主的系統，也有人用它稱呼遵循預定流程的實作。採購或設計時，我認為實際權限比產品名稱更有意義。
驗收成本高，節省的工作可能只是換了位置
我的判斷是，評估 agent 的價值時，應該把成本算到結果被接受為止。模型產出答案，只是其中一段；確認依據、核對遺漏、修正錯誤與承擔後續處理，都可能占用人的時間。若只比較模型生成速度與人工作業速度，很容易把工作轉移誤認成工作消失。
假設模型要判斷一份特殊合約是否符合內部政策，審核者卻必須重新讀完合約、找出適用條文，再重做一次推論，才能放心接受結果。這種設計下，模型或許能提供參考，但自主完成的經濟價值就很可疑。若複核成本已經接近直接處理，還要加上修正與維護成本，節省空間會更小。
這不代表模型毫無用途。我會把產品目標改成降低審核負擔：整理相關條文、標出衝突、列出仍缺的資訊，讓人更快作出決定。這是 proposal-only 的價值所在。但它也需要驗證；如果整理結果本身就很難核對，連提案功能都未必划算。
驗收便宜也不能只看答案是否通過某個測試。我認為關鍵在於，檢查條件是否涵蓋真正的業務要求。格式正確、欄位齊全，與判斷合理是不同的事。若驗收只能抓到表面錯誤，低驗收成本可能只是漏掉了最昂貴的那部分。
錯誤能否復原，決定執行權能放多遠
驗收回答的是能否確認做對；可逆性回答的是做錯之後還有多少選擇。假設 agent 對退款例外有合理推論，卻把款項付給錯誤對象，而該付款方式無法保證追回。即使建議本身容易審查，也不能因此推導出可以先付款、事後再驗收。
對外發訊與刪除資料，也適合用同樣的假設來思考。若訊息送出後可能已被讀取，修改草稿的能力就不足以復原影響；若資料沒有可靠的復原途徑，刪除前的核可就比刪除後的檢查更重要。這些是評估情境，並非所有工具都具有相同限制。
我會把影響範圍一起納入判斷。即使單次動作可以撤回，大量執行後是否仍能及時辨識、停止並復原，是另一個問題。可逆性不能只停留在有沒有復原按鈕，還要包含復原所需的時間、成本，以及是否依賴別人配合。
資料搬移說明了：可放權，不代表值得用 agent
換一個假設：把資料複製到隔離的目的地，保留原始資料，而且內容完整性與對應關係都能用明確規則驗證。這個任務即使偏向確定性，從驗收與可逆性的角度看，也可能容許較高的自主程度。失敗時能捨棄副本重來，與直接覆寫唯一資料的風險不同。
但這不是採用 agent 的充分理由。若來源、目的地與轉換規則都已固定，我仍傾向用程式完成。只有在辨識不同來源格式、處理例外等環節確實需要判斷時，模型的參與才比較有理由。驗收便宜與容易復原，回答的是可以授權多少，沒有回答自主性是否值得付費。
這也是我想補上的區分：任務是否確定，影響工具選擇；結果是否容易驗證、錯誤是否能復原，影響授權邊界。需要判斷的退款申請，可以限制模型只提案；大致確定的資料搬移，則可能安全地自動執行。把它們擠在同一條尺度上，反而容易做錯決策。
提案、核可與自主執行，是不同的產品選擇
以下是我對架構取捨的整理，並非原廠訂出的標準。重點是把判斷能力與動作權限拆開，讓每個階段承擔合理的責任；同一個產品，也可以在不同環節採用不同方式。
| 架構選擇 | 適合考慮的條件 | 主要代價 |
|---|---|---|
| 只提案（proposal-only） | 模型能協助整理，但結果仍需大量專業判斷 | 保留人工決策成本，且提案本身仍須核對 |
| 人工核可後執行 | 結果可供人有效審查，動作後果卻難以復原 | 等待時間與審核人力 |
| 通過規則閘門後執行 | 允許的動作與限制能事先明確定義 | 規則涵蓋不到的例外仍需處理 |
| 在限定範圍內完全自主 | 確實需要動態判斷，驗收便宜，錯誤可復原且影響受控 | 仍需負擔監督、例外與復原成本 |
人工核可也不是免費的可靠性。我認為，如果審核者看不到足夠依據，或根本沒有時間重新判斷，核可按鈕只會增加流程長度。規則閘門則有另一種限制：它可以確認動作是否落在允許範圍，卻未必能判斷範圍內的選擇是否合理。兩者都不能拿來掩飾驗收問題。
對創辦人而言，這意味著產品承諾也要跟著調整。若真正提供的是更快的資料整理與待核可建議，就應該用決策時間或審核負擔衡量價值。若承諾自主交付，則必須把失敗處理算進成本。不能用前者的成本結構，支撐後者的商業承諾。
自主程度應隨驗證能力改變
Anthropic 在 2024-12-19 發表的文章指出，最成功的實作採用簡單、可組合的模式，而非複雜框架；同一篇文章也註明，當時描述的工具環境後來已有很大變化。我把這當成支持簡單設計的實務參考，不能拿它證明所有任務都應限制自主性。
這套判斷也有邊界。如果檢查器變得更可靠、復原能力改善，原本不值得放權的任務就可能改變。若人工等待本身會造成重大損失，也不能只計算錯誤執行的代價，而忽略延誤的代價。比較的應是各種方案的完整成本，並以人工流程的實際能力為基準。
另一個值得保留的假設是：agent 可以協助探索模糊流程，等路徑穩定後，再把固定部分改成程式或 workflow，只留下需要判斷的節點。這未必適用於持續變動的任務，也需要實際紀錄才能證明路徑真的穩定；但產品成熟後，自主性減少不必然是退步。
我的判斷是，自主執行應該靠可驗證、可承擔的結果來取得授權。接下來更值得看的訊號，是人工複核能否減少、錯誤是否能在影響擴大前被攔下，以及復原是否真的可行。如果這些條件沒有改善，就算模型更會判斷，我仍會讓它停在提案，把執行權留給人或明確規則。
常見問題
任務需要理解上下文，為什麼仍可能不適合自主 agent？
理解上下文是使用模型的理由，執行權則需要另外評估。我認為，若確認結果必須重做整份工作，或錯誤動作難以復原，就應考慮讓模型整理依據與提案，由人或規則核可後才執行。
加上人工核可，就能放心讓 agent 處理高風險動作嗎？
人工核可是否有效，取決於審核者能否取得依據、辨識問題，並在執行前阻止錯誤。若審核負擔過高，核可可能只是增加等待時間；我會先評估是否能縮小任務範圍或改善可驗證性。
驗收便宜、錯誤可復原，就一定值得用 agent 嗎？
這些條件只能支持較大的授權空間。若流程固定，程式就能完成，仍沒有必要為自主判斷增加複雜度。我的取捨是先確認模型帶來什麼價值，再決定允許它執行哪些動作。
驗收成本多低，才適合交給 agent？
目前引用的來源沒有提供通用量化門檻。我建議比較結果被接受前的完整成本，包括審核、修正、等待與失敗處理；如果這些成本已接近人工直接完成，自主執行就缺乏明確的效率理由。