企業正在發現，與建立讓AI代理在生產環境中值得信賴的系統相比，構建AI代理本身要容易得多。
企業AI團隊在過去兩年中爭相構建代理。現在他們遇到了另一個問題：這些代理中真正能夠在大規模部署中被信任的寥寥無幾。
這一差距開始在公開數據中顯現。據報導，Prosus在內部構建了50,000個代理，但每天僅有約5,000個在運行。這個10比1的比例已成為當前企業AI生產狀態的一個說明性指標。問題不在於企業能否創建代理，而在於他們能否可靠地判斷哪些代理適合部署、哪些輸出結果值得信賴，以及系統發生故障時該如何應對。
這一區別至關重要，因為自主系統所承諾的效率，前提是這些系統首先能做出正確的決策。
從實驗到生產的差距
對許多工程團隊來說，AI代理部署的早期浪潮進展迅速。內部Copilot、工作流程自動化工具和多代理系統在各部門相繼湧現。演示效果良好，試點計畫看起來前景光明。
生產環境卻呈現出截然不同的景象。
bem的首席執行官Antonio Bustamante多年來一直致力於為受監管行業（包括保險、金融和醫療保健）構建AI基礎設施。在他看來，業界最大的瓶頸在於問責制。
他提到了一個廣受討論的Upstream事件：一個AI代理加入了某個Slack頻道，而人類團隊據報在24小時內保持沉默，因為沒有人知道如何與它互動。Bustamante認為，這種沉默揭示了更深層的問題：企業尚未為與代理協同工作設計運營模式。
同樣的模式也出現在大規模企業部署中。團隊可以迅速生成數千個代理，但一旦這些系統遇到雜亂的生產數據、不明確的所有權或不確定的輸出結果，使用率就會下降。
這就是為什麼許多企業如今發現自己雖然投入了大量AI代理部署工作，卻幾乎沒有實現真正的企業AI生產。
多代理系統為何持續停滯
部分問題源於企業環境的實際運作方式。
在受控的演示環境中，數據是乾淨的，工作流程是可預測的。而真實的組織鮮少如此運作。大多數企業系統包含零碎的記錄、格式不一致、缺失的上下文，以及多年積累的操作變通方案。
Bustamante將這種情況比作流水線。亨利·福特的製造模式之所以成功，是因為在擴大生產規模之前，投入原料已經實現了標準化。多代理系統面臨的恰恰是相反的條件——它們被期望在非標準化的企業數據上運行，而這正是大多數企業環境的特徵。
一些企業已公開承認這一運營負擔。在多個部署案例中，組織發現自己不得不持續安排人工審核員來審查代理的輸出結果。業界流傳的一個例子中，據報一個多代理系統需要20人在幕後驗證結果。
這徹底改變了經濟效益。如果人類仍需手動驗證每一個決策，那麼部署自主代理所承諾的收益將蕩然無存。
置信度評分與缺失的問責層
Bustamante認為，置信度評分已成為AI治理和AI基礎設施生產中最被忽視的組成部分之一。如果沒有能夠衡量不確定性的系統，運營人員就沒有可靠的方法來判斷哪些代理已準備好投入生產，哪些需要人工介入。
在實踐中，置信度評分的意義遠不止為答案分配一個百分比。它需要系統能夠解釋不確定性、將決策追溯至源數據，並在錯誤在工作流程中累積之前建立人機協作的檢查點。
這一AI問責層在錯誤會帶來財務或法律後果的行業中尤為重要。保險理賠審核失敗、醫療數據提取錯誤或金融處理失誤都可能引發法律責任事件。
Bustamante將bem的核心理念描述為「專為不能失敗之事設計的代理編排平台」。這句話反映了業界日益增長的一種認識：AI代理的可靠性，取決於的不是你部署了多少代理，而是你能否在出現問題時對決策進行追蹤、審計和糾正。
生產就緒基礎設施的樣貌
企業AI的下一階段，或許與構建更多代理的關係不大，而更多地在於圍繞代理構建相應的系統。
專注於長期AI代理使用率的企業，正越來越多地尋求這樣的基礎設施：在執行過程中保持靈活性、在結果上保持嚴謹性，並在故障條件下具備可追溯性。這包括置信度評分、審計追蹤、介入點、數據標準化，以及為生產環境而非演示設計的治理系統。
那些能夠縮小多代理系統實驗與現實部署之間差距的企業，未必是擁有最多代理的企業，而可能是那些最終構建起問責基礎設施的企業——這正是企業在第一輪部署時所忽視的。
