Perusahaan-perusahaan menemukan bahwa membangun agen AI jauh lebih mudah dibandingkan membangun sistem yang membuat agen-agen tersebut dapat dipercaya dalam produksi.
Tim AI perusahaan menghabiskan dua tahun terakhir berlomba-lomba membangun agen. Kini mereka menghadapi masalah berbeda: sangat sedikit dari agen-agen tersebut yang benar-benar dapat dipercaya dalam skala besar.
Kesenjangan ini mulai terlihat dalam angka publik. Prosus dilaporkan membangun 50.000 agen secara internal, tetapi hanya sekitar 5.000 yang berjalan setiap harinya. Rasio 10 banding 1 itu telah menjadi metrik yang mengungkap kondisi produksi AI perusahaan saat ini. Masalahnya bukan apakah perusahaan dapat membuat agen. Melainkan apakah mereka dapat menentukan dengan andal agen mana yang aman untuk digunakan, output mana yang dapat dipercaya, dan apa yang terjadi ketika sistem gagal.
Perbedaan ini penting karena efisiensi yang dijanjikan dari sistem otonom mengasumsikan bahwa sistem tersebut membuat keputusan yang benar sejak awal.
Kesenjangan dari Eksperimen ke Produksi
Bagi banyak tim teknik, gelombang awal penerapan agen AI bergerak dengan cepat. Kopilot internal, otomator alur kerja, dan sistem multi-agen bermunculan di berbagai departemen. Demo berhasil. Program percontohan terlihat menjanjikan.
Lingkungan produksi menunjukkan cerita yang berbeda.
Antonio Bustamante, CEO dari bem, telah menghabiskan bertahun-tahun bekerja pada infrastruktur AI untuk industri yang diatur, termasuk asuransi, keuangan, dan layanan kesehatan. Dari sudut pandangnya, hambatan terbesar industri ini adalah akuntabilitas.
Ia menunjuk pada insiden yang banyak dibahas terkait Upstream, di mana sebuah agen AI bergabung ke saluran Slack, dan tim manusia dilaporkan diam selama 24 jam karena tidak ada yang tahu cara berinteraksi dengannya. Bustamante berpendapat bahwa keheningan itu mengungkap sesuatu yang lebih dalam: perusahaan-perusahaan belum merancang model operasional untuk bekerja berdampingan dengan agen.
Pola yang sama muncul dalam penerapan perusahaan berskala besar. Tim dapat dengan cepat menghasilkan ribuan agen, tetapi pemanfaatannya menurun begitu sistem tersebut menghadapi data produksi yang berantakan, kepemilikan yang tidak jelas, atau output yang tidak pasti.
Itulah mengapa banyak perusahaan kini mendapati diri mereka dengan upaya penerapan agen AI yang ekstensif tetapi produksi AI perusahaan yang nyata relatif sedikit.
Mengapa Sistem Multi-Agen Terus Terhenti
Sebagian masalah berasal dari cara lingkungan perusahaan sebenarnya bekerja.
Dalam demo yang terkontrol, data bersih dan alur kerja dapat diprediksi. Organisasi nyata jarang beroperasi dengan cara seperti itu. Sebagian besar sistem perusahaan mengandung catatan yang terfragmentasi, format yang tidak konsisten, konteks yang hilang, dan bertahun-tahun solusi operasional yang terakumulasi.
Bustamante membandingkan situasi ini dengan lini perakitan. Model manufaktur Henry Ford berhasil karena input distandarisasi sebelum produksi diskalakan. Sistem multi-agen menghadapi kondisi sebaliknya. Mereka diharapkan beroperasi pada data perusahaan yang tidak terstandarisasi, yang merupakan karakteristik sebagian besar lingkungan perusahaan.
Beberapa perusahaan telah secara terbuka mengakui beban operasional ini. Dalam beberapa penerapan, organisasi mendapati diri mereka menugaskan peninjau manusia untuk terus-menerus meninjau output agen. Dalam satu contoh yang beredar di industri, sebuah sistem multi-agen dilaporkan membutuhkan 20 orang untuk memvalidasi hasil di balik layar.
Hal ini sepenuhnya mengubah ekonominya. Keuntungan yang dijanjikan dari penerapan agen otonom menghilang jika manusia masih perlu memverifikasi setiap keputusan secara manual.
Penilaian Kepercayaan dan Lapisan Akuntabilitas yang Hilang
Bustamante berpendapat bahwa penilaian kepercayaan (confidence scoring) telah menjadi salah satu komponen yang paling diabaikan dalam tata kelola AI dan produksi infrastruktur AI. Tanpa sistem yang dapat mengukur ketidakpastian, operator tidak memiliki cara yang andal untuk menentukan agen mana yang siap produksi dan mana yang memerlukan intervensi.
Dalam praktiknya, penilaian kepercayaan berarti lebih dari sekadar memberikan persentase pada sebuah jawaban. Ini membutuhkan sistem yang dapat menjelaskan ketidakpastian, melacak keputusan kembali ke data sumber, dan membuat titik pemeriksaan human-in-the-loop sebelum kesalahan mengganda di seluruh alur kerja.
Lapisan akuntabilitas AI itu menjadi sangat penting di industri-industri di mana kesalahan membawa konsekuensi finansial atau hukum. Gagalnya peninjauan klaim asuransi, kesalahan ekstraksi layanan kesehatan, atau kesalahan pemrosesan keuangan dapat menjadi peristiwa yang menimbulkan kewajiban hukum.
Bustamante menggambarkan tesis bem yang lebih luas sebagai "Platform orkestrasi agen untuk hal-hal yang tidak boleh gagal." Frasa itu mencerminkan kesadaran yang semakin berkembang di industri ini: keandalan agen AI bergantung lebih sedikit pada berapa banyak agen yang Anda terapkan dan lebih banyak pada apakah Anda dapat melacak, mengaudit, dan mengoreksi keputusan ketika sesuatu berjalan salah.
Seperti Apa Infrastruktur yang Siap Produksi
Fase berikutnya dari AI perusahaan mungkin tidak terlalu berkaitan dengan membangun lebih banyak agen dan lebih berkaitan dengan membangun sistem di sekitarnya.
Perusahaan-perusahaan yang berfokus pada pemanfaatan agen AI jangka panjang semakin mencari infrastruktur yang tetap fleksibel selama eksekusi, kaku dalam hasil, dan dapat dilacak dalam kondisi kegagalan. Itu mencakup penilaian kepercayaan, jejak audit, titik intervensi, standardisasi data, dan sistem tata kelola yang dirancang untuk produksi, bukan demo.
Perusahaan-perusahaan yang menutup kesenjangan antara eksperimen sistem multi-agen dan penerapan dunia nyata mungkin bukan yang memiliki agen terbanyak. Mereka mungkin adalah yang akhirnya membangun infrastruktur akuntabilitas yang dilewati perusahaan-perusahaan pertama kali.
