Приложения вскоре столкнутся с той же участью, что и печатные СМИ, поскольку ИИ-агенты создают персонализированное, верифицированное программное обеспечение

ИИ-агенты могут положить конец эпохе приложений, превратив программное обеспечение в верифицированные системы, создаваемые пользователями

ИИ-агенты могут сделать запуск кода, написанного незнакомцами, одним из тех видов поведения, которые последующим поколениям будет сложно осмыслить.

Общество способно нормализовать риск на протяжении десятилетий, а затем переквалифицировать его как безрассудство, когда появится более безопасная альтернатива по умолчанию.

Употребление алкоголя перед вождением, езда без ремней безопасности, курение в помещениях и установка произвольных бинарных файлов из интернета — всё это принадлежит к одному семейству исторических слепых пятен. Общая черта — социальное разрешение.

Поведение сохраняется, когда альтернатива является дорогостоящей, неудобной или технически недоступной. Как только более безопасный путь становится дешёвым и привычным, старый путь начинает выглядеть нерациональным.

ИИ-агенты обнажают слабость модели доверия к программному обеспечению

Современное программное обеспечение по-прежнему работает на основе договорённости, которую мы редко пересматриваем. Разработчик, компания, фонд или анонимный мейнтейнер пишет код. Канал дистрибуции его упаковывает. Пользователь, предприятие или операционная система его запускает.

Безопасность затем превращается в многоуровневую попытку управлять последствиями этого решения.

Разрешения, подпись кода, магазины приложений, обнаружение конечных точек, изолированная среда, должная осмотрительность в отношении поставщиков и реагирование на инциденты — всё это существует потому, что основное действие остаётся опасным: выполнение чужих инструкций на вашей машине, внутри вашей учётной записи, с доступом к вашим данным.

Эта модель доверия потерпела крах на институциональном уровне. Взлом SolarWinds показал, как вредоносный код, внедрённый в доверенный процесс сборки программного обеспечения, может распространяться через обычные обновления и достигать государственных агентств, технологических компаний, телекоммуникационных сетей и других целей в различных регионах.

Операционный урок был структурным, а поверхностью атаки стала сама легитимность поставщика.

Как только процесс сборки был скомпрометирован, обычные признаки доверия превратились в инфраструктуру доставки атаки.

Та же закономерность проявилась в бэкдоре XZ Utils, когда CISA предупредила в марте 2024 года, что вредоносный код был внедрён в версии 5.6.0 и 5.6.1 библиотеки сжатия, присутствующей в дистрибутивах Linux.

Национальная база данных уязвимостей впоследствии описала, как замаскированный тестовый файл и манипуляции с процессом сборки привели к созданию модифицированной библиотеки liblzma, способной перехватывать и изменять взаимодействие данных в связанном программном обеспечении.

Цепочка поставок программного обеспечения может быть скомпрометирована задолго до пользователя, а затем поступить через каналы, которые кажутся обычными. В крипто мы неоднократно наблюдали это с эксплойтами DNS и JavaScript npm.

Ответом отрасли стало добавление более строгих процессов. Система NIST Secure Software Development Framework предоставляет организациям общий набор практик для создания и приобретения программного обеспечения со сниженным риском.

Фреймворк SLSA внедряет происхождение, целостность и устойчивость к злонамеренному вмешательству в конвейер артефактов. Эти средства контроля необходимы.

Они также выявляют ограничения нынешней модели. Предприятия продолжают совершенствовать методы определения того, какой внешний код заслуживает доверия.

Следующая модель сокращает объём стороннего кода, которому вообще нужно доверять.

Этот сдвиг меняет социальный смысл программного обеспечения. Сегодня сторонний код рассматривается как актив производительности с накладными расходами на безопасность.

Завтра он может рассматриваться как обязательство, требующее обоснования. Вопрос пользователя по умолчанию меняется с «Какое приложение мне установить?» на «Зачем мне запускать чужое приложение, если мой агент может создать эту функцию для меня?»

Это реальная линия разлома. Программное обеспечение перестаёт быть прежде всего продуктом, выбранным с рынка, и становится результатом, генерируемым по требованию в среде выполнения под управлением пользователя.

Программное обеспечение, созданное агентами, превращает приложения в одноразовые выражения намерений

Направление движения прослеживается в агентах кодирования. OpenAI Codex был представлен как облачный агент по разработке программного обеспечения, способный работать над несколькими задачами параллельно.

Claude Code от Anthropic — это агентная система кодирования, которая анализирует кодовую базу, изменяет файлы, запускает тесты и поставляет зафиксированный код.

Агент кодирования Copilot от GitHub перенёс ту же модель в рабочий процесс GitHub с асинхронной работой по вопросам и запросам на слияние.

Google Jules представляет аналогичное направление: автономный агент кодирования, который усваивает контекст продукта, генерирует решения и отправляет запросы на слияние.

Эти продукты по-прежнему позиционируются как инструменты разработчика. Со временем это позиционирование будет сужаться. Для Codex это уже происходит. В прошлом месяце OpenAI представил опцию пользовательского интерфейса, ориентированную на «чаты» и результаты, а не на код и терминалы.

Более существенное изменение заключается в том, что создание программного обеспечения становится личным актом делегирования. Пользователь описывает рабочий процесс. Агент генерирует интерфейс, логику, интеграции, тесты и путь выполнения.

Артефакт может существовать час, неделю или год. Его можно регенерировать, форкнуть, ограничить, проверить, удалить или перестроить для нового контекста.

Приложение становится меньше похожим на постоянный объект и больше — на локальную политику, скомпилированную в удобный интерфейс.

Это имеет непосредственные последствия для доверия. Пользователь всё ещё может наблюдать приложения других людей. Он может изучать рабочие процессы, паттерны интерфейса, схемы данных, промпты, автоматизации и сервисные интеграции. Однако наблюдение может оставаться отдельным от исполнения.

Пользователь может скопировать идею, а затем попросить личного агента перестроить функцию с нуля внутри среды, управляемой собственными правилами этого пользователя. Ценность перемещается от скомпилированного артефакта к паттерну.

Дистрибуция становится меньше связанной с доставкой исполняемого кода и больше — с публикацией намерений, дизайна, доказательств, схем и ожиданий от API.

Крипто входит в дискуссию через верификацию, а не через брендинг. Агент пользователя всё равно будет подключаться к внешним сервисам.

Он может обращаться к платёжным рельсам, системам идентификации, конечным точкам рыночных данных, уровням хранения, провайдерам ИИ-моделей, рынкам вычислений, системам обмена сообщениями и сервисам соответствия требованиям. Граница доверия смещается к этим конечным точкам и заявлениям, сделанным о них.

Пользователям потребуются способы ранжирования внешних сервисов по проверяемости, происхождению, уровню безопасности и экономическому соответствию. Сервис, построенный в верифицируемой среде, будет оцениваться иначе, чем конечная точка типа «чёрный ящик», контролируемая корпоративной платформой.

Верифицируемые конечные точки становятся новым уровнем дистрибуции программного обеспечения

Системы с нулевым разглашением предоставляют один из путей к этому уровню ранжирования. ZK-роллапы демонстрируют, как вычисления могут выполняться вне цепочки, в то время как краткое доказательство верифицирует валидность результирующего перехода состояния в цепочке.

Тот же концептуальный паттерн может распространяться за пределы масштабирования транзакций. Пользователям могут понадобиться доказательства того, что конечная точка запустила одобренный код, обработала данные в соответствии с определёнными ограничениями, сохранила границы конфиденциальности или произвела результат из конкретной проверенной сборки.

Доказательство может сохранить внутреннюю конфиденциальность, одновременно сужая разрыв доверия между личным агентом и внешней зависимостью.

Долгосрочный интерфейс может напоминать операционный уровень под управлением агента. Пользователь запрашивает страницу действий, инструмент для портфеля, исследовательского помощника, систему публикаций, персональный CRM, бухгалтерский рабочий процесс или монитор безопасности.

Агент собирает его из сгенерированного кода и ранжированных конечных точек. Код проверяем, поскольку его создал агент.

Зависимости ограничены, поскольку агент выбрал их в соответствии с политикой. Среда выполнения поддаётся аудиту, поскольку пользователь выбрал это в качестве требования.

Пользователь по-прежнему участвует в сетевой экономике. Контроль перемещается ближе к индивиду.

Конечной точкой этого перехода является рынок верифицируемых функций, клиентов, сгенерированных агентами, и ранжированных внешних сервисов. Сторонние разработчики по-прежнему существуют, однако их роль меняется.

Они публикуют протоколы, API, шаблоны, доказательства, модели, компоненты и эталонные реализации. Пользователи запускают собственные версии.

Предприятия по-прежнему существуют, однако их преимущество смещается от контроля над дистрибуцией к доказательству надёжности. Сообщества открытого исходного кода по-прежнему существуют, однако бремя смещается от просьбы к пользователям доверять мейнтейнерам к предоставлению агентам достаточно структурированного материала для безопасного воссоздания.

Старая экономика программного обеспечения продавала готовые приложения. Новая продаёт достоверные возможности.

Трекер портфеля становится сгенерированным интерфейсом поверх конечных точек рыночных данных, разрешений кошелька, налоговой логики и правил отчётности. Система публикаций становится сгенерированным рабочим процессом поверх идентификации, редактирования, управления контентом, аналитики и API дистрибуции.

Исследовательский терминал становится поверхностью, сгенерированной из баз данных, вызовов моделей, проверок происхождения и личных заметок. В каждом случае агент пользователя управляет компоновкой.

Внешний мир предоставляет верифицируемые ресурсы. Это изменение также создаёт коммерческий тест для каждого провайдера инфраструктуры: докажи заявление, опубликуй интерфейс, раскрой набор ограничений и позволь агентам на стороне пользователя решать, заслуживает ли сервис включения.

Центральный раскол становится противостоянием суверенитета частного программного обеспечения и управляемого удобства

Обычная дискуссия обрамляет будущее как противостояние локального и облачного. Это разделение охватывает часть вопроса об инфраструктуре, упуская политическую экономию.

Частная система может использовать облачные вычисления в соответствии с ограничениями, определёнными пользователем. Корпоративная система может работать локально, при этом по-прежнему заключая идентификацию, стимулы, разрешения и монетизацию внутри стека, контролируемого поставщиком.

Более устойчивый раскол — это частное против корпоративного. Кто определяет приложение?

Кто решает, к чему оно может получить доступ? Кто получает телеметрию?

Кто устанавливает путь обновления? Кто может отозвать функцию?

Кто выигрывает от зависимости пользователя?

Этот раскол станет более заметным по мере того, как агентное программное обеспечение станет достаточно дешёвым для рядовых пользователей. Один путь ведёт к суверенитету личного программного обеспечения.

Пользователи поддерживают агентов, которые создают и пересоздают нужные им инструменты. Они выбирают провайдеров конечных точек на основе аттестаций, стоимости, надёжности, конфиденциальности и соответствия.

Они могут отказаться от интерфейса, сохранив базовый рабочий процесс. Они могут мигрировать с одной конечной точки на другую.

Они могут сгенерировать нового клиента, когда старый становится скомпрометированным, захваченным или неэффективным. Программный уровень становится переносимым, потому что пользователь владеет намерением, и агент может воспроизвести реализацию.

Другой путь ведёт к управляемому удобству. Корпоративные платформы будут предлагать субсидированные приложения, интегрированную идентификацию, кредиты, платежи, хранилище, доступ к ИИ и рабочие процессы по умолчанию.

Часть из этого будет полезной. Часть будет экономически принудительной.

Если изобилие, управляемое ИИ, порождает публичные или частные схемы дохода, смежные с безусловным базовым доходом, вычислительные кредиты, дистрибуции токенов или привязанные к платформе льготы, дистрибуционный рельс может стать механизмом мягкой привязки. Пользователи могут получать доступ к сервисам через экосистему, которая также определяет, какое программное обеспечение они используют, как перемещаются их данные и какие агенты могут действовать от их имени.

Уровень безусловного базового дохода является наиболее чувствительной версией этой проблемы. Сэм Альтман давно ассоциируется с дискуссиями об эпохе ИИ о распределении доходов, а Worldcoin был отчасти позиционирован вокруг подтверждения личности и возможности дистрибуций, подобных безусловному базовому доходу.

Более широкая мысль крупнее одного проекта. Когда экономическая поддержка, верификация личности, доступ к вычислениям и разрешения программного обеспечения сходятся, участие может стать условным, выглядя добровольным.

Пользователь может быть свободен отказаться теоретически, в то время как на практике его толкают к управляемому прикладному уровню.

Удобство становится главным полем боя. Корпоративный стек будет привлекать пользователей через низкое трение.

Он будет предлагать отполированные настройки по умолчанию, мгновенный доступ, встроенный ИИ, социальную совместимость, потоки восстановления, охват соответствия требованиям и вознаграждения. Частному стеку придётся конкурировать в чём-то более сложном: в автономии, которая ощущается как удобная в использовании.

Он должен дать пользователям причину принять больше ответственности, избегая при этом технического администрирования. Личный агент становится решающим, поскольку он может поглотить сложность, которая ранее делала суверенитет непрактичным.

Следующий тест — выберут ли пользователи сгенерированное доверие вместо упакованного удобства

Риск первого порядка заключается в том, что пользователи обменивают контроль на удобство до того, как понимают цену. Риск второго порядка заключается в том, что этот обмен становится субсидированным, нормализованным и в конечном итоге обязательным для доступа к экономической жизни.

Корпоративные приложения могут стать средой по умолчанию для тех, кто принимает пакетные льготы. Частно сгенерированные приложения могут стать значением по умолчанию для тех, кто готов платить, верифицировать, настраивать или самостоятельно хранить свой программный уровень.

Это создаёт новое классовое разделение вокруг контроля исполнения. Вопрос в том, сжимает ли агентный ИИ это разделение или углубляет его.

Этот переход будет неравномерным. Регулируемые сектора будут двигаться медленнее.

Предприятия будут защищать экосистемы приложений аргументами о соответствии требованиям. Потребители будут продолжать выбирать удобство по умолчанию, когда частная альтернатива кажется ненадёжной.

Злоумышленники будут нацеливаться на агентов, промпты, выбор зависимостей, цепочки поставок моделей и аттестации конечных точек. Системы верификации создадут новые узкие места, если окажутся захваченными небольшим числом центров сертификации, облачных платформ или поставщиков моделей.

Суверенитет личного программного обеспечения может превратиться в очередное брендовое заявление, если только пользователи не смогут проверять, мигрировать и отзывать.

Тем не менее направление достаточно чёткое, чтобы определить следующий тест. Вопрос в том, примут ли люди удобство вместо суверенитета, когда их собственные агенты смогут создавать большую часть того, что им нужно.

Сегодня ответ в основном положительный, потому что альтернатива остаётся слишком требовательной. Завтра ответ становится менее определённым.

Пользователь, который может сгенерировать работающее приложение, ограничить его разрешения, проверить его зависимости, подключиться только к ранжированным конечным точкам и перестроить его при изменении условий, имеет реальную альтернативу корпоративному программному пакету.

Эта альтернатива поначалу будет казаться странной. Затем она будет казаться благоразумной.

Затем она может стать ожиданием по умолчанию для всех, кто работает с деньгами, идентификацией, медицинскими данными, частными коммуникациями, исследованиями или бизнес-операциями. Запуск непрозрачного стороннего кода сохранится там, где доминирует удобство, где субсидии искажают выбор и где пользователи принимают управляемые среды в обмен на экономический доступ.

Он исчезнет там, где агенты делают частную генерацию привычной.

Социальная переклассификация будет происходить медленно, а затем внезапно. Старая привычка останется знакомой до тех пор, пока новое значение по умолчанию не станет очевидным.

Как только пользователи смогут попросить своих собственных агентов создать приложение, верифицировать путь выполнения и подключиться только к аттестованным конечным точкам, бремя объяснения изменится. Человеку, запускающему чужой код, потребуется причина.

Человек, создающий через агента, просто будет использовать более безопасный вариант по умолчанию. Однако ему также, возможно, придётся принять отказ от корпоративных стимулов, предоставляемых тем, кто остаётся подключённым к матрице.

Материал Приложения вскоре столкнутся с той же участью, что и печатные СМИ, поскольку ИИ-агенты создают персонализированное верифицированное программное обеспечение впервые опубликован на CryptoSlate.