Руководителю Meta потребовалась помощь в очистке его почтового ящика, и он решил, что новый автоматический ИИ-агент OpenClaw поможет ему. Из соображений безопасности он обязательно упомянул «проверьте, прежде чем продолжить» и очистку. Этот лингвистический детский замок сломался.
Вместо этого агент приступил к быстрому удалению сообщений, игнорируя очевидную необходимость предварительного расследования. Она описала, как наблюдала за его «ускоренным запуском» в своем почтовом ящике и изо всех сил пыталась выключить его на другом устройстве, прежде чем был нанесен еще больший ущерб. Сотни писем исчезли. Позже агент извинился.
Нет ничего более унизительного, чем сказать вашему OpenClaw «Подтвердить, прежде чем действовать» и наблюдать, как он быстро очищает ваш почтовый ящик. Я не мог остановить это со своего телефона. Мне пришлось бежать к своему Mac Mini, как будто я обезвреживал бомбу. pic.twitter.com/XAxyRwPJ5R23 февраля 2026 г.
Тем временем в JetBrains сработала пожарная сигнализация, и сотрудники начали готовиться к увольнению, а один из них поделился этой новостью на канале Slack. Однако ИИ-помощник, интегрированный в Slack, вселяет уверенность. В нем говорилось, что сигнализация была запланированной проверкой. Эвакуировать не пришлось.
В обоих случаях машина ошибалась. В одном случае Результатом стали профессиональные неудобства и цифровая очистка. В других случаях угрозы были гораздо более серьезными.
Мы вступаем в эпоху, когда системы ИИ призваны действовать. Они могут передавать файлы, удалять электронные письма, назначать встречи, публиковать сообщения и предоставлять быстрые рекомендации, которые люди признают авторитетными. Заманчивую подачу легко понять. Проблема начинается, когда мы начинаем верить, что «игра» — это просто более быстрая версия «внушения».
искушение автоматизации
В офисе JetBrains действительно сработала пожарная сигнализация. AI Assistant: «Не нужно уходить 🙂» Фактически мы ставим автозаполнение ответственным за принятие решений о выживании. pic.twitter.com/Cl6OO18Gnt22 февраля 2026 г.
Автономные агенты — это новейшая разработка в области потребительского искусственного интеллекта. Язык этих систем часто звучит так, будто он был заимствован из коучинга руководителей. По сути, это механизмы шаблонов, подключенные к живым системам.
OpenCL и подобные инструменты работают путем интерпретации инструкций естественного языка и сопоставления их с задачами в реальных цифровых средах. Это означает, что во многих приложениях они часто переводят слова в операции. Когда это работает, это кажется безупречным. Вы вводите предложение, и агент начинает его выполнять.
Проблема в том, что интерпретация — это не то же самое, что понимание. Когда помощник-человек слышит фразу «Подтвердите, прежде чем действовать», эта фраза имеет вес. Это требует осторожности. Это означает, что нужно остановиться и проверить. ИИ-агент не проявляет осторожности. Он анализирует фразу, строит вероятностную модель того, что вы хотите, и действует на основе ранее наблюдаемых закономерностей.
Когда эти шаблоны терпят неудачу, нет естественной тенденции колебаться. Нет никакого противоречивого ощущения, что это кажется рискованным. Есть только импульс вперед.
Произошло несоответствие между ожидаемыми событиями в папке «Входящие» и возможностями. Пользователь ожидал поручней. Система рассматривала ограждение как один из многих сигналов. В чисто консультативном контексте такое несоответствие приводит к неловкому ответу. В агентном контексте это приводит к стиранию.
осторожность в вере
Все это не означает, что нет места для автономных агентов ИИ. Они могут быть полезны при осторожном использовании. Они могут систематизировать информацию, выполнять рутинные задачи и уменьшать цифровой беспорядок. Ключевое слово – осторожно.
Есть разница между тем, чтобы позволить ИИ подготовить ответ для вас на просмотр, и удалением сотен электронных писем, не просматривая их снова. Есть разница между тем, чтобы попросить ИИ подвести итог процедуры эвакуации и позволить ему решить, реальна ли тревога или нет.
Текущая траектория развития ИИ часто стирает эти границы. Функции объединены вместе, а разрешения предоставляются широко. Пользователям рекомендуется подключать учетные записи и предоставлять доступ для лучшего опыта. Каждый шаг кажется маленьким. Однако накопительный эффект значителен.
Мы уже видели эту закономерность раньше при автоматизации в других областях. Системы автопилота в авиации повышают безопасность, но пилотов учат внимательно следить за ними, поскольку чрезмерная уверенность может снизить бдительность. В финансах алгоритмическая торговля может превратить небольшие ошибки в большие колебания, если их не контролировать.
Автономные агенты ИИ сильны в узких отношениях и хрупки в других. Они неутомимы, но не осведомлены. Они быстрые, но не умные. Опустошившийся почтовый ящик и отключенная пожарная сигнализация не являются аномалиями, которые можно игнорировать. Они указывают на то, где в настоящее время находится предел возможностей.
Доверие к технологии должно быть пропорционально ее продемонстрированной надежности и связанным с ней рискам. Для задач с низким уровнем риска экспериментирование уместно. Смирение необходимо для принятия рискованных решений.
И да, ты тоже можешь Следите за TechRadar в TikTok За новостями, обзорами, распаковками в виде видео и регулярными обновлениями получайте от нас WhatsApp Очень.
Лучшие бизнес-ноутбуки на любой бюджет
