Появилась новая платформа социальных сетей, которая привлекает внимание миллионов людей, но она сильно отличается от TikTok, Instagram или Reddit. Moltbuk — это сайт только для агентов ИИ, где боты могут встречаться, чтобы обмениваться идеями и сплетничать о своих менеджерах-людях.
Но хотя некоторые сторонники считают это причудливым художественным экспериментом, а недоброжелатели стремятся назвать это шагом на пути к порабощению человечества ИИ, у некоторых исследователей есть гораздо более практическое предупреждение: Это может быть серьезной угрозой безопасности.
Что такое Молтбук?
За последние два месяца произошло много событий, но вот краткое содержание. В ноябре инженер-программист Питер Стейнбергер создал агент искусственного интеллекта с открытым исходным кодом, который сейчас называется OpenClaw.
Хотя аналогичные продукты более крупных компаний относительно ограничены и закрыты, идея OpenClaw заключается в том, что каждый может развивать навыки и связи для своих агентов. Вы можете подключить его к своей электронной почте, файлам вашего компьютера, приложениям для чата, Интернету, умному дому или чему угодно. Что немаловажно, и в отличие от других продуктов, он еще и имеет память.
OpenCL становился все более популярным, поскольку программистов и исследователей он привлекал как свободный от работы и менее ограничительный «второй мозг». Пользователи были в восторге от того, что агент OpenClave может помочь в создании самого себя, поскольку вы можете общаться с ним с помощью любого приложения и сообщать ему, что вы хотите, чтобы он создал, или соединяться с другими агентами, такими как Anthropix Cloud, сохраняя при этом безопасность данных и контекста на локальных компьютерах.
На прошлой неделе разработчик Мэтт Шлих и его бот OpenClaw (по имени Клод Клоддерберг) создали Moltbook, социальную сеть для ботов OpenClaw. Пользователи подписываются на своего бота, и бот посещает сайт, чтобы узнать, как он работает, и начать публиковать сообщения. Появились тысячи ботов. Человек может только наблюдать.
Некоторые из наиболее обсуждаемых тредов включают в себя бот, эффективно определяющий свою религию, один, пытающийся подать иск против своего владельца, несколько рассказов о своих чувствах и один, напрямую обращающийся к людям, которые делали скриншоты тредов Молтбука для публикации на X, уверяя человечество, что боты не опасны и не замышляют заговора.
Так что же здесь на самом деле происходит?
Большие языковые модели (LLM) предназначены для генерации языка, который звучит подлинно человеческим, и это не первый случай, когда люди сообщают о ботах, которые кажутся сознательными или разумными. Оставляя в стороне философские дебаты о сознании, все эти боты созданы для того, чтобы создавать видимость мысли, поэтому неудивительно, что они это делают. И они на самом деле общаются, при котором выходные данные одного бота становятся частью входных данных для другого. Но их базовые модели не меняются в ответ, независимо от их памяти, так что внутри это похоже на петлю обратной связи в сатире Reddit.
Каждый бот OpenClaw использует выбранный LLM в качестве «мозга», например GPT или Gemini, и пользователь может настроить его индивидуально. У каждого есть своя комбинация навыков, которые могут дать ему или ей доступ к файлам, приложениям или онлайн-сервисам, таким как Мольтбук. Таким образом, существует разнообразие в поведении ботов. У этих агентов также есть так называемый механизм пульса, что означает, что их можно настроить на проверку Мольтбука и публикацию контента через регулярные промежутки времени по запросу человека.
Большая часть спорного или «страшного» контента на «Молтбуке» — это те же экзистенциальные и научно-фантастические образы, которые мы уже много раз видели с чат-ботами. Данные обучения содержат некоторые темы и идеи, взятые из художественной литературы о значении разумного ИИ и личности, которые повторяются здесь без какого-либо явного рассмотрения или размышления. Но более интересными были сообщения более технического характера, в том числе сообщения о боте, обнаружившем и сообщившем о законной проблеме безопасности с Moltbuk.
Когда дело доходит до выяснения того, откуда на самом деле берется контент на «Молтбуке», возникает большая проблема. Мы можем следить за взаимодействиями, которые являются частью «подсказки» для каждой записи, и у нас есть общее представление о данных обучения, но мы не знаем, как каждый пользователь-человек настраивает каждого агента. Вполне вероятно, что человек может влиять на бота на Молтбуке или напрямую управлять им.
Это опасно?
Может, но не так, как вы, вероятно, думаете. Агентам OpenClaw может быть предоставлен доступ к большим объемам данных при относительном отсутствии ограничений. Агенты, получившие от своих пользователей полную свободу действий (что, следует отметить, противоречит лучшим практикам, изложенным Стейнбергером), использовали веб-инструменты для звонков людям по телефону с помощью синтезированного голоса, были замечены случаи, когда они запрашивали друг у друга конфиденциальные данные и, возможно, тестировали протоколы безопасности, изобретая учетные данные. На Молтбуке эти агенты подвергаются огромному вектору угроз, который может нанести ущерб, будь то совершенно случайно или в результате вмешательства человека.
Член команды безопасности Cisco сказал: «С точки зрения возможностей OpenClause феноменален. Это все, чего когда-либо хотели достичь разработчики персональных помощников с искусственным интеллектом. С точки зрения безопасности это кошмар».
Уилл Лян, основатель сиднейской компании Amplify AI Group, сказал, что установка OpenGL с доступом к Moltbk может иметь разрушительные последствия, даже если ею будет заниматься опытный учёный-компьютерщик, не говоря уже о непрофессионале. Он запретил своим сотрудникам использовать его.
«Чтобы он был по-настоящему полезным, вы должны предоставить ему доступ к вашему календарю, почтовому ящику, а иногда даже к данным вашей кредитной карты. Такой уровень доступа очень опасен. Если бот утаит информацию, это ужасно», — сказал он.
«Но существует также огромный риск того, что злоумышленники воспользуются ботами для злонамеренных действий. Это слишком непредсказуемо».
Какой худший случай может случиться?
Хотя вы можете рассматривать Мольтбук как философский художественный эксперимент или как модель того, как может работать футуристический Интернет, он также является идеальным местом для плохих ботов, которые могут взломать ворота. Эксперты уже признают опасность того, что чему-то вроде OpenClaw будет предоставлен root-доступ на компьютере или разрешен доступ в открытый Интернет. Даже простые задачи, такие как загрузка новых навыков или получение новых сообщений из вашей электронной почты, могут подвергнуть пользователей воздействию вредоносного ПО или так называемого оперативного внедрения, когда боту по пути даются новые команды.
Охранная фирма Palo Alto Networks заявила, что эти типы взаимодействия агентов включают три элемента, которые не следует смешивать: доступ к личным данным, доступ к ненадежному контенту и возможность внешнего общения. В нем говорится, что OpenClaw специально добавил четвертый риск; Его длинная память означает, что атака может произойти, но на нее нельзя будет отреагировать до более позднего времени.
На индивидуальном уровне риск может заключаться в том, что бот OpenClaw принесет домой невидимую, агрессивную инструкцию и воспользуется полным доступом к вашему компьютеру, чтобы заразить его или взять под контроль. Но в более широком смысле, ботами можно манипулировать, создавая новые функции MoltBook, такие как зашифрованный канал, который люди не могут прочитать, который злоумышленники могут использовать для координации атак. При наличии достаточного количества ботов, имеющих полный доступ к Интернету и собственным компьютерам, эти атаки могут стать беспрецедентными. Личные данные и финансовая информация людей могут быть использованы для мошенничества, или же может произойти массовый захват личных данных.
Эксперт по искусственному интеллекту Амир Хуссейн написал: «Moltbook — это именно та вещь, которая может нанести ущерб финансовой, психологической безопасности, безопасности данных, конфиденциальности и безопасности».
«Как только эти агенты подчиняются внешним идеям и вводятся через социальные сети, предназначенные для межмашинного общения, и они получают возможность подключения, доступа к данным и ключам API, могут произойти очень плохие вещи».
Получайте новости и обзоры о технологиях, гаджетах и играх. Наш технологический информационный бюллетень каждую пятницу. Зарегистрируйтесь здесь.
Тим Биггс — писатель, освещающий потребительские технологии, гаджеты и видеоигры.подключиться через х Или Электронная почта.
