OpenAI, компания, основанная изгнанниками, обеспокоенными опасностями ИИ, ослабляет свой основной принцип безопасности в ответ на антропную конкуренцию.
Вместо добровольных ограничений, препятствующих разработке моделей искусственного интеллекта, Anthropic принимает необязывающую структуру безопасности, которая, по ее словам, может и будет меняться.
Излагая свою новую политику в своем блоге во вторник, Anthropic заявила, что недостатки ее двухлетней политики ответственного масштабирования могут помешать ее способности конкурировать на быстро растущем рынке искусственного интеллекта.
Это заявление удивительно, поскольку Anthropic назвала себя компанией, занимающейся искусственным интеллектом, с «душой». Это происходит на той же неделе, когда Anthropic AI ведет серьезную битву с Пентагоном из-за красных линий.
По словам источника, знакомого с этим вопросом, изменение политики является отдельным и не связано с переговорами Anthropic с Пентагоном. Министр обороны Пит Хегсет во вторник предъявил генеральному директору Anthropic Дарио Амодею ультиматум. Отмените меры безопасности компании в области искусственного интеллекта или рискуете потерять контракт с Пентагоном на 200 миллионов долларов. Пентагон пригрозил внести Anthropic в правительственный черный список.
Но в своем блоге компания заявила, что ее предыдущая политика безопасности была разработана для достижения отраслевого консенсуса по снижению рисков ИИ — барьеров, которые отрасль взорвала. Anthropic также заявила, что ее политика безопасности не соответствует нынешнему антирегуляторному политическому климату в Вашингтоне.
Предыдущая политика Anthropic предусматривала прекращение обучения, если возможности более мощных моделей превосходят возможности компании контролировать их и обеспечивать их безопасность – мера, которая была удалена в новой политике. Anthropic утверждает, что ответственные разработчики ИИ, останавливающие разработку, в то время как менее осторожные игроки продвигаются вперед, могут «привести к тому, что мир станет менее безопасным».
В рамках новой политики Anthropic заявила, что отделит свои планы безопасности от рекомендаций для индустрии искусственного интеллекта.
Anthropic написала, что надеется, что ее основные принципы безопасности «побудят другие компании, занимающиеся искусственным интеллектом, ввести аналогичную политику. Это идея «гонки к вершине» (антоним «гонки вниз»), в которой различным игрокам отрасли предлагается улучшать, а не ослаблять меры безопасности своих моделей и их общий уровень безопасности».
Теперь компания предполагает, что этого не произошло.
В заявлении для CNN представитель Anthropic назвал обновленную политику «самой сильной с точки зрения общественной подотчетности и прозрачности».
«Мы сделали значительный шаг вперед по сравнению с нашей прежней политикой, взяв на себя обязательство регулярно публиковать подробные отчеты о наших планах по снижению рисков, а также усилить модели угроз и возможности всех наших моделей», — говорится в заявлении. «С самого начала мы говорили, что темпы развития ИИ и неопределенность в этой области потребуют от нас быстрого повторения и совершенствования политики».
Новая политика безопасности Anthropic включает в себя «Дорожную карту безопасности Frontier», в которой излагаются добровольно установленные компанией руководящие принципы и меры безопасности. Но компания признала, что новая структура более гибкая, чем ее предыдущая политика.
«Вместо жестких обязательств, это публичные цели, по которым мы будем открыто оценивать наш прогресс», — говорится в сообщении компании в своем блоге.
Это изменение произошло на следующий день после того, как министр обороны Пит Хегсет дал генеральному директору Anthropic Дарио Амодею в пятницу крайний срок, чтобы отменить меры безопасности компании в области искусственного интеллекта, иначе вы рискуете потерять контракт Пентагона на 200 миллионов долларов и фактически оказаться в черном списке правительства.
По словам источника, знакомого с встречей компании с Хегсетом, Anthropic обеспокоена двумя вопросами, от которых она не желает отказываться: оружием, управляемым ИИ, и массовой внутренней слежкой за американскими гражданами. По словам одного источника, Anthropic считает, что ИИ недостаточно надежен, чтобы его можно было использовать в качестве оружия, и пока не существует законов или правил, регулирующих использование ИИ в массовой слежке.
Исследователи искусственного интеллекта во вторник высоко оценили позицию Anthropic в социальных сетях и выразили обеспокоенность по поводу идеи использования искусственного интеллекта для правительственной слежки.
Компания уже давно зарекомендовала себя как бизнес в сфере искусственного интеллекта, в котором безопасность является приоритетом. Anthropic опубликовала исследование, показывающее, как ее собственные модели искусственного интеллекта могут шантажировать при определенных условиях. Недавно компания пожертвовала 20 миллионов долларов организации Public First Action, политической группе, выступающей за меры безопасности и просвещение в области искусственного интеллекта.
Но компания столкнулась с растущим давлением и конкуренцией как со стороны правительства, так и со стороны конкурентов. Например, Hegseth планирует применить Закон об оборонном производстве в отношении антропных материалов и отнести компанию к группе риска в цепочке поставок, если она не выполнит требования Пентагона, сообщил CNN во вторник. OpenAI и Anthropic также присоединились к гонке по выпуску новых корпоративных инструментов искусственного интеллекта для победы на рабочем месте.
Главный научный сотрудник Anthropic Джаред Каплан предположил в интервью TIME, что изменение было сделано во имя безопасности, а не усиления конкуренции.
«Мы чувствовали, что прекращение обучения моделей ИИ никому не поможет», — сказал Каплан журналу. «Из-за быстрого развития ИИ мы действительно не чувствовали уместности брать на себя односторонние обязательства, если конкуренты продвигались вперед».
Хадас Гулд из CNN внес свой вклад в эту историю.
Эта история была дополнена дополнительной информацией.
