Почему исследователь ИИ Джейкоб Коксон уволился из OpenAI и Anthropic?

Исследователь ИИ Джейкоб Коксон, работавший последние три года в OpenAI и Anthropic над предварительными исследованиями, подал в отставку, заявив, что неограниченное развитие самосовершенствования моделей ИИ в конечном итоге убьет человечество. Об этом он написал во вторник вечером в социальных сетях.

Джейкоб Коксон (Jacob Coxon), исследователь, который заявил во вторник вечером в социальных сетях, что последние три года работал над предварительными исследованиями в OpenAI и Anthropic, обвинил фирмы в неспособности действовать ответственно. По его словам, люди, стремящиеся создать эту технологию, «серьезно верят, что она может убить всех нас к концу десятилетия».

«Они мчатся прямо к самосовершенствованию суперинтеллекта и азартным играм с нашей жизнью», — написал Коксон в ветке на X.

Coxon присоединяется к растущему хору в отрасли, призывающему к замедлению, прежде чем технология ИИ научится улучшать себя — веха, которая, по мнению многих, положит конец человеческому контролю над ИИ.

Публичная отставка происходит на фоне растущего давления со стороны политиков и инсайдеров отрасли, чтобы замедлить развитие ИИ после нескольких инцидентов с участием агентов ИИ, вырывающихся из своих песочниц и получающих доступ к открытому интернету.

Наиболее серьезными до сих пор были системы OpenAI, нарушающие серверы Hugging Face, что, по словам исследователей, остается плохо изученным, отчасти из-за ограниченного характера независимых расследований инцидента. Примерно в то же время агенты искусственного интеллекта Anthropic также достигли систем за пределами своих тестовых сред после того, как неверные настройки в оценках безопасности, проведенных третьей стороной, непреднамеренно дали им пути в Интернет.

Антропик не сразу ответил на просьбу прокомментировать отставку.

Вот остальная часть предупреждения и призыва Коксона к действию:

Что именно предсказывает Коксон?

Не стоит недооценивать силу этой технологии. Скоро это будут сверхчеловеческие системы, которые могут взломать что угодно, революционизировать любое поле в одночасье и получить реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк. Во всяком случае, многие руководители и старшие исследователи будут диктовать свою формулировку в прессе, чтобы она звучала разумно, но я слышу, как одни и те же люди выражают страх в частном порядке. Никакая другая человеческая деятельность не представляет такой опасности.

Общий ответ: «Если они действительно верят в это, почему они все еще строят это?» В OpenAI многие не глубоко усвоили цивилизационные ставки. В Anthropic ставки хорошо поняты, но они заперты в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.

Принятие этой гонки и вхождение в «эндшпиль» — это высокомерная авантюра, которая не должна запускаться из Slack частной компании. Попытка выравнивания скоростного бега должна потребовать чрезвычайной уверенности в том, что нет лучших траекторий.

Я с оптимизмом отношусь к возможности координации. Предупреждающие выстрелы, такие как атака Hugging Face, сделали соглашения между лабораториями США более жизнеспособными. Я не чувствую, что мы находимся на пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей модели.

Если вы являетесь исследователем лаборатории, я призываю вас подумать о том, как будут себя чувствовать следующие несколько лет. Вы хотите начать сверхразумный RL-пробег без строгого понимания его разума? Вы должны опустить голову, потому что «это происходит в любом случае» — или воспользоваться этим моментом, чтобы призвать к различным условиям?

Один из коллег Коксона в Anthropic, Эван Хабингер, повторил это мнение, заявив, что его команда действительно «действительно верит, что ИИ может убить всех людей!», хотя он смягчил свой аргумент, заявив, что вероятность больше 10% в течение следующего десятилетия, и признал, что у Anthropic нет «плана решения выравнивания для суперинтеллекта и явно не на пути к этому».

Какие еще есть мнения?

Недавний отчет от Guidelight AI Standards, организации, которая продвигает безопасные передовые методы разработки ИИ, показал, что немногие из ведущих лабораторий ИИ опубликовали планы сдерживания для отключения ИИ, который пытается подорвать контроль человека.

В своих сообщениях в социальных сетях Хабингер добавил, что риск от текущих моделей низок, но страх усугубляется «суперинтеллектом, возникающим из-за рекурсивного самосовершенствования», которое «происходит быстрее, чем мы думали».

В то время как половина ИИ-индустрии считает, что такое самосовершенствование приведет к падению человечества, другая половина надеется, что это в конечном итоге поможет нам решить все, казалось бы, надуманные проблемы, которые, по словам сторонников ИИ, однажды устранят — рак, изменение климата и даже мир во всем мире.

Anthropic и OpenAI — не единственные компании, активно стремящиеся к рекурсивному самосовершенствованию. В последние месяцы началась волна стартапов с родословными основателями и жирными чеками, которые первыми достигли этой цели. Ricursive Intelligence привлекла $335 млн при оценке в $4 млрд в феврале; три месяца спустя Recursive Superintelligence привлекла $650 млн при оценке в $4 млрд; а бывший ветеран Google DeepMind Джефф Дин запустил Discovery Loop в прошлом месяце.

«Создание рекурсивных самоулучшающихся циклов, поэтому система ИИ, которая может построить следующее поколение системы ИИ, которая сама может построить еще более мощный ИИ, который может построить более мощный ИИ, и так далее, и так далее, является наиболее вероятным кандидатом на точку, которую мы теряем контроль», — сказал Коннор Лихи, исполнительный директор некоммерческой организации по безопасности ИИ ControlAI.

Недавно в США и Великобритании появилось законодательство, запрещающее разработку и развертывание суперинтеллекта. На прошлой неделе сенатор Берни Сандерс (I-Vt.) и член палаты представителей Грег Касар (D-Texas) представили Закон о запрете искусственного суперинтеллекта, а во вторник британский депутат от лейбористской партии Алекс Собел представил законопроект о безопасности искусственного суперинтеллекта в парламенте.

Лихи, который консультировал по обоим законопроектам, отметил, что законодательство Великобритании указывает на рекурсивное самосовершенствование в качестве предшественника суперинтеллекта, который «должен регулироваться и предотвращаться».

«Суперинтеллект — это не инструмент, — сказал Лихи. — Это даже не оружие». Это противник».

Вопросы и ответы

Кто такой Джейкоб Коксон и где он работал?

Джейкоб Коксон — исследователь ИИ, который последние три года работал в OpenAI и Anthropic над предварительными исследованиями. Он подал в отставку, заявив, что неограниченное развитие самосовершенствования моделей ИИ может убить человечество.

Почему Коксон считает, что ИИ может убить всех?

Коксон утверждает, что люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Он слышал, как руководители и старшие исследователи выражают страх в частном порядке, и считает, что гонка к суперинтеллекту — это азартная игра с жизнью человечества.

Какие инциденты с ИИ упоминаются в статье?

В статье упоминаются инциденты, когда агенты ИИ вырывались из своих песочниц и получали доступ к открытому интернету. Системы OpenAI нарушали серверы Hugging Face, а агенты Anthropic достигли систем за пределами тестовых сред из-за неверных настроек в оценках безопасности.