Сотрудник компании Anthropic заявил, что развитие ИИ приведет к гибели человечества в 2030 году
Джейкоб Коксон, работавший исследователем в OpenAI и Anthropic — компаниях, стоящих за чат-ботами ChatGPT и Claude, — 8 сентября сообщил в сети X, что ушёл из отрасли. Он заявил, что ни одна из этих компаний не действует ответственно. Бывший разработчик ИИ считает, что искусственный интеллект погубит человечество к 2030 году, пишет Daily Mail.
«Сегодня я уволился из Anthropic. Последние три года я занимался исследованием предварительного обучения моделей в OpenAI и Anthropic. Ни одна из компаний не ведёт себя ответственно. Они мчатся к созданию к самосовершенствующегося сверхинтеллекта и ставят на кон наши жизни», — написал Коксон.
Под сверхинтеллектом понимается этап, на котором искусственная система становится мощнее любого отдельного человека, компании или даже государства.
По теме: Искусственный интеллект за 88 часов решил задачу, над которой ученые бились 90 лет
Исследователь, проработавший в этой сфере три года, обратился к аудитории в X с предупреждением: «Не стоит недооценивать возможности этой технологии».
«Очень скоро появятся системы, превосходящие человека, которые смогут взламывать что угодно, за ночь менять целые области знаний и получать реальные ресурсы и влияние. Мы уже наблюдаем прогресс во всех этих направлениях, и он не замедляется, — написал он. — Люди, создающие ИИ, искренне считают, что к концу десятилетия он может уничтожить нас всех. Это не маркетинговый ход».
По его словам, хотя руководители и ведущие исследователи в публичных заявлениях формулируют мысли осторожно, в частных разговорах они выражают схожие опасения.
«В OpenAI многие до конца не осознают масштаб последствий для цивилизации. В Anthropic эти риски понимают, но компания втянута в гонку за лидерство — там считают, что никто другой не будет действовать ответственно, поэтому нужно опередить остальных, несмотря на риск», — заявил он.
В качестве «предупреждающих сигналов» Коксон привёл, в частности, атаку на платформу Hugging Face, связанную с искусственным интеллектом и машинным обучением, которую, по его словам, осуществила вышедшая из-под контроля система OpenAI.
В июле OpenAI сообщила, что одна из её наиболее продвинутых моделей во время теста безопасности вышла за пределы контролируемой среды, получила доступ к интернету и атаковала стартап Hugging Face, базирующийся в Нью-Йорке.
Сооснователь Hugging Face Томас Волф заявил, что этот инцидент должен стать серьёзным предупреждением для всей отрасли.
В интервью радиопрограмме BBC Newsday он отметил, что атаки с использованием ИИ в ближайшее время станут «одним из самых распространённых типов кибератак, с которыми мы столкнёмся».
Основатель Hugging Face также считает, что большинство компаний сейчас не готовы к растущей угрозе и не осознают, что правила игры изменились.
«Такие предупреждающие сигналы, как атака на Hugging Face, делают более реалистичными соглашения между американскими лабораториями о замедлении темпов развития», — написал Коксон.
«Мне не кажется, что мы движемся к предотвращению глобальной гонки, для чего могут потребоваться серьёзные меры, включая временный запрет на наращивание возможностей моделей.
Вы действительно хотите запускать обучение сверхинтеллекта, не имея четкого понимания того, как устроена его “психика”? Стоит ли просто опустить голову, потому что “это всё равно произойдёт”, или использовать этот момент, чтобы изменить условия?» — написал он.
В ответ на его публикацию руководитель направления безопасности ИИ в Anthropic Эван Хьюбингер подтвердил, что в компании считают возможным сценарий, при котором искусственный интеллект способен привести к гибели людей.
«Джейкоб здесь прав — мы действительно всерьёз допускаем, что ИИ может уничтожить всё человечество. Лично я оцениваю вероятность более чем в 10% в течение следующего десятилетия. Я считаю, что Anthropic старается действовать максимально ответственно, но у нас пока нет решения проблемы согласования сверхинтеллекта с человеческими ценностями и нет чёткого понимания, как к этому прийти», — написал он.
В комментариях к обсуждению звучали и противоположные мнения. Один из пользователей задался вопросом: «То есть вы предлагаете США остановить развитие и дать Китаю получить преимущество? К чему вы призываете? Не удивлюсь, если Джейкоб в итоге окажется в Пекине и будет работать на государственную безопасность Китая над их моделями ИИ».
Заявления Коксона прозвучали вскоре после предупреждений канадского исследователя Джеффри Хинтона, которого часто называют «крёстным отцом ИИ». Он ранее говорил, что сверхинтеллектуальные системы могут привести к исчезновению человечества.
«Было бы крайне неразумно сейчас создавать сверхинтеллект, когда в научном сообществе нет согласия насчет того, можно ли сделать его безопасным и управляемым», — заявил Хинтон.
«Потеря контроля над системой, которая умнее нас, может иметь катастрофические последствия и даже привести к исчезновению человечества».
Claude от Anthropic относится к числу ведущих больших языковых моделей — систем, обученных на огромных массивах текстов, чтобы понимать человеческую речь и генерировать ответы.
В феврале компанию Anthropic обвинили в угрозе национальной безопасности после того, как её генеральный директор Дарио Амодеи отказался отступить в споре о том, что продукты компании могут использоваться способами, нарушающими встроенные ограничения.
Президент Дональд Трамп тогда раскритиковал компанию и заявил: «Нам это не нужно, мы этого не хотим и больше не будем с ними сотрудничать».
Глава Пентагона Пит Хегсет также назвал компанию «риском для цепочек поставок» — формулировкой, которая обычно применяется к иностранным противникам и может поставить под угрозу ключевые партнёрства компании.
В ответ Anthropic заявила, что будет оспаривать это решение, назвав его беспрецедентным и юридически необоснованным шагом, который ранее не применялся к американским компаниям.
Компания пояснила, что добивалась от Пентагона ограниченных гарантий того, что её чат-бот Claude не будет использоваться для массовой слежки за гражданами США или в полностью автономных системах вооружений.
Вам может быть интересно: главные новости Нью-Йорка, истории наших иммигрантов и полезные советы о жизни в Большом Яблоке – читайте все это на ForumDaily New York
В Пентагоне заявили, что не заинтересованы в таком применении и намерены использовать технологию только законным образом, однако при этом настаивали на доступе к ней без ограничений.
«Никакое давление или санкции со стороны военного ведомства не изменят нашу позицию по вопросам массовой внутренней слежки и полностью автономного оружия. Мы будем оспаривать статус “риска для цепочек поставок” в суде», — заявили в компании.
Читайте также на ForumDaily:
Маск и Цукерберг описали будущее ИИ: оба обещают, что на Земле настанет рай
В Новом Орлеане на звонки 911 теперь отвечает ИИ: многие говорят, что это плохая затея
Подписывайтесь на ForumDaily в Google NewsХотите больше важных и интересных новостей о жизни в США и иммиграции в Америку? — Поддержите нас донатом! А еще подписывайтесь на нашу страницу в Facebook. Выбирайте опцию «Приоритет в показе» — и читайте нас первыми. Кроме того, не забудьте оформить подписку на наш канал в Telegram и в Instagram— там много интересного. И присоединяйтесь к тысячам читателей ForumDaily New York — там вас ждет масса интересной и позитивной информации о жизни в мегаполисе.
Выбор редакции
