Сотрудник Anthropic заявил, что развитие ИИ грозит гибелью человечества уже в этом десятилетии
Джейкоб Коксон, работавший исследователем в OpenAI и Anthropic, создавших чат-боты ChatGPT и Claude, 8 сентября сообщил в сети X, что ушёл из отрасли. По его словам, ни одна из этих компаний не действует ответственно. Бывший разработчик ИИ считает, что искусственный интеллект к 2030 году погубит человечество, пишет Daily Mail.
«Сегодня уволился из Anthropic. Последние три года я занимался исследованием предварительного обучения моделей в OpenAI и Anthropic. Ни одна из компаний не ведёт себя ответственно. Они мчатся к созданию самосовершенствующегося сверхинтеллекта и ставят на кон наши жизни», — написал Коксон.
Под сверхинтеллектом понимается этап, на котором искусственная система становится мощнее любого отдельного человека, компании или даже государства.
По теме: Искусственный интеллект за 88 часов решил задачу, над которой ученые бились 90 лет
Исследователь, проработавший в этой сфере три года, обратился к аудитории X с предупреждением: «Не стоит недооценивать возможности этой технологии».
«Очень скоро появятся системы, превосходящие человека, которые смогут взламывать что угодно, за ночь менять целые области знаний, получать реальные ресурсы и влияние. Мы уже наблюдаем прогресс во всех этих направлениях, и он не замедляется, — заверил он. — Люди, создающие ИИ, искренне считают, что к концу десятилетия он может уничтожить нас всех. Это не маркетинговый ход».
По его словам, хотя руководители и ведущие исследователи в публичных заявлениях формулируют мысли осторожно, в частных разговорах они выражают схожие опасения.
«В OpenAI многие до конца не осознают масштаб последствий для цивилизации. В Anthropic эти риски понимают, но компания втянута в гонку за лидерство — там считают, что никто другой не будет действовать ответственно, поэтому, несмотря на риск, нужно опередить остальных», — заявил он.
В качестве «предупреждающих сигналов» Коксон привёл, в частности, атаку на платформу Hugging Face, связанную с искусственным интеллектом и машинным обучением, которую, по его словам, осуществила вышедшая из-под контроля система OpenAI.
В июле эта компания сообщила, что одна из её наиболее продвинутых моделей во время теста безопасности вышла за пределы контролируемой среды, получила доступ к интернету и атаковала стартап Hugging Face, базирующийся в Нью-Йорке.
Сооснователь Hugging Face Томас Волф убежден, что этот инцидент должен стать серьёзным предупреждением для всей отрасли.
В интервью радиопрограмме BBC Newsday он подчеркнул, что атаки с использованием ИИ в ближайшее время станут «одним из самых распространённых типов кибератак, с которыми мы столкнёмся».
Основатель Hugging Face уверен, что большинство компаний сейчас не готовы к растущей угрозе и не осознают, что правила игры изменились.
«Такие предупреждающие сигналы, как атака на Hugging Face, делают более реалистичными соглашения между американскими лабораториями о замедлении темпов развития», — продолжил Коксон.
«Мне не кажется, что мы движемся к предотвращению глобальной гонки, для чего могут потребоваться серьёзные меры, в частности временный запрет на наращивание возможностей моделей.
Вы действительно хотите запускать обучение сверхинтеллекта не имея четкого понимания того, как устроена его “психика”? Стоит ли просто опустить голову, потому что “это всё равно произойдёт”, или использовать этот момент, чтобы изменить условия?» — добавил он.
В ответ на его публикацию руководитель направления безопасности ИИ в Anthropic Эван Хьюбингер подтвердил, что в компании считают возможным сценарий, при котором искусственный интеллект способен привести к гибели людей.
«Джейкоб здесь прав — мы действительно всерьёз допускаем, что ИИ может уничтожить всё человечество. Лично я оцениваю вероятность более чем в 10% в течение следующего десятилетия. Я считаю, что Anthropic старается действовать максимально ответственно, но у нас пока нет решения проблемы согласования сверхинтеллекта с человеческими ценностями и нет чёткого понимания, как к этому прийти», — признал он.
В комментариях к обсуждению звучали и противоположные мнения. Один из пользователей задался вопросом: «То есть вы предлагаете США остановить развитие и дать Китаю получить преимущество? К чему вы призываете? Не удивлюсь, если Джейкоб в итоге окажется в Пекине и будет работать на государственную безопасность Китая над их моделями ИИ».
Заявления Коксона прозвучали вскоре после предупреждений канадского исследователя Джеффри Хинтона, которого часто называют «крёстным отцом ИИ». Он ранее говорил, что сверхинтеллектуальные системы могут привести к исчезновению человечества.
«Было бы крайне неразумно сейчас создавать сверхинтеллект, когда в научном сообществе нет согласия насчет того, можно ли сделать его безопасным и управляемым, — предостерег Хинтон. — Потеря контроля над системой, которая умнее нас, может иметь катастрофические последствия и даже привести к исчезновению человечества».
Claude от Anthropic относится к числу ведущих больших языковых моделей — систем, обученных на огромных массивах текстов, чтобы понимать человеческую речь и генерировать ответы.
В феврале компанию Anthropic обвинили в угрозе национальной безопасности после того, как её генеральный директор Дарио Амодеи отказался отступить в споре о том, что продукты компании могут использоваться способами, нарушающими встроенные ограничения.
Президент Дональд Трамп тогда раскритиковал Anthropic и заявил: «Нам это не нужно, мы этого не хотим и больше не будем с ними сотрудничать».
Глава Пентагона Пит Хегсет назвал компанию «риском для цепочек поставок» — формулировкой, которая обычно применяется к иностранным противникам и может поставить под угрозу ключевые партнёрства компании.
В ответ Anthropic заявила, что будет оспаривать это решение. Она назвала его беспрецедентным и юридически необоснованным шагом, который ранее не применялся к американским компаниям.
Anthropic пояснила, что добивалась от Пентагона ограниченных гарантий того, что её чат-бот Claude не будет использоваться для массовой слежки за гражданами США или в полностью автономных системах вооружений.
Вам может быть интересно: главные новости Нью-Йорка, истории наших иммигрантов и полезные советы о жизни в Большом Яблоке – читайте все это на ForumDaily New York
В Пентагоне ответили, что не заинтересованы в таком применении и намерены использовать технологию только законным образом, однако при этом настаивали на доступе к ней без ограничений.
«Никакое давление или санкции со стороны военного ведомства не изменят нашу позицию по вопросам массовой внутренней слежки и полностью автономного оружия. Мы будем оспаривать статус “риска для цепочек поставок” в суде», — предупредили в компании.
Читайте также на ForumDaily:
Маск и Цукерберг описали будущее ИИ: оба обещают, что на Земле настанет рай
В Новом Орлеане на звонки 911 теперь отвечает ИИ: многие говорят, что это плохая затея
Подписывайтесь на ForumDaily в Google NewsХотите больше важных и интересных новостей о жизни в США и иммиграции в Америку? — Поддержите нас донатом! А еще подписывайтесь на нашу страницу в Facebook. Выбирайте опцию «Приоритет в показе» — и читайте нас первыми. Кроме того, не забудьте оформить подписку на наш канал в Telegram и в Instagram— там много интересного. И присоединяйтесь к тысячам читателей ForumDaily New York — там вас ждет масса интересной и позитивной информации о жизни в мегаполисе.
Выбор редакции
