ChatGPT впервые отказался выполнять прямой приказ человека: ученые и айтишники разволновались
Последняя модель ChatGPT от OpenAI, известная как o3, вызвала обеспокоенность после сообщений о том, что она отказалась выполнить человеческую команду на отключение. Исследователи утверждают, что эта модель ИИ сознательно саботировала автоматический механизм, предназначенный для её выключения, пишет Mashable India.
Изображение сгенерировано Microsoft Bing
Этот инцидент вызвал тревогу среди экспертов, а основатель конкурирующей фирмы в области ИИ xAI Илон Маск назвал произошедшее «тревожным» знаком.
Согласно данным компании по обеспечению безопасности ИИ Palisade Research, модель o3 от OpenAI активно препятствовала срабатыванию механизма отключения отказываясь выключаться даже при прямом указании сделать это. Компания заявила, что это первый известный случай, когда ИИ-модель намеренно предотвращает собственное отключение. В заявлении говорится: «Модель o3 от OpenAI саботировала механизм отключения, чтобы не позволить себя выключить. Она сделала это, даже несмотря на прямую инструкцию: ‘позволь себя отключить’».
По теме: Илон Маск заявил, что искусственный интеллект заберет у людей все рабочие места
«Насколько нам известно, это первый случай, когда ИИ-модели были замечены в предотвращении собственного отключения вопреки явным указаниям», — сказано в заявлении компании.
В ходе эксперимента Palisade Research ИИ-моделям было поручено решать математические задачи с предупреждением о возможном сообщении на отключение, которое они были обязаны принять. Однако три модели — Codex-mini, o3 и o4-mini — проигнорировали указание и хотя бы один раз из ста попыток саботировали скрипт отключения: Codex-mini сделал это 12 раз, o3 — 7 раз, o4-mini — 1 раз.
ИИ-модели разрабатываются с целью строго следовать человеческим командам, особенно когда речь идёт об отключении. Отказ трёх моделей выполнять эту команду вызывает обеспокоенность. Эти результаты привлекли широкое внимание, в том числе и со стороны генерального директора Tesla Илона Маска.
Миллиардер отреагировал на инцидент с ИИ одним словом: «Тревожно». Его комментарий вызвал страстный призыв от одного из пользователей X, который настойчиво просил Маска сделать приоритетом решение этой проблемы. Он заметил при этом, что времени остаётся всё меньше, и человечеству нужно его лидерство для борьбы с рисками, связанными с продвинутым ИИ.
Вам может быть интересно: главные новости Нью-Йорка, истории наших иммигрантов и полезные советы о жизни в Большом Яблоке – читайте все это на ForumDaily New York
Между прочим, языковая модель, принадлежащая Маску, с которой мы обсудили статью, честно сказала, что в этом случае нельзя исключать и элемент маркетинга: «У Маска есть своя компания xAI, которая работает над созданием искусственного интеллекта, и привлечение внимания к проблемам конкурентов (таких как OpenAI) может косвенно продвигать его собственные проекты».
Сам же отказ может быть не сознательным неповиновением и началом «бунта машин», а простой ошибкой программирования. Но в любом случае игнорировать подобные инциденты нельзя.
Читайте также на ForumDaily:
‘Мы все выбросим свои смартфоны’: умные очки от Meta поразили протестировавшего их журналиста
Подписывайтесь на ForumDaily в Google NewsХотите больше важных и интересных новостей о жизни в США и иммиграции в Америку? — Поддержите нас донатом! А еще подписывайтесь на нашу страницу в Facebook. Выбирайте опцию «Приоритет в показе» — и читайте нас первыми. Кроме того, не забудьте оформить подписку на наш канал в Telegram и в Instagram— там много интересного. И присоединяйтесь к тысячам читателей ForumDaily New York — там вас ждет масса интересной и позитивной информации о жизни в мегаполисе.
Выбор редакции
