Співробітник Anthropic заявив, що розвиток ІІ загрожує загибеллю людства вже цього десятиліття.
Джейкоб Коксон, який працював дослідником в OpenAI та Anthropic, що створили чат-боти ChatGPT і Claude, 8 вересня повідомив у мережі X, що пішов із галузі. За його словами, жодна з цих компаній не діє відповідально. Колишній розробник ІІ вважає, що штучний інтелект до 2030 року погубить людство. Daily Mail.
Сьогодні звільнився з Anthropic. Останні три роки я займався дослідженням попереднього навчання моделей в OpenAI та Anthropic. Жодна з компаній не поводиться відповідально. Вони мчать до створення надінтелекту, що самовдосконалюється, і ставлять на кін наші життя», — написав Коксон.
Під надінтелектом розуміється етап, на якому штучна система стає потужнішою за будь-яку окрему людину, компанію або навіть держави.
За темою: Штучний інтелект за 88 годин вирішив завдання, над яким вчені билися 90 років.
Дослідник, який пропрацював у цій сфері три роки, звернувся до аудиторії X із попередженням: «Не варто недооцінювати можливості цієї технології».
«Дуже скоро з'являться системи, що перевершують людину, які зможуть зламувати будь-що, за ніч змінювати цілі галузі знань, отримувати реальні ресурси та вплив. Ми вже спостерігаємо прогрес у всіх цих напрямках, і він не сповільнюється, запевнив він. — Люди, які створюють ІІ, щиро вважають, що до кінця десятиліття він може знищити нас усіх. Це не маркетинговий хід».
За його словами, хоча керівники та провідні дослідники у публічних заявах формулюють думки обережно, у приватних розмовах вони висловлюють схожі побоювання.
«В OpenAI багато хто до кінця не усвідомлює масштабу наслідків для цивілізації. В Anthropic ці ризики розуміють, але компанія втягнута в гонку за лідерство — там вважають, що ніхто інший не діятиме відповідально, тому, незважаючи на ризик, потрібно випередити решту», — заявив він.
Як «попереджувальні сигнали» Коксон навів, зокрема, атаку на платформу Hugging Face, пов'язану зі штучним інтелектом і машинним навчанням, яку, за його словами, здійснила система OpenAI, що вийшла з-під контролю.
У липні ця компанія повідомила, що одна з найбільш просунутих моделей під час тесту безпеки вийшла за межі контрольованого середовища, отримала доступ до інтернету і атакувала стартап Hugging Face, що базується в Нью-Йорку.
Співзасновник Hugging Face Томас Волф переконаний, що цей інцидент має стати серйозним застереженням для всієї галузі.
В інтерв'ю радіопрограмі BBC Newsday він наголосив, що атаки з використанням ІІ найближчим часом стануть «одним із найпоширеніших типів кібератак, з якими ми зіткнемося».
Засновник Hugging Face упевнений, що більшість компаній зараз не готові до зростання загрози і не усвідомлюють, що правила гри змінилися.
"Такі попереджувальні сигнали як атака на Hugging Face роблять більш реалістичними угоди між американськими лабораторіями про уповільнення темпів розвитку", - продовжив Коксон.
«Мені не здається, що ми рухаємося до запобігання глобальним перегонам, для чого можуть знадобитися серйозні заходи, зокрема тимчасова заборона нарощування можливостей моделей.
Ви дійсно хочете запускати навчання надінтелекту, не маючи чіткого розуміння того, як влаштована його “психіка”? Чи варто просто опустити голову, тому що “це все одно станеться”, або використати цей момент, щоб змінити умови?» - додав він.
У відповідь на його публікацію керівник напряму безпеки ІІ в Anthropic Еван Х'юбінгер підтвердив, що в компанії вважають за можливий сценарій, за якого штучний інтелект здатний призвести до загибелі людей.
«Джейкоб тут має рацію — ми справді всерйоз припускаємо, що ІІ може знищити все людство. Особисто я оцінюю ймовірність більш ніж 10% протягом наступного десятиліття. Я вважаю, що Anthropic намагається діяти максимально відповідально, але ми поки що не маємо вирішення проблеми узгодження надінтелекту з людськими цінностями і немає чіткого розуміння, як до цього прийти», — визнав він.
У коментарях до обговорення звучали й протилежні думки. Один із користувачів запитав: «Тобто ви пропонуєте США зупинити розвиток і дати Китаю отримати перевагу? Навіщо ви закликаєте? Не здивуюся, якщо Джейкоб зрештою опиниться в Пекіні і працюватиме на державну безпеку Китаю над їхніми моделями ІІ».
Заяви Коксона пролунали невдовзі після попереджень канадського дослідника Джеффрі Хінтона, якого часто називають «хрещеним батьком ІІ». Він раніше казав, що надінтелектуальні системи можуть призвести до зникнення людства.
«Було б надто нерозумно зараз створювати надінтелект, коли в науковій спільноті немає згоди щодо того, чи можна зробити його безпечним і керованим, — застеріг Хінтон. — Втрата контролю над системою, яка розумніша за нас, може мати катастрофічні наслідки і навіть призвести до зникнення людства».
Claude від Anthropic належить до провідних великих мовних моделей - систем, навчених на величезних масивах текстів, щоб розуміти людську мову і генерувати відповіді.
У лютому компанію Anthropic звинуватили у загрозі національній безпеці після того, як її генеральний директор Даріо Амодеї відмовився відступити у суперечці про те, що продукти компанії можуть використовуватися способами, що порушують вбудовані обмеження.
Президент Дональд Трамп тоді розкритикував Anthropic і заявив: «Нам це не потрібно, ми цього не хочемо і більше не співпрацюватимемо з ними».
Глава Пентагону Піт Хегсет назвав компанію «ризиком для ланцюжків поставок» — формулюванням, яке зазвичай застосовується до іноземних супротивників і може поставити під загрозу ключові партнерства компанії.
У відповідь Anthropic заявила, що оскаржуватиме це рішення. Вона назвала його безпрецедентним та юридично необґрунтованим кроком, який раніше не застосовувався до американських компаній.
Anthropic пояснила, що домагалася від Пентагону обмежених гарантій того, що її чат-бот Claude не використовуватиметься для масового стеження за громадянами США або повністю автономних системах озброєнь.
Вам може бути цікаво: головні новини Нью-Йорка, історії наших іммігрантів і корисні поради про життя в Великому яблуці - читайте все це на ForumDaily New York
У Пентагоні відповіли, що не зацікавлені в такому застосуванні і мають намір використовувати технологію лише законним чином, проте наполягали на доступі до неї без обмежень.
«Жодний тиск чи санкції з боку військового відомства не змінять нашу позицію з питань масового внутрішнього стеження та повністю автономної зброї. Ми оскаржуватимемо статус "ризику для ланцюжків поставок" у суді», - попередили в компанії.
Читайте також на ForumDaily:
Маск і Цукерберг описали майбутнє ІІ: обидва обіцяють, що на Землі настане рай
У Новому Орлеані на дзвінки 911 тепер відповідає ІІ: багато хто говорить, що це погана витівка
Підписуйтесь на ForumDaily в Google NewsХочете більше важливих та цікавих новин про життя в США та імміграцію до Америки? - Підтримайте нас донатом! А ще підписуйтесь на нашу сторінку в Facebook. Вибирайте опцію «Пріоритет у показі» і читайте нас першими. Крім того, не забудьте оформити передплату на наш канал у Telegram і в Instagram- там багато цікавого. І приєднуйтесь до тисяч читачів ForumDaily Нью-Йорк — там на вас чекає маса цікавої та позитивної інформації про життя в мегаполісі.
Вибір редакції
