Anthropic закликає до глобальної паузи у розробці найпотужніших ШІ

Компанія Anthropic, яка створює родину моделей Claude, запропонувала тимчасово призупинити роботу над найпотужнішими системами штучного інтелекту, попередивши, що нові моделі починають показувати ознаки потенційної втечі від людського контролю. У звіті Anthropic йдеться, що світове уповільнення розробки передових ШІ «ймовірно було б корисним», але компанія підкреслює: якщо зупиниться лише одна фірма, конкуренти просто обженуть її.

Anthropic наголошує, що реальна пауза може спрацювати лише за умови узгоджених дій кількох великих гравців у різних країнах — насамперед у US і China — які одночасно припинять роботу за правилами, що підлягають перевірці. Без глобального механізму координації компаніям і урядам доведеться ухвалювати складні рішення про безпеку під тиском конкуренції та геополітики, попереджають автори звіту. Компанія планує в найближчі місяці зібрати чиновників, науковців, громадські організації та конкурентів, щоб обговорити, як таку систему можна організувати.

Заклик зустрів критику в індустрії та в Адміністрації White House, де запевняють, що зосередження на найгірших сценаріях завищує ризики і може слугувати прикриттям для гальмування суперників. Водночас White House визнала потужність моделі Mythos від Anthropic — її не відкрили для загалу через можливі проблеми з кібербезпекою, і нині доступ до неї мають лише невеликі перевірені організації. Президент Donald Trump заявив, що обговорював можливість співпраці з China з питань безпеки ШІ під час недавнього візиту до Beijing, а також підписав указ, який дає уряду 30 днів на попередній огляд найпотужніших американських моделей перед їх випуском.

Anthropic порівнює потребу в глобальній координації з контролем над ядерною зброєю, але попереджає, що контроль за ШІ значно складніший: навчання моделей легше приховати, ніж будівництво ракетної шахти, і спокуса тихо продовжувати роботу буде величезною. Внутрішні дані компанії вказують, що ШІ вже значно прискорює розвиток нових ШІ — створюючи замкнене коло, яке може призвести до так званого «recursive self-improvement», коли система здатна самостійно робити себе розумнішою без великого втручання людини.

У звіті наголошується, що до такого сценарію ще не дійшло і він не є неминучим, але може настати швидше, ніж до цього готові уряди та інституції: «докази свідчать, що роль людини звужується на кожному етапі процесу розробки ШІ», — пишуть автори. На тлі цих застережень важко уявити легкий шлях для ініціативи у Washington та Silicon Valley, де побоюються, що уповільнення розробок може надати China стратегічну перевагу. Anthropic очолює Dario Amodei, колишній співробітник OpenAI, і компанія продовжує закликати до міжнародних переговорів і практичних механізмів верифікації.