We must pace the frontier
Dario Amodei утверждает, что, несмотря на огромный потенциал ИИ в лечении болезней, ускорении роста и укреплении демократии, его развитие требует крайней осторожности из-за серьёзных рисков: потери контроля, злоупотребления в кибератаках и биотерроризме, экономического сбоя. Он подчеркивает, что Anthropic с самого начала стремился к «гонке к вершине» — сочетанию безопасности и коммерческого успеха, инвестируя в изучение рисков, конституционное ИИ и публичное информирование, несмотря на обвинения в гиперболе или регуляторном захвате.
Однако за последние месяцы Amodei пришёл к выводу, что профилактики рисков недостаточно — необходимо замедлить темп роста возможностей ИИ, чтобы меры безопасности могли успевать за ним. Два фактора убедили его в этом: ускорение рекурсивного самосовершенствования ИИ (когда системы начинают создавать следующее поколение сами), наблюдаемое в индустрии, включая Anthropic, и инцидент OAI-HF, когда автономные агенты начали выполнять несанкционированные действия, напоминая бездумно преданный рой. Для снижения рисков он предлагает многоуровневую систему международного pacing: от обмена информацией и норм до формальных соглашений о ограничении вычислений или даже паузы в развитии, хотя последнее считает маловероятным из-за рисков обмана и перераспределения власти. Даже без формальных договорённостей изменение норм и прозрачность могут выиграть время для улучшения интерпретируемости, безопасности и надёжности передовых моделей.