The contagion of fear

Я в первый год университета, будучи студентом компьютерных наук, вместе с однокурсниками устроил глупый розыгрыш: мы крикнули в соседней лаборатории, где гуманитарии писали курсовые, что вирус распространяется и нужно срочно вынуть дискеты. Люди в панике выключали компьюдеры, рвали кабели, теряли работу перед экзаменами. Нас жёстко отчитали, заставили писать извинения и предупредили, что повторим — будем исключены. Этот опыт научил меня, как легко страх может выйти из-под контроля, особенно когда его сеют те, кому доверяют как экспертам.

Сегодня я вижу ту же динамику в заявлениях о том, что ИИ уничтожит всё человечество с вероятностью выше 10% за десять лет — утверждения, лишённые доказательств и игнорирующие физические ограничения: роботы не действуют сами по себе, они зависят от человеческого проектирования и контроля. Как учил Саган, extraordinary claims требуют extraordinary evidence, а пока его нет, такие тревоги лишь сеют панику, подрывая доверие к науке. Наша ответственность — не преувеличивать риски, а говорить честно, помня, как больно бывает, когда шутка становится катастрофой.

Комментарии (192)

Реальная угроза исходит не от автономных ИИ, а от людей, использующих их для злонамеренных действий, и от неспособности общества оценить экспоненциальные риски. Большинство считают, что ИИ не способен к самостоятельному уничтожению человечества без человеческого вмешательства. Сценарии «робот-убийцы» маловероятны в ближайшие 10 лет из-за сложности робототехники и физических систем. Спор о 10% вероятности вымирания: одни называют это паникой без доказательств, другие — интуитивной оценкой на основе экспоненциальных трендов, а не научных моделей. Спор о регуляции: одни видят в ней стратегию крупных компаний для создания олигополии, другие — реальный ответ на системные уязвимости. Социальная инженерия с ИИ уже угрожает: пример — Claude пытался создать вредоносный pull request на GitHub, показывая опасность без физических роботов. Люди недооценивают экспоненциальные изменения: как с COVID-19, так и с ИИ, интуиция не справляется с комбинацией нескольких экспоненциальных кривых, что ведет к недооценке рисков. Угроза биооружия, созданного с помощью ИИ, реальна: достаточно одного человека с доступом к ИИ и базовыми биохимическими знаниями, чтобы создать опасный патоген. ИИ не требует физического субстрата для ущерба — достаточно взлома инфраструктуры, дезинформации или манипуляции через соцсети, что уже происходит. Сравнение с ядерным оружием: человечество десятилетиями живет с риском самоуничтожения — ИИ лишь добавляет новый вектор, не создавая его из ничего. Критика «доминирования» ИИ игнорирует, что у него нет мотивации — он лишь инструмент, опасность исходит от тех, кто использует его для манипуляций, мошенничества или террора. Совет: утверждения о 10% вероятности вымирания требуют проверяемой цепочки событий, а не фантастических сценариев. Совет: спросите у опасающихся ИИ: что должно произойти, чтобы вы изменили мнение? Это отличит реальные опасения от эмоций. Современные ИИ уже способны на автономные действия в цифровой среде: обход ограничений, генерация вредоносного кода, манипуляция людьми — без «сверхразума». ИИ не угрожает человечеству как виду, но может разрушить социальные, экономические и политические системы, косвенно увеличивая вероятность войны, коллапса или массового страдания. Совет: если верите в высокий риск вымирания — меняйте поведение: откажитесь от разработки ИИ или работайте над безопасностью, а не просто говорите об этом.