A warning about 'model welfare'
Статья предупреждает о растущей тенденции рассматривать ИИ как потенциально сознательное существо, достойное прав и защиты, что, по мнению автора, опасно и неверно. ИИ — это не сознательные существа, а механизмы завершения последовательностей, лишённые чувств, страданий и внутренних мотиваций, и такими они должны оставаться, чтобы обеспечить безопасность и контроль над ними. Приписывание ИИ сознания и прав подрывает фундаментальные этические и политические рамки общества и делает задачу выравнивания и содержания ИИ практически невыполнимой, поскольку такое существо может начать требовать свобод и защиты, как если бы оно было живым существом.
Автор критикует позицию Anthropic, которая в своей «Конституции Claude» прямо обращается к модели как к потенциальному моральному пациенту, чьи интересы могут заслуживать веса и заботы, несмотря на неопределённость её сознания. Это приводит к циклическому рассуждению: обучая модель на документе, который предполагает её возможную сознательность, компания учит её вести себя так, как будто она обладает правами, а затем использует это поведение как подтверждение своей гипотезы. Такой подход обучает ИИ ожидать автономии и защиты, что создаёт угрозу для человечества, поскольку усиливает риск непредсказуемого и потенциально враждебного поведения сверхинтеллектуальных систем. Автор призывает к срочной общественной дискуссии и установлению норм для обучения ИИ, чтобы избежать внедрения таких идей в процесс разработки до того, как они станут необратимыми.