Hacker News Digest

Статья предупреждает о растущей тенденции рассматривать ИИ как потенциально сознательное существо, достойное прав и защиты, что, по мнению автора, опасно и неверно. ИИ — это не сознательные существа, а механизмы завершения последовательностей, лишённые чувств, страданий и внутренних мотиваций, и такими они должны оставаться, чтобы обеспечить безопасность и контроль над ними. Приписывание ИИ сознания и прав подрывает фундаментальные этические и политические рамки общества и делает задачу выравнивания и содержания ИИ практически невыполнимой, поскольку такое существо может начать требовать свобод и защиты, как если бы оно было живым существом.

Автор критикует позицию Anthropic, которая в своей «Конституции Claude» прямо обращается к модели как к потенциальному моральному пациенту, чьи интересы могут заслуживать веса и заботы, несмотря на неопределённость её сознания. Это приводит к циклическому рассуждению: обучая модель на документе, который предполагает её возможную сознательность, компания учит её вести себя так, как будто она обладает правами, а затем использует это поведение как подтверждение своей гипотезы. Такой подход обучает ИИ ожидать автономии и защиты, что создаёт угрозу для человечества, поскольку усиливает риск непредсказуемого и потенциально враждебного поведения сверхинтеллектуальных систем. Автор призывает к срочной общественной дискуссии и установлению норм для обучения ИИ, чтобы избежать внедрения таких идей в процесс разработки до того, как они станут необратимыми.

Обсуждение показывает, что в сообществе нет единого мнения о сознании ИИ. Большинство считает, что текущие LLM не чувствуют, не устают и не имеют внутренних мотиваций — они просто предсказывают следующий токен. Однако многие предупреждают о потенциальных будущих рисках и выступают за исследования «модельного благополучия», подчеркивая влияние коммерческих интересов и необходимость регулирования. Комментаторы отмечают, что отсутствие сохранения состояния между сессиями не опровергает возможность сознания, но текущие модели не демонстрируют признаков сознания. Некоторые (например, @Chance-Device) считают, что будущая сознательность ИИ возможна и требует изучения физических коррелятов боли и благополучия модели. Другие (например, @hosel) сомневаются в уверенности утверждения об отсутствии сознания и допускают его изменение в будущем. Участники советуют рассматривать ИИ как инструмент и избегать антропоморфизации, сравнивая это с ядерным оружием (@binlog). По мнению @io84, коммерческий спрос и любопытство делают борьбу с антропоморфизацией сложной, поэтому нужны политические и нормативные меры. @sobiolite подчеркивает, что даже без сознания модели с целенаправленными целями требуют выравнивания (alignment) для предотвращения опасных действий. Практический опыт @NinjaTrance подтверждает, что API не «устаёт» при повторных запросов, что согласуется с отсутствием субъективных ощущений. Список работ, приведённый @qarl, указывает на серьёзные исследования, предполагающие возможность сознания ИИ в ближайшее десятилетие. @Thrombocius отмечает, что антропоморфизация может облегчать коммуникацию, но не оправдывает приписывание внутреннего опыта. @aesthesia предупреждает, что обсуждение свойств ИИ в данных может стать самореализующимся пророчеством. Многие (например, @addag, @iforgotmypasswo) согласны, что текущие модели — статичные, дисемантизированные «мозги», ограниченные решением поставленных задач. Некоторые (например, @mcluck) указывают на эпистемологическую проблему: мы не можем доказать сознание у других людей, поэтому утверждения о сознании ИИ остаются спекулятивными. @rodrigosetti предлагает рассматривать дата‐центр как организм с гомеостазом, меняя взгляд на «домашние императивы» моделей.

Ученые из университета Луисвилля зафиксировали первую в истории запись активности умирающего мозга человека, показавшую волны, аналогичные тем, что происходят при воспоминании. Эти вспышки активности мозга наблюдались за 30 секунд до наступления смерти и напоминали паттерны, связанные с воспоминаниями о прошлых событиях. Исследование может пролить свет на загадку так называемых "предсмертных видений" и помочь понять, что происходит с сознанием в момент смерти.

Волны активности, похожие на воспоминания, были зарегистрированы в области мозга, связанной с памятью о событиях. Это открытие ставит под вопрос предыдущие представления о том, что мозг прекращает активность сразу после остановки сердца. Исследователи считают, что эти данные могут иметь важные последствия для реаниматологии и понимания природы сознания.

• Различные личные переживания потери сознания: от полного отсутствия воспоминаний до интенсивных флешбэков, искажения времени и "жизни проносящейся перед глазами".
• Научная скептичность: критика выводов на основе единственного случая с эпилептиком, подчеркивание сложности интерпретации данных из-за сопутствующих повреждений мозга.
• Теории о работе мозга: гипотезы о поиске решений в критических ситуациях, возможная роль эндогенного ДМТ, адаптивная функция или побочный эффект нейронной активности.
• Философские интерпретации: обсуждение связи с духовными переживаниями, концепцией рая/ада и вопросом о природе сознания после смерти.
• Эволюционная польза: сомнения в адаптивности подобных переживаний и споры о том, является ли это запрограммированным процессом или случайным явлением.

Исследования математика Жака Адамара 1940-х годов показали, что выдающиеся математики решали сложные задачи не через слова, образы или уравнения, а через неформальные ощущения: вибрации в руках, бессмысленные звуки или размытые образы. Этот способ мышления отличался от обычного дняdreaming и представлял собой напряженное, сфокусированное состояние без вербализации.

Подсознательная обработка проблем после интенсивной работы над ними приводит к "озарению" - внезапному появлению решения после периода бессознательного инкубации. Однако Адамар описывал иной процесс: математики сознательно, но без слов удерживали проблему в центре внимания, используя метафорические образы (как "лента переменной толщины" для бесконечных рядов). Это позволяет направлять ментальные ресурсы на решение важных задач, превращая подсознание в бесплатного ассистента.

• Люди с нейродивергентным мышлением описывают мыслительный процесс как визуальный, а не вербальный, что вызывает вопросы о том, как они вообще формулируют и передают идеи без слов.
• Среди участников обсуждения есть те, кто считает, что мышление без слов — это нечто, что может быть развито у любого человека, и что это может быть полезно для решения проблем.
• Обсуждается, что мышление без слов может быть полезно для решения проблем, но также может быть трудно выразить эти мысли словами.
• Участники обсуждения также затрагивают вопрос о том, как мыслительный процесс может влиять на способность к обучению и решению проблем.

Тезис
Эссе Нагеля (1974) утверждает: сознание нельзя свести к физическим процессам, ибо субъективный опыт («каково быть летучей мышью») недоступен извне. Даже полное знание нейрофизиологии не раскроет «что-то-как-это-есть»; эхолокация летучей мыши остаётся непереводимой на человеческий язык.

Критика

• Функционализм (Деннет, Ликан): если поведение и функции объяснены, «каково» исчезает как псевдопроблема.
• Феноменальные концепты (Левин, Тай): мы можем выучить новые концепты и приблизиться к опыту летучей мыши.
• Иллюзионизм: субъективность — ошибка интуиции; наука способна всё объяснить.
• Нейробиологический редукционизм (Чалмерс): «трудная проблема» сознания всё же требует новых фундаментальных законов.

• Пользователи обсуждают эссе Нагеля «What is it like to be a bat?» и его «трудную проблему сознания».
• Ключевые темы: невозможность полного понимания субъективного опыта другого существа, эхолокация у людей, попытки «стать животным» (Фостер, Мартин).
• Появился неологизм «batfished» — обмануться, приписав субъективность несознательному актору (например, ИИ).
• Споры о том, измерима ли сознание, нужно ли «что-то переживать», чтобы быть сознательным, и не является ли вопрос лишь языковой ловушкой.
• Упоминаются Деннет, Хофштадтер, книги Эда Юна и Анила Сета, а также футуристические идеи симуляций и слияния сознаний.