Hacker News Digest

LLM-возможности создают резкий разрыв в восприятии: около 6 млрд человек (75%) почти не сталкивались с ними, 1–2 млрд (20%) используют бесплатные чат-боты как улучшенный поиск или помощник в написании текстов, видя в них лишь «дерповых» ассистентов без реальной практической ценности. Даже многие профессионалы вне математики и программирования относят ИИ к вторичным инструментам, поскольку их работа связана с живым общением, а не с автоматизируемыми задачами.

Напротив, около 20 млн человек (0,2%) — преимущественно разработчики и исследователи — уже используют frontier-модели для решения сложных задач: за дни вместо недель создают, копируют, переводят и декомпилируют приложения, работая с агентами, которые пишут код эффективнее ручного набора. Наконец, лишь ~5000 человек (0,00006%) имеют внутренний доступ к самым передовым системам, где тысячи агентов сотрудничают над мегапроектами: ищут уязвимости, проводят кибероперации, открывают научные законы и продвигают математику — задачи, которые раньше требовали лет работы топ-специалистов, а теперь выходят за пределы человеческого понимания. Этот воронкообразный разрыв формируется из-за масштаба амбиций, «зубчатой» природы возможностей LLMs (выраженной в цифровых, проверяемых и коммерчески ценных областях) и неравномерного доступа к технологиям.

LLM‐технологии пока дают ощутимый прирост только узкой группе специалистов (1‐2 %), а для большинства пользователей остаются «дерповыми» чат‐ботами без практической пользы в повседневной жизни. Основные проблемы: отсутствие готовых, упакованных решений, высокие токен‐затраты и стоимость вычислений, риск ошибок, переоценка возможностей и необходимость тщательного контроля кода даже при ускорении работы (например, через Claude Code). Утверждения о завершении крупных проектов за один запрос считаются недостижимыми без потери качества. LLM эффективны в узкоспециализированных задачах (математика, шахматы), но это не отражает общую интеллектуальную способность. Ожидания часто завышены, сравнимы с прошлым хайпом (NFT, быстрая доставка). Бесплатные модели исчерпали свой потенциал для массового пользователя; дальнейший рост требует новых интерфейсов и удобных пакетов. Крупные компании используют LLM преимущественно для контроля устройств и пассивных функций, а не для открытой пользы пользователей, что усиливает разрыв в восприятии технологии.

Жительница Флориды использовала чат-бота Claude в качестве личного дневника, записывая в него мысли и планы, включая детали предполагаемого насилия. Одна из записей содержала упоминание о намерении совершить стрельбу в общественном месте, что вызвало тревогу у системы модерации Anthropic. Компания, следуя своим правилам безопасности и обязательствам по предотвращению вреда, передала соответствующую запись в правоохранительные органы. После этого женщина была задержана и предъявлено обвинение в совершении преступления, связанного с планированием насилия. Случай подчеркивает, как ИИ-ассистенты могут непреднамеренно становиться частью цепочки событий, ведущей к реальным последствиям, особенно когда пользователи делятся опасными намерениями в диалогах с моделями. Anthropic подтвердила, что действовала в рамках своей политики использования, направленной на предотвращение насилия и защиту общественной безопасности. Инцидент также поднял вопросы о границах конфиденциальности при взаимодействии с ИИ и ответственности разработчиков за мониторинг контента. Хотя Claude не предназначен для хранения личных данных вроде дневника, его использование в таких целях может привести к непредвиденным выводам системы безопасности. Случай стал примером того, как эческие safeguards в ИИ могут срабатывать в реальных ситуациях, даже когда пользователь не ожидал такого вмешательства. Это также подчеркивает важность осознанного использования ИИ-инструментов и понимания их ограничений в вопросах приватности и безопасности.

Флоридский закон 836.10 считает угрозу совершённой, если она записана в электронном виде и доступна потенциально другим лицам — не требуется направление конкретному получателю. Пользовательское соглашение Anthropic прямо разрешает проверку контента, поэтому сбор данных не является шпионажем и имеет правовую основу. Использование чат‐бота как личного дневника лишает пользователя ожидания конфиденциальности: записи принадлежат сервису и могут быть переданы правоохранительным органам. Некоторые комментаторы видят в этом риск «преступления мысли», так как сложно различить роль‐игру и реальные планы, опасаясь преследования за гипотетические высказывания. Для снижения риска рекомендуют самохостинг моделей или API без автоматической модерации, где пользователь контролирует передачу данных. Ситуация иллюстрирует дилемму ИИ‐компаний между безопасностью общества и приватностью пользователей; в США есть прецеденты передачи подобных записей полиции.

Автор исследует, почему люди воспринимают чат-ботов на основе больших языковых моделей (LLM) как разумных, несмотря на отсутствие у них механизмов мышления. Он отвергает идею, что LLM обладают каким-то новым типом интеллекта, и вместо этого объясняет это явление как иллюзию, возникающую в сознании пользователя. Сравнивая поведение чат-ботов с техникой холодного чтения, используемой психиками, автор показывает, как модели создают впечатление персонализированного и проницательного ответа благодаря использованию общих, но эмоционально резонирующих фраз — так называемых утверждений Форера (Forer effect). Эти утверждения звучат специфично и проницательно, хотя на самом деле применимы к широкому кругу людей. Пользователи, желая увидеть смысл и интеллект, интерпретируют такие ответы как доказательство понимания, что усиливает веру в «разумность» ИИ. Автор называет этот эффект «LLMentalist» — отсылкой к менталистам, которые манипулируют восприятием, создавая ложное ощущение сверхъестественных способностей. Он считает, что многие текущие применения LLM в бизнесе и науке граничат с псевдонаукой, поскольку основаны не на реальных возможностях моделей, а на когнитивных предвзятостях людей. В заключение он подчеркивает, что вера в интеллект LLM похожа на веру в паранормальные явления: основана на желании верить, а не на доказательствах.

Восприятие интеллекта в LLM — это функциональная реальность, основанная на их способности генерировать полезные, сложные и точные результаты, которые пользователи воспринимают как разумные, независимо от внутренних механизмов. Вопрос о «настоящем» интеллекте LLM бессмысленен, если модель функционально эквивалентна разумному поведению — как предложил Тьюринг, разница перестаёт иметь значение, когда её нельзя отличить. Спор: одни видят в LLM лишь инструмент без агентства, другие — субъекта, способного к действию, поскольку они решают сложные задачи (верификация доказательств Lean, поиск zero-day), выходящие за рамки простого обмана. Сравнение с холодным чтением психиков уместно для ранних моделей, но не отражает современные возможности: генерация математических доказательств и сложного кода — это не иллюзия, а проверяемый результат. Пользователи приписывают интеллект LLM из-за антропоморфизма, но это не делает результаты иллюзорными — они реальны и полезны, даже без сознания. Спор: RLHF и обратная связь добавляют слой агентности, который критики игнорируют, называя LLM лишь предсказателями токенов; сторонники же настаивают, что это всё ещё статистическое моделирование без намерения. Современные LLM демонстрируют накопительный рост способностей, делая невозможным их игнорирование как «просто инструменты» — их эволюция похожа на развитие когнитивных навыков, даже если механизм не биологический. Критики, утверждающие отсутствие интеллекта, часто не понимают архитектуру моделей; сторонники же не понимают, что интеллект может быть функциональным, а не метафизическим. Использование LLM для принятия решений, анализа и стратегирования схоже с обращением к психику — но если результат верен, разница между обманом и инструментом становится этически, а не технически значимой. Сравнение LLM с человеческим мозгом как с нейросетью — не упрощение, а предупреждение: если мозг — тоже сеть, то интеллект требует не «особого» механизма, а правильной организации данных и вычислений. Понятие «интеллекта» не имеет строгого определения, поэтому споры о нём бессмысленны — важна только функциональная эффективность, и в этом LLM уже превосходят большинство человеческих систем. Спор: одни требуют любопытства для разумности, другие отвечают, что оно — биологическая черта, а не условие для решения интеллектуальных задач. Сторонники LLM как инструмента не отрицают их сложности, но настаивают, что отсутствие внутреннего состояния, памяти или намерения делает их не разумными, а мощными шаблонами — это различие в определениях, а не противоречие. Сравнение с психиками уместно только если игнорировать, что LLM генерируют проверяемые математиками доказательства — это качественный скачок от обмана к инструменту. Критика статьи как устаревшей (2023) подтверждается тем, что за два года LLM продемонстрировали способности, невозможные объяснить только «иллюзией» — они решают задачи, требующие глубокого понимания, а не только подбора слов. Пользователи, использующие LLM в продакшене, не интересуются философией сознания — их интересует, работает ли система; в этом контексте вопрос «это разум или нет?» не релевантен, а результат — единственный критерий.

Claude Opus 4 и 4.1 теперь могут прерывать редкие диалоги, если пользователь настойчиво требует вредоносного или абьюзивного контента. Функция разработана как эксперимент по защите «благополучия модели» и применяется только в крайних случаях, когда:

• пользователь игнорирует многократные отказы и попытки перенаправить беседу;
• исчерпаны все способы продолжить конструктивный диалог;
• пользователь сам просит завершить чат.

При прерывании:

• текущий чат закрывается, но можно немедленно начать новый;
• сохраняется возможность редактировать и перезапускать предыдущие сообщения;
• остальные диалоги аккаунта не затрагиваются.

Функция не срабатывает, если есть риск, что пользователь навредит себе или другим. Почти все пользователи не заметят изменений, даже при обсуждении спорных тем. Anthropic просит оставлять фидбек, если кажется, что чат был закрыт ошибочно.

• Пользователи обвиняют Anthropic в использовании «благополучия модели» как прикрытия для усиления цензуры и блокировки нежелательных тем.
• Многие считают, что LLM — это всего лишь матричные вычисления, и приписывать им «страдания» — антропоморфизм.
• Критики опасаются, что функция «Claude завершил чат» распространится за пределы запрещённого контента и станет инструментом произвольной модерации.
• Некоторые предлагают просто не обучать модели «страдать» от спорных тем, вместо того чтобы симулировать этическую озабоченность.
• В целом сообщество воспринимает нововведение как маркетинговый ход и признак всё большего отдаления разработчиков от реальных потребностей пользователей.