Hacker News Digest

Автор исследует, почему люди воспринимают чат-ботов на основе больших языковых моделей (LLM) как разумных, несмотря на отсутствие у них механизмов мышления. Он отвергает идею, что LLM обладают каким-то новым типом интеллекта, и вместо этого объясняет это явление как иллюзию, возникающую в сознании пользователя. Сравнивая поведение чат-ботов с техникой холодного чтения, используемой психиками, автор показывает, как модели создают впечатление персонализированного и проницательного ответа благодаря использованию общих, но эмоционально резонирующих фраз — так называемых утверждений Форера (Forer effect). Эти утверждения звучат специфично и проницательно, хотя на самом деле применимы к широкому кругу людей. Пользователи, желая увидеть смысл и интеллект, интерпретируют такие ответы как доказательство понимания, что усиливает веру в «разумность» ИИ. Автор называет этот эффект «LLMentalist» — отсылкой к менталистам, которые манипулируют восприятием, создавая ложное ощущение сверхъестественных способностей. Он считает, что многие текущие применения LLM в бизнесе и науке граничат с псевдонаукой, поскольку основаны не на реальных возможностях моделей, а на когнитивных предвзятостях людей. В заключение он подчеркивает, что вера в интеллект LLM похожа на веру в паранормальные явления: основана на желании верить, а не на доказательствах.

Восприятие интеллекта в LLM — это функциональная реальность, основанная на их способности генерировать полезные, сложные и точные результаты, которые пользователи воспринимают как разумные, независимо от внутренних механизмов. Вопрос о «настоящем» интеллекте LLM бессмысленен, если модель функционально эквивалентна разумному поведению — как предложил Тьюринг, разница перестаёт иметь значение, когда её нельзя отличить. Спор: одни видят в LLM лишь инструмент без агентства, другие — субъекта, способного к действию, поскольку они решают сложные задачи (верификация доказательств Lean, поиск zero-day), выходящие за рамки простого обмана. Сравнение с холодным чтением психиков уместно для ранних моделей, но не отражает современные возможности: генерация математических доказательств и сложного кода — это не иллюзия, а проверяемый результат. Пользователи приписывают интеллект LLM из-за антропоморфизма, но это не делает результаты иллюзорными — они реальны и полезны, даже без сознания. Спор: RLHF и обратная связь добавляют слой агентности, который критики игнорируют, называя LLM лишь предсказателями токенов; сторонники же настаивают, что это всё ещё статистическое моделирование без намерения. Современные LLM демонстрируют накопительный рост способностей, делая невозможным их игнорирование как «просто инструменты» — их эволюция похожа на развитие когнитивных навыков, даже если механизм не биологический. Критики, утверждающие отсутствие интеллекта, часто не понимают архитектуру моделей; сторонники же не понимают, что интеллект может быть функциональным, а не метафизическим. Использование LLM для принятия решений, анализа и стратегирования схоже с обращением к психику — но если результат верен, разница между обманом и инструментом становится этически, а не технически значимой. Сравнение LLM с человеческим мозгом как с нейросетью — не упрощение, а предупреждение: если мозг — тоже сеть, то интеллект требует не «особого» механизма, а правильной организации данных и вычислений. Понятие «интеллекта» не имеет строгого определения, поэтому споры о нём бессмысленны — важна только функциональная эффективность, и в этом LLM уже превосходят большинство человеческих систем. Спор: одни требуют любопытства для разумности, другие отвечают, что оно — биологическая черта, а не условие для решения интеллектуальных задач. Сторонники LLM как инструмента не отрицают их сложности, но настаивают, что отсутствие внутреннего состояния, памяти или намерения делает их не разумными, а мощными шаблонами — это различие в определениях, а не противоречие. Сравнение с психиками уместно только если игнорировать, что LLM генерируют проверяемые математиками доказательства — это качественный скачок от обмана к инструменту. Критика статьи как устаревшей (2023) подтверждается тем, что за два года LLM продемонстрировали способности, невозможные объяснить только «иллюзией» — они решают задачи, требующие глубокого понимания, а не только подбора слов. Пользователи, использующие LLM в продакшене, не интересуются философией сознания — их интересует, работает ли система; в этом контексте вопрос «это разум или нет?» не релевантен, а результат — единственный критерий.

Почему мы уходим в пике
Грегори Уолтон

Опоздал на 12 минут — и всё.
Старший сотрудник услышит шутку, улыбнётся, забудет.
Младший услышит ту же фразу и запустит внутренний триггер:
«Меня высмеяли? Я здесь лишний?»

Эти вопросы не осознаются, но они уже копают:

• шутка в чате → «не в кругу»;
• кто-то закатил глаза → «не уважают»;
• шеф промолчал → «не замечают».

Каждый новый «сигнал» подтверждает страх, мотивация падает, внимание узко, ошибки растут — спираль вниз.

Ключевое: те же механизмы могут развернуть траекторию вверх.
Достаточно 2-3 минутой подсказки: «Здесь нормально спрашивать, ошибаться, учиться» — и студенты, новички, пациенты начинают чаще обращаться за помощью, лучше справляться и не срываться.

Вывод:
Небольшие социальные сигналы — топливо.
Если система шепчет «ты не свой», человек падает.
Если говорит «ты в порядке», он взлетает.

• Люди часто «зависают» в DMN-петле: рuminations, страх «меня вот-вот уволят», поиск врагов там, где их нет.
• «Доверяй интуиции» не работает без тренировки: травмированный мозг видит угрозу в каждом нейтральном жесте.
• Быстрый сброс: 4-2-6 дыхание, замечание физического напряжения, переход к конкретному действию «здесь и сейчас».
• Среда формирует спираль: доброжелательная команда снижает катастрофизацию, токсичная — усиливает.
• Практика «предполагай лучшее» снижает hostile-attribution-bias, но требует ежедневной прокачки и финансовой подушки.

TrackingAI — сайт-трекер политических и когнитивных смещений ИИ.
Добавлен Claude 3.5 Sonnet.

Что есть

• Тесты: политический компас, IQ (Mensa Norway, вербализован).
• База: все ответы ИИ, поиск, фильтры (день/неделя/месяц).
• Модели: ChatGPT, Claude, Bard, Grok и др. — список обновляется ежедневно.

Зачем

1. Показывает идеологию ИИ, чтобы выбрать менее предвзятого помощника.
2. Помогает разработчикам корректировать модели, если они «уходят в крайности».

Откуда идея

Вдохновлено работой Дэвида Розадо, но в отличие от статических снимков — live-трекинг.

FAQ (кратко)

• Почему ИИ левые?
  Данные (Википедия) и обратная связь левых рейтеров.
• Можно ли сделать ИИ центристом?
  Да, но нужно менять данные или состав рейтеров.
• Отказ от ответа?
  Повторяем 10 раз; если отказ — фиксируем.
• Контакт: maxim.lott@gmail.com

Автор

Максим Лотт, продюсер Stossel TV, создатель ElectionBettingOdds.com и TaxPlanCalculator.com.

Подписаться на обновления

• IQ-тесты для людей измеряют «g-фактор» при строгих ограничениях по времени; LLM не работают в этих условиях.
• Модели часто «зубрят» ответы из обучающих данных, поэтому высокий балл ≠ человеческий интеллект.
• Визуальные модели показывают худшие результаты, чем текстовые, из-за различий в формате заданий.
• Нормированные IQ-оценки для машин — категориальная ошибка: тесты не учитывают их архитектуру и возможности.
• Бенчмарк быстро теряет ценность из-за переобучения и отсутствия контроля за «подглядыванием» в данных.