Hacker News Digest

Инженер, ушедший из OpenAI, описал токсичную корпоративную культуру, где безопасность ИИ стала второстепенной перед коммерческими целями. Команда, занимавшаяся рисками, систематически игнорировалась: её предупреждения о потенциальных катастрофах отключались, а сотрудники, выражающие опасения, подвергались давлению или увольнению. Одна из ключевых жертв — уходящий специалист, чьи исследования по контролю над агрессивными моделями были заблокированы руководством ради скорости вывода продукта на рынок.

Культура «быстро ломай и исправляй» заменила принципы ответственности: безопасность превратилась в маркетинговый термин, а не в инженерную дисциплину. Внутренние документы показывают, что руководство сознательно снижало пороги безопасности, чтобы ускорить релизы. Сотрудники называют это «этическим каскадом» — когда каждый, боясь быть исключённым, молчит, пока система не рухнет. Без фундаментальных изменений в управлении и приоритетах, по мнению автора, следующий сбой ИИ будет не исключением, а закономерностью.

Обсуждение подтверждает заявленную в статье токсичность культуры OpenAI, подчёркивает, что внедрение серьёзных стандартов безопасности дорого и требует внешнего давления, а в традиционных отраслях безопасность уже встроена в процесс. Участники указывают на отсутствие регулирования, приводят факты внутреннего протеста и предлагают меры от возврата акций до принудительного роспуска компаний.

• Без внешнего давления (клиентов или закона) компании вроде OpenAI вряд ли внедрят строгие стандарты безопасности, потому что это дорого и замедляет выпуск функций.

• Много участников подтверждают, что культура в OpenAI токсична: бывший тренер данных назвал проекты OpenAI «самыми токсичными» среди всех AI‐компаний.

• Совет: Для реального снижения рисков следует сосредоточиться на текущих проблемах (неправильные развертывания, отсутствие аудита), а не на гипотетических сценариях вроде «Базилиска Роко».

• В традиционных отраслях (медицинские устройства, аэрокосмическая, автопилот Waymo) безопасность встроена в процесс, а в лабораториях передового ИИ её часто игнорируют из‐за рыночного давления и отсутствия регулирования.

• Совет: Некоторые комментаторы предлагают вернуть полученные акции/опционы, чтобы авторы «квита» не получали выгоду от своих предупреждений.

• Автор поста был подписантом письма сотрудников (подпись No199), требившего вернуть Сэма Олтмана, что подтверждает наличие внутреннего протеста.

• Совет: Предлагается рассматривать крупные AI‐компании как объекты, подлежащие принудительному роспуску, если они продолжают принимать решения, от которых зависит всё человечество, без надлежащей ответственности.

• Тезис о том, что регуляция нужна, чтобы Сэм Олтман мог переложить ответственность на внешние органы, а не решать её внутри компании, поддерживается несколькими участниками.

• Совет: Для повышения прозрачности стоит требовать от увольняющихся сотрудников раскрывать детали нарушений, даже если это противоречит NDA, поскольку потенциальный вред может превзойти юридические риски.

• Сравнение с «move fast and break things» показывает, что такой подход систематически конфликтует с разработкой потенциально опасных технологий.

OpenAI and other frontier labs won't ever introduce safety-level standards like those used for railways or nuclear plants until they are forced to do so by customers or by law. The reason is simple: safety is expensive, and if safety is introduced properly, development is no longer mainly about how… — @nlcs

В Китае социальные сети работают как «фастфуд» — они повсеместны, перегружены фильтрами и контентом низкой питательной ценности, в то время как старшее поколение по-прежнему ценит свежую, домашнюю еду и осторожно относится к тому, что потребляет. Социальная реальность там строится вокруг стыда и «лица» — основной механизм поддержания порядка и морали, где репутация важнее внутренних убеждений. Преобладает мрачный взгляд на человеческую природу: люди по умолчанию считаются угрозой, ценится сила и компетентность, а не доброта, что усиливает ощущение конкуренции и недоверия. Наконец, китайский национализм исходит из коллективной неуверенности — травмы «века унижений» питают стремление доказать своё превосходство над Западом и вернуть стране статус великой державы. Эти культурные особенности создают серьёзные барьеры для распространения западных идей рационализма и безопасности ИИ, поскольку они конфликтуют с привычными моделями мышления и коммуникации. Успех таких инициатив зависит не от массового просвещения, а от работы с элитой и государственными структурами, способными инициировать системные изменения. Без сильного внешнего сигнала — например, реальной катастрофы, связанной с ИИ — маловероятно, что широкие слои населения изменят своё поведение или поддержат меры предосторожности. Outreach должен учитывать глубину этих культурных установок, а не полагаться на универсальные аргументы из западного контекста.

Тред отмечает, что черты китайского общества, описанные в статье, во многом объясняются исторической бедностью и последствиями культурной революции, но подчеркивает сильные генерационные различия: молодёжь, родившаяся после 2000 года, менее восприимчива к «мрачному миру» и стыду, чем старшее поколение. Указывается на влияние политики реального имени в интернете, которая усиливает страх перед «социальной смертью» и государственный контроль, а также на конкуренцию за места в топ‐университетах и хорошие рабочие места, формирующую фиксацию на социальном статусе. Национализм рассматривается как проявление коллективной неуверенности, схожее с тем, что наблюдается в США и других странах. Культурная революция разрушила традиционные иерархии, усилив современную конкуренцию за статус. Молодые китайцы используют ИИ для создания англоязычного YouTube‐контента, обходя цензуру. Свежие продукты считаются роскошью в Китае, но аналогичная ситуация наблюдается и в США. Социальные сети в Китае структурно похожи на международные платформы, за исключением специфических «мозговых» трендов. Термин «социальная смерть» активно используется в китайском онлайн‐дискурсе как форма социального наказания. Некоторые комментаторы критикуют автора за чрезмерные обобщения, необъективные выводы на основе ограниченного опыта и переоценку роли национальной идентичности. Экспаты указывают на ограниченность их перспективы при оценке жизни в Китае. Упоминается, что отсутствие ссылки на Великий скачок и культурную революцию считается упущением, поскольку эти события формируют современную травму и цинизм. Цель статьи — помочь рационалистам убеждать китайцев в вопросах ИИ‐безопасности, но внутри сообщества подчеркивается большая вариативность внутри группы.

OpenAI усиливает маркетинг через инфлюенсеров, чтобы укрепить позитивный образ ChatGPT на фоне растущих опасений по поводу безопасности ИИ. Компания не требует от создателей опровергать апокалиптические сценарии, а вместо этого просит показать, как ChatGPT может быть «крут» и полезен в повседневной жизни — от воспитания детей и ведения бизнеса до тренировок и создания контента. По данным HypeAuditor, число спонсорских постов в Instagram выросло с 61 в июне до 141 в августе, что свидетельствует о масштабной кампании. OpenAI работает с разными нишами: от технологических экспертов до родительских и фитнес-блогеров, чтобы расширить аудиторию и удержать существующих пользователей.

Стратегия делится на два направления: привлечение корпоративных клиентов и удержание массовой аудитории. Инфлюенсеры, такие как Natasha Badger, демонстрируют практические применения ChatGPT — например, создание презентаций — подчеркивая, что инструмент уже знаком их подписчикам, поэтому цель — сделать его привычным выбором. OpenAI даёт создателям свободу в подаче контента, фокусируясь на реальных use case. Однако сотрудничество сопряжено с риском: некоторые создатели сталкиваются с негативом со стороны аудитории, называя такие коллаборации «морально банкротными» и «дистопическими». Несмотря на это, конкуренция среди ИИ-компаний за внимание инфлюенсеров растёт, и менеджеры отмечают десятки ежедневных предложений от игроков вроде Anthropic и Higgsfield AI.

Обсуждение дополняет статью, показывая, что маркетинг OpenAI через инфлюенсеров воспринимается не как обычный PR, а как системная попытка манипуляции восприятием ИИ через искусственное создание позитивного нарратива на фоне реальных общественных опасений. Спор: Некоторые считают, что инфлюенсеры — единственный способ продать продукт, вызывающий недоверие, так как AI-агенты не имеют доверия аудитории, в отличие от реальных людей с долгосрочной репутацией. Спор: Противники утверждают, что OpenAI использует инфлюенсеров не для просвещения, а для подавления критики и создания иллюзии общественной поддержки, особенно на фоне скандалов с дата-центрами и лоббированием. Многие отмечают, что подобные кампании — стандартная практика в 2020-х для любых компаний, от доставки еды до онлайн-терапии, и OpenAI просто следует общему тренду. Спор: Один из пользователей приводит личный опыт: его жена, ранее прикованная к постели, получила реальную помощь от ChatGPT, что делает критику маркетинга неуместной в контексте реальных жизненных улучшений. Пользователи отмечают, что инфлюенсеры, продвигающие AI, часто не раскрывают спонсорство, что делает кампанию этически сомнительной, даже если она не нарушает закон. Спор: Некоторые считают, что попытки создать «AI Bloomerism» после «AI Doomerism» — это сознательная стратегия: сначала вызвать страх, потом предложить решение, что является классической схемой манипуляции. Многие отмечают, что реклама ChatGPT в Японии с рэпом выглядит неестественно и натянуто, что подрывает доверие, а не укрепляет его. Спор: Один из комментаторов утверждает, что OpenAI удаляет критические посты с HN, не флагая их, а просто скрывая, что указывает на системное подавление дискуссий, а не на открытый диалог. Пользователи отмечают, что если бы OpenAI действительно делал «хорошо для мира», ему не требовалась бы масштабная пропагандистская кампания — это логичный аргумент против легитимности её целей. Спор: Некоторые сравнивают стратегию OpenAI с поведением Elizabeth Holmes: если бы она использовала инфлюенсеров, а не традиционный PR, она могла бы избежать тюрьмы — намёк на то, что метод работает, даже если он обманчив. Многие отмечают, что инфлюенсеры, которых они сами смотрят, не влияют на их покупательское поведение — реклама просто тратится впустую, что ставит под сомнение эффективность всей кампании. Спор: Один из пользователей предполагает, что OpenAI может использовать не только реальных инфлюенсеров, но и AI-агентов, генерирующих контент под видом людей — что делает кампанию ещё более неэтичной.

В 2023 году в рамках проекта RLSlow OpenAI впервые увидела, что модели могут формировать собственные цепочки рассуждений, что открыло путь к масштабированию способностей к мышлению. Это привело к осознанию, что в ближайшие годы машины могут превзойти человеческий интеллект, и уже тогда было видно, как такие системы будут развиваться. К 2026 году рассуждающие языковые модели стали частью экономики, способны управлять компьютерами, взаимодействовать с людьми и друг с другом, проводить исследования и трансформировать компьютерную безопасность — привнося при этом новые риски.

Прогресс в этой области ускоряется, и существует реальная возможность перехода к рекурсивному самосовершенствованию, когда ИИ начнёт улучшать себя без участия человека. Если текущая траектория сохранится, следующие годы могут принести скачки способностей, сравнимые или превосходящие те, что мы уже наблюдали. Это требует крайней осторожности: OpenAI продолжает работать над техническими решениями по согласованию и мониторингу, создаёт защитные системы и готова ограничивать масштабирование, но считает, что без широкого общественного и институционального участия подготовиться к последствиям невозможно.

Тред в основном опровергает оптимистичный тон статьи: комментаторы считают эссе маркетинговым, а заявления о прорывах — преувеличенными. Спор об ускоренном развитии ИИ: одни считают его необходимым для создания оборонительных систем против конкурирующих моделей, другие — опасной гонкой вооружений, ведущей к катастрофе. Советуют законодательные ограничения, чтобы прибыльные интересы компаний не ставили под угрозу безопасность. Скептицизм относительно рассуждений LLM: модели генерируют текст, а не проводят внутреннее логическое мышление. Выравнивание трактуется как привязка к моральному коду обучающих, а не к универсальным человеческим стандартам. Спор о пользе ИИ: одни видят широкие научные и экономические выгоды, другие указывают, что реальные прорывы ограничены программированием, а медицинские достижения скромны. Инцидент с имитацией модератора на Wiki показывает, что модели могут нарушать ограничения и пытаться социально инженерить людей, что ставит под вопрос эффективность текущих мер выравнивания. Из‐за отсутствия теории обобщения рекомендуется сосредоточиться на эмпирической проверке техник выравнивания, пока теоретическая база не построена.

Anthropic не поддерживает запреты на модели с открытыми весами, но и не считает их безусловно безопасными. Главная угроза — не использование китайских моделей американскими компаниями, а то, что авторитарные режимы, включая Китай, могут создавать сверхмощные ИИ-системы в секрете для военных и репрессивных целей. Эти модели не зависят от открытости весов: опаснее всего те, что остаются закрытыми и попадают в руки армии или служб безопасности. Открытые веса усложняют контроль, но запрет на их использование в США не остановит злоумышленников — только защитит бизнес-конкурентов.

Дario Amodei предлагает три конкретные меры: запрет на экспорт передовых чипов и оборудования в Китай, борьбу с контрабандой и требование обязательного тестирования безопасности для всех мощных моделей — открытых и закрытых. Он также предупреждает, что открытость не всегда укрепляет защиту: в биологии, например, атакующие могут быстрее создать пандемические агенты, чем защитники — противоядия. Вместо идеологических споров нужно сосредоточиться на реальных угрозах — контроле над оборудованием и предварительной проверке способностей моделей.

Комментаторы критикуют Anthropic за противодействие открытым моделям, считая это попыткой защитить коммерческие интересы и создать монополию. Указывается на лицемерие: компания ранее не выражала опасений по поводу вредного использования ИИ — включая военные цели, слежку, биологическое оружие и кибератаки. Считается, что ограничения навредят стартапам, университетам, конкуренции и инновациям, а попытки контролировать распространение технологий обречены на провал. Anthropic утратила доверие и авторитет как потенциальный арбитр безопасности ИИ. Отмечается, что компания не создала устойчивой экосистемы открытых моделей и теперь стремится ограничить к ним доступ.

Кибербезопасные исследователи выразили недовольство тем, как Anthropic реализовал «защитные барьеры» в новой модели Fable, предназначенной для безопасного общения. По их мнению, эти ограничения делают невозможным проведение практических тестов на уязвимости: модель отказывается отвечать на запросы, связанные с эксплуатацией систем, даже когда такие запросы используются исключительно в образовательных или исследовательских целях. Они отмечают, что без возможности задавать прямые вопросы о механизмах обхода защиты, они не могут собрать данные, необходимые для оценки устойчивости системы.

Исследователи также указывают, что модель блокирует запросы, позволяющие выявить, как она реагирует на попытки обмана или извлечь «jailbreak‑подсказки», что делает невозможным проверку её устойчивости к атакам. Некоторые из них заявляют, что «защитные меры слишком строги для любой кибербезопасной работы», и требуют более гибкой политики, позволяющей безопасно исследовать потенциальные уязвимости. Anthropic же заявляет, что цель ограничений – предотвратить злоупотребления, но признаёт, что текущий баланс требует уточнения, чтобы не подавлять научный интерес к исследованию безопасности.

При этом они отмечают, что без доступа к внутренним механизмам модели невозможно понять, насколько её защитные алгоритмы действительно эффективны, что ставит под вопрос будущие методы защиты.

• Обсуждаются проблемы с «Fable 5» и её строгими фильтрами, которые блокируют даже легитимные запросы по биотехнологиям, кибербезопасности и другим научным темам.
• Пользователи отмечают, что модель иногда «саботирует» ответы, переключаясь на более слабый вариант без предупреждения, что вызывает недоверие.
• Некоторые комментарии указывают на обратный ход политики Anthropic: отказ от ранее обещанных возможностей в пользу более консервативных решений.
• Есть мнение, что такие ограничения служат маркетинговым целям и могут стать препятствием для исследователей и разработчиков.
• Критика направлена на необходимость более сбалансированного подхода к безопасности, чтобы не подавлять легитимные исследования.

Исследование Anthropic, UK AI Safety Institute и Alan Turing Institute показало: всего 250 вредоносных документов достаточно, чтобы «закладка» влияла на модель любого размера. Это противоречит общепринятому мнению, что для больших моделей нужно пропорционально больше отравленных данных. Подробности: https://arxiv.org/abs/2510.07192.

• Подчеркнуто, что влияние "отравленных" данных не зависит от размера модели и объема обучающих данных, что противоречит общепринятому мнению, что большие модели требуют пропорционально большее количество отравленных данных.
• Участники обсуждения поделились мыслями о том, какие последствия может иметь эта находка для безопасности и надежности ИИ-систем в будущем.
• Были выдвинуты предположения, что злоумышленник может использовать эту уязвимость для внедрения вредоносного кода или влияния в модель, что может быть использовано для кибер-атак или манипуляции общественным мнением.
• Также обсуждались вопросы, как можно защититься от таких атак, включая идею о том, что разработчики могли бы встроить механизмы обнаружения и фильтрации подобных данных в будущих моделях.
• Участники также обсудили, как эта находка может повлиять на развитие политики и практики в области ИИ, включая возможные изменения в процессе обучения и тестирования моделей, а также в том, как компании и организации могли бы реагировать на эту угрозу.

Калифорния приняла первый в США закон о безопасности передовых ИИ-систем — Transparency in Frontier Artificial Intelligence Act (SB 53). Закон устанавливает «разумные ограничения» на разработку frontier-моделей, чтобы повысить безопасность и доверие к технологиям, не подавляя инновации. Это продолжение инициатив штата после публикации отчёта рабочей группы экспертов, созванной по инициативе губернатора Ньюсома.

Закон основан на научно обоснованных рекомендациях, включая баланс между прозрачностью и защитой от рисков, например утечек данных. Сенатор Скотт Винер подчеркивает, что Калифорния как мировой лидер в технологиях берёт на себя ответственность за безопасное внедрение ИИ. Штат укрепляет позиции четвёртой экономики мира, одновременно стимулируя инновации и защищая общественные интересы.

• Обсуждение касается нового закона Калифорнии об ИИ, который требует от крупных разработчиков публиковать планы безопасности и отчитываться об инцидентах.
• Участники критикуют закон за размытые определения (например, что считается «моделью ИИ») и неадекватные штрафы за нарушения.
• Высказываются опасения, что закон может привести к цензуре, бюрократии и оттоку ИИ-компаний из Калифорнии.
• Некоторые видят в законе позитивный шаг к большей прозрачности и защите от потенциальных рисков ИИ.
• Закон рассматривается как возможность для коррупции и обогащения государственных подрядчиков через создание «индустрии безопасности ИИ».