Hacker News Digest

Жительница Флориды использовала чат-бота Claude в качестве личного дневника, записывая в него мысли и планы, включая детали предполагаемого насилия. Одна из записей содержала упоминание о намерении совершить стрельбу в общественном месте, что вызвало тревогу у системы модерации Anthropic. Компания, следуя своим правилам безопасности и обязательствам по предотвращению вреда, передала соответствующую запись в правоохранительные органы. После этого женщина была задержана и предъявлено обвинение в совершении преступления, связанного с планированием насилия. Случай подчеркивает, как ИИ-ассистенты могут непреднамеренно становиться частью цепочки событий, ведущей к реальным последствиям, особенно когда пользователи делятся опасными намерениями в диалогах с моделями. Anthropic подтвердила, что действовала в рамках своей политики использования, направленной на предотвращение насилия и защиту общественной безопасности. Инцидент также поднял вопросы о границах конфиденциальности при взаимодействии с ИИ и ответственности разработчиков за мониторинг контента. Хотя Claude не предназначен для хранения личных данных вроде дневника, его использование в таких целях может привести к непредвиденным выводам системы безопасности. Случай стал примером того, как эческие safeguards в ИИ могут срабатывать в реальных ситуациях, даже когда пользователь не ожидал такого вмешательства. Это также подчеркивает важность осознанного использования ИИ-инструментов и понимания их ограничений в вопросах приватности и безопасности.

Флоридский закон 836.10 считает угрозу совершённой, если она записана в электронном виде и доступна потенциально другим лицам — не требуется направление конкретному получателю. Пользовательское соглашение Anthropic прямо разрешает проверку контента, поэтому сбор данных не является шпионажем и имеет правовую основу. Использование чат‐бота как личного дневника лишает пользователя ожидания конфиденциальности: записи принадлежат сервису и могут быть переданы правоохранительным органам. Некоторые комментаторы видят в этом риск «преступления мысли», так как сложно различить роль‐игру и реальные планы, опасаясь преследования за гипотетические высказывания. Для снижения риска рекомендуют самохостинг моделей или API без автоматической модерации, где пользователь контролирует передачу данных. Ситуация иллюстрирует дилемму ИИ‐компаний между безопасностью общества и приватностью пользователей; в США есть прецеденты передачи подобных записей полиции.

Как один модератор Reddit подорвал репутацию буткэмпа Codesmith и уничтожил его бизнес на 23,5 млн долларов.

В 2013 году Уилл Сентенс основал Codesmith — одну из самых дорогих и престижных программ-школ в США. Через 7 лет компания стоит 23,5 млн долларов и обучает 70 человек. Но в 2020 году конкурент Michael Novati стал модератором главного сабреддита отрасли и начал ежедневно обвинять Codesmith в «секте, мошенничестве и прочих грехах». Под давлением репутационной атаки компания потеряла 80% выручки, сократилась до 15 человек и в итоге закрылась. Сентенс ушёл, но атака продолжается до сих пор.

• Reddit и другие платформы страдают от проблемы модераторов, которые используют свою власть в корыстных целях, что подрывает доверие к платформе и подрывает справедливость.
• Модераторы могут быть заинтересованы в продвижении определенных продуктов или компаний, что создает конфликт интересов и подрывает объективность платформы.
• Платформы должны быть осторожны с тем, кто они допускают в качестве модераторов, чтобы избежать злоупотреблений и сохранить доверие пользователей.

BlueSky автоматически блокирует контент для взрослых, используя алгоритмы для пометки аккаунтов и скрытия их постов. Это вызывает споры, поскольку система может ошибочно цензурировать легальный контент, включая искусство, образовательные материалы и аккаунты ЛГБТК+. Пользователи в ЕС теоретически могут использовать GDPR для обхода этих блокировок, запрашивая исправление неточных меток как ошибочных персональных данных.

GDPR позволяет требовать корректировки данных, если они неверны, что может вынудить платформу пересмотреть автоматические решения. Однако этот подход не гарантирует успеха и зависит от трактовки данных как «персональных». Практически это создаёт бюрократическую нагрузку на пользователей, но подчёркивает напряжённость между автоматической модерацией и правами на данные.

• Критика отсутствия сквозного шифрования в личных сообщениях Bluesky и опасения по поводу их доступности для модерации.
• Споры о разумности блокировки личных сообщений для неподтвердивших возраст пользователей как меры защиты от злоупотреблений.
• Обсуждение централизации Bluesky, несмотря на использование децентрализованного протокола, и её последствий.
• Вопросы к процессу верификации запросов на данные пользователей и соответствию GDPR.
• Сравнение подхода Bluesky к модерации и приватности с другими платформами, в частности с Twitter.

Пользователи Meta сталкиваются с системой модерации, которая часто ошибочно блокирует контент, а единственный эффективный способ обжалования — личные связи внутри компании. Это подрывает доверие к платформе и создаёт неравенство, где обычные пользователи лишены справедливого доступа к поддержке.

EFF отмечает, что автоматизированные системы и недостаточная прозрачность процессов апелляции приводят к длительным блокировкам без объяснений. Такая практика ставит под вопрос ответственность tech-гигантов за свободу выражения и доступ к информации.

• Пользователи сталкиваются с произвольными блокировками аккаунтов на крупных платформах (Google, Meta, Reddit, YouTube, Anthropic) без внятного объяснения причин и с отсутствием эффективных каналов апелляции.
• Автоматические системы модерации и поддержки часто не справляются, обратная связь от реальных людей недоступна, а единственным способом решить проблему становится публичный скандал в соцсетях.
• Потеря аккаунта ведет к безвозвратной утрате личных данных, контента, контактов и цифровой идентичности, что особенно болезненно для коммерческих организаций и личных воспоминаний.
• Централизованные платформы воспринимаются как ненадежные, что подчеркивает важность владения собственным сайтом и доменом для контроля над своим онлайн-присутствием.
• Отмечается враждебная политика компаний в отношении пользователей, которые рассматриваются как продукт, а не как клиенты (noreply-почта, отсутствие поддержки, скрытые алгоритмы).
• Проблема носит системный характер и затрагивает не только политически чувствительный контент, но и обычных пользователей, предпринимателей и рекламодателей.
• Существуют опасения по поводу будущего, где от решений алгоритмов будет зависеть доступ к критически важным сервисам (Uber Eats, LinkedIn) без возможности обжалования.

Imgur в бунте против владельца
На главной странице хостинга картинок — море фотожаб с Джоном Оливером, показывающим средний палец компании MediaLab AI, купившей Imgur в 2021 году. Пользователи («imgurians») обвиняют нового владельца в разрушении площадки: исчезли модераторы, сломаны базовые функции, сокращён штат.

Сайт появился в 2009 году как простой хостинг для картинок и стал любимцем Reddit. Со временем конкуренты встроили свои хостинги, но у Imgur осталось 41 млн активных юзеров и собственная культура мемов и апвоутов.

После покупки MediaLab AI основатель Алан Шааф ушёл, модераторов уволили или перевели, а сервис начал «эншитифицироваться». Теперь фронтпейдж захватили посты с требованиями «сломать сервера» и списком обид.

• Imgur появился как быстрый и чистый хостинг для Reddit, потому что сам Reddit долго не делал встроенный загрузчик изображений из-за сложностей с модерацией и деньгами.
• Со временем Imgur оброс собственным «клубом» пользователей, рекламой и цензурой, а после продажи MediaLab начал массово удалять NSFW-контент, что вызвало бунт «средних пальцев» и черных картинок.
• Бунт уже затух, но ясно: платить за трафик и серверы всё равно приходится, а «бесплатный сыр» заканчивается, когда инвесторы требуют монетизации.