Hacker News Digest

Cloudflare K2 — это серверless-примитив для потоковой передачи событий, построенный на Developer Platform и использующий R2 как основу для долговечного, партицированного лога. Он решает проблему синхронизации производителей и потребителей в традиционных RPC-архитектурах, где несогласованность масштаба или времени приводит к потере данных. K2 буферизует события, позволяя потребителям читать их независимо и в своём темпе — будь то разделение нагрузки между несколькими воркерами или доставка всех сообщений каждому потребителю (паттерн pub/sub). Поддерживается долгосрочное хранение, так что даже длительные простои потребителей не приводят к потере данных. Поток хранит события как упорядоченный лог, сегменты которого записываются в R2 после накопления в памяти, что обходит ограничение объектного хранилища на дозапись. Архитектура разделяет вычисления и хранение, позволяя масштабировать их независимо и использовать глобальную инфраструктуру Cloudflare — близкую к пользователям и способную к горизонтальному масштабированию — несмотря на эфемерность edge-серверов и ограничения традиционных распределённых систем вроде Kafka.

K2 доступен в публичной бета-версии для аккаунтов с оплаченной подпиской Workers, с ограничениями: до 10 ГБ хранилища и 30 МБ/с производительности на поток. Во время бета-тестирования использование не тарифицируется; ожидаемая модель ценообразования после выхода: $0.04/ГБ заproduced и consumed данные, $0.02/ГБ/месяц за хранение. Планируется расширение возможностей: повышение параллелизма записи до multi-GB/s, поддержка ключевой упорядоченности, push-потребители, экспресс-уровень с низкой латентностью и совместимость с клиентами Apache Kafka. Начало работы — создание потока за секунды по официальному гайду. Обратная связь принимается в Discord Cloudflare Developers.

K2 решает проблему масштабируемости потоков событий через объектное хранилище, но имеет ограничения: задержки доставки до 7.5 с, высокая стоимость потребления данных ($0.04/GB) и отсутствие совместимости с Kafka, что снижает его применимость для низколатентных сценариев и создает барьер для миграции из Kafka-систем. Объектные хранилища (R2, S3) становятся основой для систем хранения данных, заменяя управляемые дисковые системы благодаря надежности, масштабируемости и простоте. K2 и аналогичные решения (AutoMQ, WarpStream) используют S3/R2 как основу, при этом Cloudflare имеет преимущество за счет тесной интеграции R2 и K2 в одной команде. Высокая задержка объектных хранилищ (до 7.5 с) противоречит возможностям NVMe SSD с микросекундной задержкой, делая такой подход неоптимальным для некоторых сценариев. Потребление данных по $0.04/GB делает сценарии с множеством потребителей дорогостоящими по сравнению с конкурентами, где потребление часто бесплатное или дешевле. S3 и R2 позволяют строить сложные системы (регистры контейнеров, etcd, POSIX-файловые системы) через тонкий слой, расширяя применение за пределы простого хранения. AWS Aurora и другие системы давно используют S3 как основу хранения, подтверждая устойчивость тренда «object-store first». Наличие встроенной поддержки многорегионального распределения и отказоустойчивости в R2 делает K2 привлекательным для глобальных приложений, где управление традиционными Kafka-кластерами сложно. Для улучшения производительности предлагается добавить быстрый in-memory прокси-слой с тем же API, чтобы сделать объектное хранилище приемлемым для обычных бизнес-приложений. Также предложено заменить ack-батчи на передачу ID последнего прочитанного события в запросе consume — это снизит сложность и риск дублирования. Для не-AI стартапов рекомендуется фокусироваться на read-heavy сценариях с большим объемом данных, как это сделал Turbopuffer — эффективный путь к созданию ценности на базе объектного хранилища. Azure Blob Storage поддерживает операции append с самого начала, опровергая утверждение о том, что S3 — единственный или лучший вариант для потоковой записи. Cloudflare активно выпускает новые продукты с малым количеством персонала, вызывая опасения по поводу безопасности и долгосрочной надежности инфраструктуры клиентов. K2 отличается от очередей Cloudflare тем, что обеспечивает долговечный, партиционированный лог событий, а не просто надежную доставку с повторными попытками. NATS JetStream рассматривается как недооцененный альтернативный вариант, способный обеспечить высокую пропускную способность для средних предприятий при правильной настройке.

Micron CEO Санджай Мехротра заявил, что спрос на память и хранилище усилился, и условия предложения и спроса в фискальном 2027 и 2028 годах будут значительно напряжённее, чем в 2026 году. Он подчеркнул, что даже при планах по расширению чистых помещений в отрасли и устойчивом росте спроса — включая новые запросы от клиентов — компания не видит момента, когда баланс между спросом и предложением восстановится. Искусственный интеллект, по его словам, становится «сверхинтеллектуальным», а память играет ключевую роль в усилении этой интеллектуальной мощи и конкурентоспособности платформ клиентов.

Кроме того, более 75% объёма производства Micron на 2027 год уже забронировано клиентами, а новые мощности, такие как фабрика ID2 в Айдахо, начнут выпуск пластин только в конце 2028 года. В прошлом квартале цены на DRAM выросли на высокие десятки процентов, а NAND — примерно на 30%. Несмотря на предыдущие прогнозы о постепенном улучшении поставок к 2028 году, текущая оценка указывает на продолжительный дефицит, и компания по-прежнему не видит пути к равновесию спроса и предложения. Эти прогнозы могут измениться, но текущая тенденция указывает на сохраняющееся напряжение на рынке памяти.

Обсуждение указывает на возможную манипуляцию рынком памяти: производители смещают производство с DDR5 на более прибыльную HBM для ИИ-центров, сокращая доступность памяти для потребительского рынка. Основной спрос уже зарезервирован гиперскалерами ИИ, а прогнозы зависят от устойчивости их инвестиций, которые могут рухнуть, если ИИ-бизнес не оправдает ожиданий. Споры касаются того, является ли дефицит естественным или результатом сознательного сговора производителей для поддержания высоких цен, поскольку DDR5 чрезвычайно прибылен. Внутренние сделки Micron показывают массовую продажу акций топ-менеджерами (337 619 продаж против 887 покупок за 6 месяцев), что противоречит их публичным заявлениям о росте. Китайские производители, такие как CXMT, могут выйти на рынок и нарушить монополию, особенно если цены останутся высокими. Некоторые эксперты, включая CEO Acer, считают, что прогнозы дефицита на 2027–2028 годы преувеличены, и цены начнут падать к концу 2027 года из-за роста китайских мощностей. Существует опасение, что монополизация рынка памяти приведёт к регуляторному вмешательству, так как текущая модель подрывает свободный рынок и создаёт зависимость от нескольких игроков. Прогнозы спроса на память в 2027 году могут быть завышены из-за спекулятивных оценок строительства дата-центров на 30+ ГВт, не соответствующих реальной потребности. Потребители и производители ПК ожидают роста цен на устройства из-за дефицита памяти, что приведёт к продлению срока использования старых устройств, поиску альтернатив и оптимизации ПО (включая проекты вроде REIN). Некоторые рекомендуют отложить покупку компьютеров и телефонов на 2 года, если текущие устройства работают удовлетворительно. Крупные производители ПК (Apple, Dell, HP), ранее использувшие Crucial (дочерняя компания Micron), теперь вынуждены платить высокие цены из-за отказа производителей от потребительского сегмента. Заявления о дефиците могут быть попыткой удержать акции на высоком уровне, учитывая, что акции Micron выросли в 10 раз за два года, а барьеры для входа на рынок памяти ниже, чем для GPU.

В сентябре Internet Archive запускает акцию: при оформлении регулярного пожертвования от $25 в месяц ваш первый взнос будет удвоен благодаря грантовому совпадению 2:1. Это означает, что $25 в месяц превращаются в $75 поддержки, $50 — в $150, а $100 — в $300. Такие регулярные пожертвования критически важны, так как в среднем именно они составляют основу финансирования архива.

Архив хранит 210 петабайт знаний — от сканированных книг до снимков веб-страниц в Wayback Machine — и остаётся полностью бесплатным, без рекламы, продажи данных или outsourcing ключевых технологий. Его независимая инфраструктура требует постоянных инвестиций в серверы, хранение, энергию и команду инженеров. Поддерживая архив регулярным пожертвованием, вы напрямую способствуете сохранению доступа к человеческому знанию для нынешнего и будущих поколений.

В thread обсуждаются предложения 2:1 для IA: такие матчинговые схемы считаются стандартной практикой среди крупных благотворительных организаций, хотя часть комментаторов сомневается в их честности; другие отмечают, что они эмпирически привлекают больше мелких доноров и усиливают их ощущение вклада. При оплате через Google Pay подписка активируется по умолчанию, а отмена возможна только через поддержку, что делает процесс рискованным. IA зарегистрирована как американская некоммерческая организация (501(c)(3)), поэтому доноры из ЕС не получают налоговых чеков от местных фондов; для них рекомендуется SEPA‐перевод на указанный британский счёт (GB74RBOS16107510000470) — это быстрее и дешевле wire‐transfer. Пользователи жалуются на технические ограничения IA (частые 429‐ошибки и тайм‐ауты); предложение ввести отдельный донорский уровень для их обхода может конфликтовать со статусом 501(c)(3). Некоторые считают archive.today надёжнее, так как IA чаще блокирует сайты. В качестве альтернативных моделей финансирования предлагается привлекать спонсоров — крупные хостинг‐провайдеры или компании, занимающиеся ИИ‐скрапингом. Идея полностью волонтёрского обслуживания по модели Red Cross Code4Good считается нереалистичной: инфраструктура требует круглосуточной профессиональной поддержки. Остаётся открытым вопрос о законности и моральной оправданности копирования защищённого контента: одни считают это нарушением прав авторов, другие указывают на общественную ценность доступа к информации.

Инженеры Nanit сэкономили $500,000 в год, создав собственную систему хранения N3 на Rust вместо использования AWS S3 для обработки видео. При тысячах загрузок в секунду, плата за запросы PutObject в S3 становилась основной статьей расходов, а минимальный период хранения в 24 часа правил out стоимость обработки, занимавшей всего 2 секунды.

N3 работает как in-memory landing zone, используя S3 только как буфер перегрузки. В исходной архитектуре камеры загружали видео чанками напрямую в S3 через presigned URL, после чего Lambda отправлял ключи в SQS FIFO очередь для обработки. Подход сохранил надёжность и строгую последовательность данных, но исключил плату за запросы на основном пути и сократил затраты на хранение.

• Стоимость S3 для короткоживущих файлов оказалась настолько высокой, что компания вместо него реализовала собственное in-memory хранилище, что позволило сэкономить $500k, но оставляет вопрос о том, что будет, если этот кэш упадёт.
• Обсуждение вылилось в критику концепции "serverless" архитектуры, где-то между линиями прочиталось, что сама архитектура была проблемой, а не решением.
• Участники обсуждения также подняли вопросы о приватности: камера в детской комнате передаёт аудио/видео в облако без шифрования, и кто-то может прослушивать ваш дом.
• Несколько комментаторов отметили, что вместо того, чтобы писать собственные сервисы, компании могли бы использовать существующие open-source решения, такие как MinIO или SeaweedFS, но при этом они также отметили, что даже эти решения не предоставляют той же степени удобства, что и делает S3.

Для предобучения моделей на 90 миллионах часов видео потребовалось 30 ПБ хранилища — в 500 раз больше, чем для текстовых LLM. Вместо $12 млн/год за облачное хранение в AWS команда построила локальный кластер в Сан-Франциско за $426,5 тыс. единовременно и $29,5 тыс./мес. (с учётом амортизации), сократив расходы в 40 раз.

Ключевая идея: для ML-данных избыточная надёжность облаков не нужна — допустима потеря 5% данных без последствий. Использовали б/у жёсткие диски и JBOD-шасси, колокацию в шаговой доступности от офиса для минимизации простоев. Практический вывод: при больших объёмах данных и толерантности к сбоям самостоятельное развёртывание экономически оправдано.

• Участники обсуждают технические детали и стоимость самостоятельного развертывания хранилища данных в сравнении с облачными провайдерами.
• Поднимаются вопросы о надежности, отказоустойчивости и методах борьбы с битымми данными в кастомном решении.
• Высказывается любопытство по поводу источника огромного объема видео данных (90 млн часов) и способов его передачи для обучения моделей.
• Отмечается предпринимательский дух и "can-do" подход команды, а также сложности сетевой инфраструктуры.
• Обсуждаются практические аспекты: опыт использования eBay, затраты на электроэнергию, необходимость тестирования б/у дисков и количество человеко-часов на setup.

Месяц назад купил iMac 2006, поставил «Kingston»-SSD — система упала, скорость упала до 600 КБ/с. «Починка диска» подняла до 2,6 МБ/с — всё равно мало. Подозрение: подделка. Коробка и корпус настоящие, но наклейка сзади печатается плохо.

Установил f3, начал тест — диск умер, форматировать нельзя. Вероятно, внутри перепрошитый 128-ГБ Kingston, проданный как новый. Жду ответа магазина; если не примут возврат, вскрою и посмотрю, что внутри.

• Amazon и другие маркетплейсы перестали быть безопасными: из-за sku-pooling и смешанных складов даже товары «sold by Amazon» могут оказаться подделкой.
• Пользователи регулярно получают фальшивые SSD/HDD с поддельными SMART-данными, внешне идентичные оригиналам; возврат затруднён, т.к. листинги «переписываются» под дешёвые товары.
• eBay, AliExpress, eMag и другие площадки завалены «4 ТБ»-накопителями на 100 ГБ реальной флэш-памяти; при превышении объёма диски просто умирают.
• Надёжнее покупать напрямую у вендора, в Micro Center, B&H или использовать б/у enterprise-SSD (Intel S3700 и др.) — их не подделывают и они живут дольше потребительских.
• Для проверки новых накопителей рекомендуют утилиты ValiDrive, f3/f3fix и взвешивание — фейки часто легче.