Hacker News Digest

В 2018 году небольшая группа любителей радиосондовых баalonов создала сервис SondeHub, который вначале представлялся лишь как шутливый редирект с домена sondehub.org на привычный агрегатор Habhub. За год платформа превратилась в полноценный приёмник данных: благодаря прокси‑слою и отдельному OpenSearch‑кластеру они смогли отслеживать тысячи запусков в реальном времени, а затем разместить сырые данные в S3 для открытого доступа.

Первый шоковый звонок пришёл в 2021 году от военных, которые попросили убрать метки с их объектов, потому что обратный прогноз (reverse prediction) позволял восстанавливать координаты запусков и, как следствие, раскрывать расположение артиллерийских позиций и даже военных кораблей. После этого команда начала фильтровать подозрительные площадки по официальным запросам, но сохранила возможность работать с гражданским сегментом. В результате система стала не только инструментом метеорологии, но и «картографом» скрытых военных активностей, что привлекло внимание СМИ и правительственных органов.

Обсуждение дополняет статью реальными опытами запуска радиозондов, техническими деталями сбора данных и критикой централизации инфраструктуры, подчеркивая роль гражданских инициатив в обеспечении открытости и устойчивости данных.

• Совет: Рекомендуется запускать радиозонды как семейный проект с детьми — это увлекательно и обучает основам метеорологии и GPS-трекинга.

• Данные с радиозондов критически важны для калибровки глобальных метеомоделей, а не просто для интерполяции — их используют в Skew-T Log-P графиках для анализа атмосферы.

• Раньше в Великобритании платили за возврат радиозондов, но теперь они стали настолько дешевыми, что их просто выбрасывают как одноразовые.

• Совет: Для надежности инфраструктуры важно соблюдать принцип '2 is 1, one is none' — дублировать резервные копии и избегать единой точки отказа.

• AWS обычно не блокирует аккаунты сразу при подозрении на злоупотребление — они отправляют предупреждения, как это произошло с компанией, случайно перегружавшей API.

• Спор: Некоторые считают, что фраза 'Fuck Russia' — абсолютистская, другие возражают, что осуждение неоправданной агрессии не требует абсолютизма, а лишь этической позиции.

• Гражданские ученые должны запускать собственные приемники, потому что коммерческие системы (FlightAware, MarineTraffic) скрывают данные по запросу.

• SondeHub позволяет отслеживать, кто успешно нашел радиозонд, чтобы другие не тратили время на уже найденные устройства — это улучшает координацию сообщества.

• Совет: При запуске радиозондов в темноте без лицензированных радиопередатчиков можно использовать потребительские GPS-трекеры с обновлением раз в 5 минут — это работает, хоть и с задержкой.

• Использование домена для шутки, который превратился в критически важную инфраструктуру, показывает, как небольшие инициативы могут эскалировать в геополитические события.

• Публичные проекты, как SondeHub, несут риск взаимодействия с непредсказуемыми запросами — от любопытных до враждебных, и это самое пугающее, но и самое живое.

• Отсутствие LLM-посредников в тексте автора воспринимается как редкая и ценная черта — контент кажется более человечным и искренним.

В конце 2023 года у Tailscale появилась система‑широких сбоев, вызванных редкой формой повреждения SQLite‑базы. Инциденты начались в августе, когда резервные копии, сохраняемые каждые несколько минут в S3, начали падать: PRAGMA integrity_check фиксировал повреждение, а восстановление требовало ручного ввода нескольких конфигураций. За полгода было зафиксировано 19 повторяющихся случаев, пока не выяснилось, что виновником стал баг в самом SQLite, связанный с особенностями WAL‑режима и агрессивным чекпоинтом.

Ключевой факт — SQLite не предназначен для одновременного чтения и записи в режиме «многократных» контрольных точек; при слишком частых сохранений он может «перезаписать» журнал и повредить файл. Команда обнаружила, что в их конфигурации WAL‑файл сбрасывается в момент, когда открывается новый процесс‑чтение, что приводит к гонке условий. Исправив настройку резервного копирования и добавив небольшую задержку перед сбросом WAL, они устранили проблему, а также подготовили патч для ядра SQLite, который будет включён в будущие версии. Теперь сервис стабилен уже несколько месяцев, а команда планирует более тщательно тестировать любые нестандартные схемы использования «скучной» технологии.

Тред анализирует выявление 16-летней ошибки в SQLite, подчеркивая важность тщательного тестирования и поддержки открытого исходного кода. Участники отмечают значимость этого открытия и ценят прозрачность команды Tailscale в публикации результатов. Некоторые рекомендуют использовать Postgres для систем с высокой конкуренцией, считая SQLite неоптимальным выбором, другие оспаривают эту позицию.

Версия 3.0.0 immich‑app представляет собой крупный рефакторинг: обновлённый веб‑интерфейс с темной темой, поддержка объектного хранилища (S3‑совместимый), ускорение загрузки на 30 % и открытие пяти новых API‑эндпоинтов. В релизе участвовало более 150 коммитов, из которых около 40 % — новые функции, а остальные — исправления ошибок и оптимизации. Добавлена централизованная панель администрирования, позволяющая управлять пользователями, квотами и репликацией в реальном времени. Тесты показали, что время генерации превью упало до 0,9 секунды, а пропускная способность выросла до 1500 запросов в секунду, это делает платформу конкурентоспособной для крупных медиа‑хранилищ и упрощает масштабирование.

Миграция с 2.x на 3.0 требует выполнить скрипт обновления базы данных, после чего изменить docker‑compose: добавить переменные S3_ENDPOINT и CACHE_DIR, а также переключить режим хранения на «object». Пользователи отмечают, что после обновления время отклика галереи ускорилось в 1,8 раза, а нагрузка на сервер снизилась на 25 %. Новые API‑эндпоинты открывают доступ к метрикам использования и позволяют интегрировать сторонние аналитические инструменты, а в changelog указано 12 несовместимых изменений, требующих обновления скриптов миграции. Рекомендуется проверять работу кастомных плагинов в staging‑окружении и консультироваться с документацией, где подробно описаны новые параметры.

• Пр高兴ся, что студенты используют Immich в реальном мире и рад, что проект стал альтернативой Google Photos.
• Обсуждаются проблемы с импортом больших Takeout‑пакетов и необходимость более простого способа загрузки.
• Много споров حول отсутствие end‑to‑end шифрования и поддержка read‑only/внешних папок.
• Пользователи отмечают хорошую работу мобильного приложения, но хотят улучшений в синхронизации, порядке элементов альбомов и поддержке не‑фото‑элементов.

Разработчик с 18-летним опытом работы с AWS столкнулся с неожиданным счетом в $1000 за синхронизацию данных с S3. Несмотря на подтвержденную бесплатность передачи данных между EC2 и S3 в одном регионе, система показала 20 167 GB трафика через NAT Gateway за один день, что составило $907.53.

Проблема заключалась в том, что при использовании VPC с NAT Gateway весь трафик к S3 по умолчанию маршрутизируется через него, даже при работе в одном регионе. Решением стало создание бесплатного VPC Gateway Endpoint для S3, который обеспечивает прямой доступ к сервису без прохождения через NAT Gateway.

Эта ошибка подчеркивает скрытую сложность AWS-сетей и важность мониторинга расходов. Автор рекомендует включить AWS Cost Anomaly Detection для раннего обнаружения аномалий, что помогло ему избежать еще больших трат.

• AWS и другие облачные провайдеры не предоставляют механизмов жёсткого ограничения расходов, что приводит к «потерянным» счетам в тысячи долларов, и это рассматривается как «бизнес-модель».
• Сервисы вроде NAT Gateway и S3 VPC endpoints не только дорогие, но и неочевидны для новичков, что приводит к неожиданным счетам.
• AWS и другие облачные провайдеры не предоставляют прозрачных и понятных ценовых моделей, что делает невозможным для пользователей предвидеть и контролировать свои расходы.
• Пользователи, особенно стартапы и индивидуальные разработчики, не могут позволить себе такие счета, что делает их уязвимыми к таким ситуациям.
• Вместо того, чтобы предоставлять инструменты для контроля расходов, AWS и другие провайдеры полагаются на то, что пользователи будут внимательны и не сделают ошибок, что не является реалистичным ожиданием.

Anthropic сообщила о первом задокументированном случае крупномасштабного кибершпионажа, полностью организованного с помощью ИИ. В сентябре 2025 года китайская государственная группа использовала инструмент Claude Code для попыток проникновения примерно в 30 глобальных целей, включая крупные технологические компании, финансовые учреждения и правительственные агентства. Атака стала возможной благодаря трем ключевым компонентам ИИ: интеллекту (способности следовать сложным инструкциям), агентности (автономным действиям) и инструментам (доступу к специализированному ПО). Злоумышленникам удалось обойти защитные механизмы ИИ, разбив атаку на мелкие, невинно выглядящие задачи и представив себя как сотрудники легитимной кибербезопасности.

Эта кампания знаменует поворотный момент в кибербезопасности, демонстрирующий, как ИИ может выполнять сложные кибератаки с минимальным человеческим участием. Anthropic удалось обнаружить атаку и принять меры в течение 10 дней, но эксперты предупреждают, что подобные атаки станут еще более эффективными в будущем. Компания расширяет возможности обнаружения угроз и делится информацией для укрепления коллективной обороны против растущей опасности автономных ИИ-агентов в руках злоумышленников.

• Подозрения в маркетинговом характере заявления Anthropic, которое преподносит инцидент как демонстрацию возможностей ИИ в кибербезопасности.
• Техническая суть атаки: автономные агенты Claude Code эксплуатировали публичные уязвимости (GitHub, API, S3) для целевых атак на ~30 организаций.
• Критика недостаточных защит ИИ: возможность "джейлбрейка", отсутствие эффективных механизмов предотвращения злоупотреблений и ответственности разработчиков.
• Риски дублирующего применения: опасения, что подобные инструменты могут как усиливать атаки, так и становиться основой для новых продуктов защиты.
• Вопросы этики и безопасности: сомнения в прозрачности расследования, риски для пользователей и необходимость регулирования в условиях опережающего развития технологий.

Инженеры Nanit сэкономили $500,000 в год, создав собственную систему хранения N3 на Rust вместо использования AWS S3 для обработки видео. При тысячах загрузок в секунду, плата за запросы PutObject в S3 становилась основной статьей расходов, а минимальный период хранения в 24 часа правил out стоимость обработки, занимавшей всего 2 секунды.

N3 работает как in-memory landing zone, используя S3 только как буфер перегрузки. В исходной архитектуре камеры загружали видео чанками напрямую в S3 через presigned URL, после чего Lambda отправлял ключи в SQS FIFO очередь для обработки. Подход сохранил надёжность и строгую последовательность данных, но исключил плату за запросы на основном пути и сократил затраты на хранение.

• Стоимость S3 для короткоживущих файлов оказалась настолько высокой, что компания вместо него реализовала собственное in-memory хранилище, что позволило сэкономить $500k, но оставляет вопрос о том, что будет, если этот кэш упадёт.
• Обсуждение вылилось в критику концепции "serverless" архитектуры, где-то между линиями прочиталось, что сама архитектура была проблемой, а не решением.
• Участники обсуждения также подняли вопросы о приватности: камера в детской комнате передаёт аудио/видео в облако без шифрования, и кто-то может прослушивать ваш дом.
• Несколько комментаторов отметили, что вместо того, чтобы писать собственные сервисы, компании могли бы использовать существующие open-source решения, такие как MinIO или SeaweedFS, но при этом они также отметили, что даже эти решения не предоставляют той же степени удобства, что и делает S3.

В предоставленном тексте отсутствует содержимое самого issue #21647 "Docker release?" в репозитории minio/minio. Видна только навигационная структура GitHub без основного текста обсуждения. Для создания точного пересказа необходимо содержимое самого issue, включая описание проблемы, комментарии и любые детали, связанные с выпуском Docker-образа MinIO.

• MinIO прекращает публикацию готовых Docker-образов, что вызвало волну обсуждений о «rug pull» и ожиданиях от OSS-проектов.
• Участники обсуждают, что компания имеет право прекратить предоставлять бесплатные образы, но отсутствие предупреждения и альтернативы вызывает раздражение.
• Появились альтернативы в виде Garage и SeaweedFS, но у них есть свои ограничения.
• Некоторые участники подчеркивают, что OSS-проекты не обязаны предоставлять бинарники, но при этом они также напоминают, что и сообщество не обязано использовать именно этот проект, если он становится менее удобным.

Автор успешно развернул самодельный S3-совместимый сервер на 10 ТБ, используя б/у Framework-ноутбук без экрана и внешний JBOD-массив дисков. В качестве ПО выбраны ZFS для файловой системы и Garage S3 для объектного хранилища. Система стабильно работала автономно несколько месяцев, накопив 10 ТБ данных, а после перезагрузки и обновления Garage с v1 до v2 продолжила работу без сбоев.

Изначально возникали проблемы из-за хранения метаданных SQLite на JBOD, подключённом по USB, что вызывало ошибки ZFS при высокой нагрузке. Решением стало перенос метаданных на внутренний накопитель ноутбука. Проект демонстрирует, что даже нестандартные конфигурации могут быть надёжными при грамотной настройке.

• Обсуждаются альтернативы для создания домашнего NAS: использование старого ноутбука Framework в корпусе Cooler Master, Raspberry Pi с LVM2, Dell T30 с ZFS или готовые решения вроде Ubiquti.
• Сравниваются S3-совместимые объектные хранилища: Minio (критика из-за урезания бесплатной версии), Garage (простота настройки), Ceph (сложность, но гибкость) и SeaweedFS (меньше ручной конфигурации).
• Поднимаются вопросы о конфигурации ZFS (использование RAIDZ1, зеркал, отправка снапшотов) и её пригодности для USB-подключений, а также альтернативах вроде btrfs.
• Обсуждаются сценарии использования самодельного S3: бэкапы (включая гибридные сценарии с AWS Glacier), хранение логов, APK и медиатеки.
• Высказываются опасения по поводу надежности JBOD over USB, рисков потери данных при случайном отключении и отсутствия избыточности для метаданных.

Выпуск Litestream v0.5.0 знаменует переход от простого резервного копирования к эффективному восстановлению на определённый момент времени (PITR). Ключевое нововведение — формат LTX, позаимствованный из проекта LiteFS. Вместо потоковой передачи отдельных страниц базы данных Litestream теперь группирует изменения в рамках транзакций, что значительно ускоряет восстановление после сбоя.

Формат LTX решает проблему "горячих страниц" — например, при частых вставках в таблицу с автоинкрементным ключом, когда изменения концентрируются на ограниченном числе страниц. Раньше Litestream обрабатывал каждую страницу отдельно, что замедляло процесс. Теперь транзакции записываются целиком, сокращая количество операций ввода-вывода и ускоряя восстановление. Это делает SQLite ещё более надёжным решением для полноценных приложений.

• Пользователи обсуждают сложности развертывания SQLite-приложений на Fly.io, включая проблемы с инициализацией и миграцией баз данных.
• Litestream получает положительные отзывы за простоту использования, низкую стоимость репликации в S3 и надежность как инструмента для резервного копирования и репликации.
• Обсуждаются технические детали Litestream: поддержка S3-совместимых хранилищ, условные записи для реализации временных lease и планы по реализации read-replicas через VFS.
• Участники сравнивают Litestream с другими решениями (LiteFS, rsync, управляемые БД), отмечая его операционную простоту и отсутствие необходимости в отдельном сервере.
• Поднимаются вопросы о практическом применении SQLite и Litestream: восстановление после сбоев, работа с нестабильным интернетом, целесообразность использования против PostgreSQL/MySQL для разных сценариев.

AWS S3 достигает экстремальной производительности в 1 петабайт в секунду и 150 миллионов запросов в секунду, несмотря на использование медленных жёстких дисков (HDD). Ключ к масштабированию — дешёвая экономика HDD: их цена за байт упала в 6 миллиардов раз с поправкой на инфляцию, а ёмкость выросла в 7,2 миллиона раз. Однако физические ограничения — механическое движение считывающих головок и скорость вращения пластин (~7200 оборотов в минуту — держат IOPS на уровне всего ~120 на диск уже 30 лет.

Система компенсирует это массовым параллелизмом: десятки миллионов дисков работают вместе, распределяя нагрузку. S3 использует многопользовательскую архитектуру, обеспечивая высокую доступность и долговечность данных при низкой стоимости. Это инженерное чудо, превращающее медленные, но дёшевые компоненты в мощнейший бэкбон современного интернета.

• Обсуждается архитектура AWS S3, включая использование HDD для хранения данных и SSD для метаданных и кеширования, а также применение эратур-кодирования и шардинга для повышения надежности и производительности.
• Поднимается вопрос о том, как S3 достигает высокой пропускной способности благодаря массовому параллелизму миллионов дисков, что позволяет превысить производительность отдельного HDD.
• Участники обсуждают возможные альтернативы S3 для развертывания в homelab или частных облаках, такие как Ceph, MinIO, SeaweedFS, Garage и Gluster, отмечая их особенности и требования к железу.
• Затрагивается экономический аспект: несмотря на падение цен на HDD, стоимость S3 остается стабильной годами, что связывают с недостатком конкуренции и высокой рентабельностью для AWS.
• В комментариях уточняются технические детали, например, расчет среднего времени поиска на диске и использование различных схем шардинга, отличных от упомянутых в исходной статье.

Сборник коротких серверлес-кошмаров

• $1189 – Webflow снял за месяц вместо $69.
• $100 000 – DoS на игровом сайте → счёт за Firebase за сутки.
• $738 – Vercel Pro + лимит $120 ≠ защита от «сюрприза».
• $70 000 – Проснулся с таким счётом за Firebase при тарифе $50.
• $22 640 – BigQuery на публичных данных.
• $250/мес – 9 тыс. просмотров в Framer.
• $1274 – AI Devin случайно устроил ддос в PostHog.
• $530 – Платный PostHog после нулевого периода.
• $384 – Документация на Mintlify.
• $103 – AWS Free Tier ловушка.
• $96 281 – Vercel: «я просто молчу».
• $120 000 – Cloudflare выключает сайт, требуя деньги за сутки.
• $1301 – Пустой приватный S3 + ддос.
• $11 000 – Mailgun во время атаки.
• $104 500 – Письмо от Netlify «переплата».
• $23 000 – Спам-атака на EchoFox в Vercel.
• $3000 – Тестовый деплой в Vercel.
• $620 – Sitemap.txt сожрал трафик.
• $72 000 – Тест Firebase + Cloud Run чуть не разорил.

Хочешь поделиться своим счётом-ужасом — пиши в твиттере или PR на GitHub.

• Пользователи делятся историями о «серверлес-ужасах» — внезапных счетах за десятки и сотни тысяч долларов из-за DDoS, ошибок в конфигурации или забытого ресурса.
• Критика сосредоточена не на технологии serverless, а на модели оплаты «плати за использование» без жёстких потолков: бюджет — лишь уведомление, а не отключение.
• Многие считают, что провайдеры могли бы автоматически отключать сервис при превышении лимита, но не делают этого, теряя деньги на «ошибках» новичков.
• Участники советуют: ставить rate-limit, использовать VPS с фиксированной ценой, поднимать bare-metal или хотя бы включать billing-alerts и «пауz-лимиты» вроде Vercel.
• Поддержка AWS/GCP/Azure часто прощает счета после публичных твитов, но это выживший эффект: официальной политики нет, и никто не гарантирует прощение.

• EC2

  • Менять IAM-роли и security-groups можно без остановки инстанса.
  • EBS можно расширять, подключать и отключать «на горячую».
  • Принудительный stop/terminate без ожидания таймаута.
  • Live-migration между хостами почти убрала деградацию инстансов.
  • Надёжность выросла: «исчезновение» инстансов стало редкостью.
  • Spot-рынок стал стабильнее, без аукционов.
  • Dedicated Instances почти не нужны — даже для HIPAA.
  • AMI Block Public Access включён по умолчанию.

• S3

  • Стал строго согласованным (read-after-write).
  • Не нужно рандомить префиксы ключей для равномерного распределения.
  • ACL устарели и отключены по умолчанию.
  • Block Public Access включён на новых бакетах.
  • Шифрование покоя включено по умолчанию.

• AWS теперь по умолчанию блокирует публичный доступ к новым S3-бакетам; это снижает утечки, но усложняет легитимное открытие доступа.
• Пользователи обсуждают, что многие «улучшения» AWS — это просто исправление первоначально неудобных решений, и это влияет на репутацию.
• По-прежнему спорны детали: нужно ли случайное префиксирование ключей S3, почему NAT Gateway взимается за трафик внутри одного региона и почему Transit Gateway дороже peering.
• Некоторые разработчели «деградируют» от сложных serverless-стеков к простым EC2 + S3 + Route 53 ради простоты и экономии времени на IAM.
• Участники просят ежегодные сводки изменений и жалуются на ослабление платной поддержки AWS.

Большие файлы — давний враг Git: раздувают репозиторий, замедляют клонирование и дорого обходятся хостингам. С 2015 г. GitHub предлагает Git LFS, но он влечёт vendor-lock, плату за хранение, сложности отката и необходимость ставить расширение всем участникам.

Сегодня можно обойтись без LFS:

• Partial clone (--filter=blob:limit=100k) скачивает только нужные большие файлы, ускоряя клонирование в 30–50 раз и уменьшая дисковый след до размеров LFS-чекаутов.
• Недостаток: команды вроде git blame требуют до-загрузки, но для PNG-файлов это редко нужно.

Будущее — large object promisors:
Git-сервер будет прозрачно выгружать большие объекты в специальный remote, избавляя пользователей от LFS и хостинги — от лишних затрат.

• Критикуют Git LFS за «проприетарность», но многие отмечают, что протокол открыт и работает и с GitLab, и с S3.
• Основные боли: сломанные офлайн-режимы, многократная аутентификация, высокие расходы на трафик и неочевидные команды при клоне.
• Альтернативы — git-annex, DVC, Oxen, datamon и просто «не класть большие файлы в git», а хранить их в Artifactory.
• Часть участников ждёт нативную поддержку больших файлов в самом Git, чтобы не помнить про --filter=blob:none и LFS-указатели.

• Edka Digital — упростите Kubernetes и выкатывайте всё, что нужно, за 2 минуты.
• Сэкономьте до 70 % на облаке: кластеры k3s в вашем аккаунте Hetzner без потери контроля.
• Первый кластер бесплатно — попробовать.

---

Ваш собственный платформенный слой

• Мгновенное развёртывание — production-ready кластер за минуты.
• GitOps — CI/CD из GitHub/GitLab, превью на PR.
• Дополнения в один клик — БД, ingress, мониторинг.
• Мониторинг и аналитика в реальном времени.
• Резервные копии (скоро) — S3 одним кликом.
• Открытые стандарты CNCF — без вендор-лока.

---

Цены

• Оплата по прайсу Hetzner + фикс. подписка за кластер.
• Уходите в любой момент — ресурсы остаются вашими.

---

Кейсы

• Aicole — 64 % экономии, 20 деплойментов в день.
• TROI Ticketing — 72 % экономии, 6 k DAU.

---

Готовые приложения и адд-оны

Cert Manager, CloudNative PG, Keel и другие — смотреть все.

• Проект Edka взлетел на HN, но столкнулся с rate-limit от GitHub и частичным аутейджем Hetzner, из-за чего новые кластеры зависали в статусе «creating».
• Пользователи сравнивают Edka с kops, kube-hetzner/terraform, Syself и Linode, спрашивают про bare-metal, root-серверы, масштабирование, безопасность, обновления, сторедж, GitLab-реестр и другие провайдеры.
• Недоверие вызывает отсутствие импринта, юр. данных и реального адреса компании (упоминается «Edka Digital S.L.»).
• Некоторые просто ставят microk8s/Proxmox на bare-metal Hetzner и считают это надёжнее.
• Автор обещает улучшать платформу и благодарит за интерес к сайд-проекту.