Hacker News Digest

DuckLabs, команда разработчиков DuckDB, DuckLake и Quack, присоединяется к AWS, сохраняя при этом открытый характер своих проектов. Команда останется в Амстердаме и продолжит работу над технологиями, которые уже достигли более миллиона ежедневных загрузок и стали фундаментом для аналитики, образования и промышленных систем по всему миру. Основная мотивация перехода — преодоление ограничений текущей модели: небольшая команда больше не могла масштабировать поддержку и инфраструктуру в соответствии с растущим спросом, рискуя стать узким местом для проекта и его сообщества.

Сотрудничество с AWS уже велось более года, включая интеграцию с Amazon S3 Tables, и показало синергетический потенциал: техническая экспертиза DuckLabs сочетается с инфраструктурой, охватом и ресурсами AWS для вывода Duck Stack на новый уровень. Критически важно, что все открытые компоненты — DuckDB, DuckLake, Quack — останутся свободно доступными под лицензией MIT, а их stewardship продолжит некоммерческая DuckDB Foundation. Основатели подчеркивают, что успех проекта принадлежит глобальному сообществу, и видят в этом шаге возможность расширить влияние DuckDB, не жертвуя его открытостью и технической целостностью.

Тред в целом принимает переход DuckLabs в AWS, но скептичен к AWS как долгосрочному хранителю OSS после реорганизаций и ухудшающейся внутренней культуры, на фоне которой сложно удержать талант. Ключевая поправка: IP DuckDB остаётся у некоммерческой DuckDB Foundation, а DuckLabs станет дочерней компанией AWS — AWS купил команду и сервисный бизнес, а не код. Спор о пригодности AWS как дома для DuckDB: часть участников (@hobofan, @akshay_akula, @cmgs8) считает, что AWS «закапывает» технически интересные проекты при реорганизациях; другие (@georgewfraser, @hckshr) возражают — AWS технологически нейтрален, а сервисное подразделение подходит для коммерческой поддержки DuckLabs. Сами авторы опасались масштабировать коммерческую часть, чтобы не отвлекаться от OSS, поэтому покупка именно сервисного бизнеса выглядит логично. Ожидаются managed-интеграции с S3/Athena и конкуренция со Snowflake/Databricks; @karakanb видит шанс на более лёгкую альтернативу Athena через DuckDB поверх данных в S3. Сравнение с Redshift (ParAccel) и Athena (форк Trino/Presto) указывает на стратегию отвоёвывания доли у Snowflake и Databricks в эпоху AI. Допускается, что сделка могла быть упреждающей — AWS готовил managed-клон DuckDB, и команда предпочла продаться (@fidotron). Практический контекст: DuckDB широко используется как parquet-просмотрщик и для локальной разработки (@ferguess_k), а DuckDB и DuckLake уже применяются как расширяемый фреймворк для исследовательских пайплайнов (@willbeddow, Krea). Отмечены болезни процесса контрибуции — CI на простой bugfix может занимать ~5 часов (@adsharma), что объясняет интерес к source distributions вроде Haybarn. Как «fork-ready» альтернативы обсуждаются Apache DataFusion (библиотека с Rust/Python/Java-биндингами, по опыту @tormeh лучше интегрируется в Rust-приложения, чем DuckDB) и гео-фокусный SedonaDB под Apache 2.0 (@adeptima). Опасения по «Big Tech ломает OSS» (@pepperoni_pizza, @dtnm, @log101): переписывание на Rust с AI-агентами, дрейф фокуса команды на AWS-продукты (@ganeshsivakumar), потеря OSS-импульса и развитие DuckDB как куска product suite против Databricks, а не как независимого проекта. Многие (@sakesun, @cmgs8, @srameshc) уважают лидеров проекта лично, но тревожатся за будущее из-за бренда AWS и сигналов ухода топ-таланта, замеченных в LinkedIn (@cmgs8).

DuckDB v2.0, codenamed «Cyanoptera», выходит этим осенью и представляет набор кардинальных изменений: серверный режим через расширение quack и оператор CONNECT, новый SQL‑парсер, переработанную СУБД‑структуру, асинхронный ввод‑вывод и тип VARIANT. Серверный режим позволяет любой процессу DuckDB обслуживать базы данных по сети, а клиентские запросы можно отправлять напрямую на удалённый PostgreSQL или MySQL без копирования данных. Кроме того, в v2.0 введены триггеры, более строгая типизация и поддержка транзакций в многопользовательском режиме, что делает DuckDB конкурентоспособным для аналитических и даже транзакционных нагрузок.

Ключевые нововведения: серверный режим (quack + CONNECT), новый тип VARIANT для гибкого хранения схем, асинхронный I/O ускоряющий запросы, новая хранилище‑формат с улучшенной компрессией, а также новый C‑API и небольшие, но важные ломающие изменения (переход на lambda‑синтаксис). В статье также упоминается создание DuckDB Foundation Advisory Board, который будет влиять на дальнейшее развитие проекта. Эти изменения формируют фундамент для «года DuckDB как сервера» и открывают путь к масштабным распределённым решениям.

DuckDB v2.0 трансформируется из локального аналитического процессора в основу облачной аналитической инфраструктуры, что подтверждено использованием в продакшене: многотенантные системы с данными 5–150 ГБ на тенанта, обработка миллионов Parquet-файлов, замена серверных решений. Он превосходит PostgreSQL и MariaDB в OLAP-задачах благодаря колоночному хранению и встроенному процессу, но уступает в многопользовательской конкурентности без Quack. Поддерживает обработку данных, превышающих ОЗУ, на потребительском оборудовании, снижая требования к инфраструктуре. Асинхронный ввод-вывод в v2.0 критически важен для масштабной работы с Parquet и обеспечивает значительный прирост производительности. WASM-сборка весит ~10 МБ, пригодна для браузера; расширения не увеличивают размер бинарников существенно. Заменяет сложные ETL-пайплайны, позволяя объединять запросы к CSV, Parquet и базам данных в одном SQL-интерфейсе. Стандартная практика — анализ лог-файлов (например, Nginx access.log) на диске. Рекомендации: - Использовать Arc для ускорения сканирования через pruning при работе с Parquet. - Для расширений применять официальный шаблон extension-template. - Ручная настройка memory_limit необходима для предотвращения убийства OOM-killerом. - При аналитике в браузере кастомизировать Emscripten-сборку — она оптимизирована, но требует настройки. - Документировать новый PEG-парсер — его детали критичны для совместимости. Quack (серверный режим) и CONNECT к PostgreSQL делают DuckDB гибридным инструментом, интегрируемым с OLTP-системами. Споры: - Некоторые считают DuckDB неподходящим для распределённой обработки против AWS Athena с Trino, но Quack и DuckLake меняют эту динамику. - Одни выражают разочарование, что DuckDB не переписан на Zig, другие не видят в этом проблемы.

В США создана крупнейшая в мире база данных по коммерческим солнечным фермам. Она содержит 15 тысяч массивов и 2,9 миллиона панелей, покрывающих 2,3 тысячи квадратных километров.

Данные доступны в формате GeoPackage и могут быть загружены в GIS-системы вроде QGIS. В них содержатся метаданные о местонахождении каждого объекта, его форме, площади и других атрибутах.

Для работы с датасетом автор использовал DuckDB, что позволило эффективно обрабатывать данные и конвертировать их в столбцовый формат Parquet. Исходные 108 мегабайт в GPKG сжались до 37 мегабайт.

Данные охватывают 48 штатов и округ Колумбия. Они включают как крупные коммерческие проекты, так и небольшие локальные установки.

База данных будет полезна для исследований в области энергетики, экологии и урбанистики.

• Обсуждение показало, что солнечные фермы вызывают споры из-за влияния на ландшафт, шумов и визуального восприятия, но при этом они критикуются и за то, что не создают рабочих мест и не используют местные ресурсы.
• Участники обсуждения отмечают, что вопросы, связанные с солнечными фермами, часто политизированы и что это влияет на их размещение и финансирование.
• Также было отмечено, что в некоторых штатах солнечные фермы создают значительное количество энергии, но при этом они не создают много рабочих мест и не используют местные ресурсы.

Base — компактный и мощный редактор SQLite для macOS.

Скачать бесплатно | Купить

Возможности

• Инспектор схем
  Быстро просматривайте структуру таблиц, типы столбцов и связи без SQL.

• Визуальный редактор таблиц
  Создавайте и изменяйте таблицы мышью, без CREATE/ALTER.

• Браузер данных
  Просматривайте, фильтруйте и правьте записи прямо в таблице.

• SQL-редактор
  Пишите запросы с подсветкой синтаксиса, автодополнением и сохранением сниппетов.

• Импорт/Экспорт
  Загружайте CSV и SQL-дампы; выгружайте в CSV, SQL, JSON и Excel.

Системные требования

macOS 15 Sequoia и выше.
Бесплатная версия ограничена; полная — единоразовая покупка.

Документация | Контакты

• Пользователи удивлены, что Base существует уже 15 лет, но плохо заметен в поиске.
• Хвалят «ремесленный» подход: маленькая команда, узкая задача, высокое качество.
• Часто сравнивают с TablePlus, Postico и sqlitebrowser, отмечая превосходство в «родном» macOS-UX.
• Просят добавить DuckDB, UUID, автозагрузку расширений, FK по умолчанию и диаграммы схемы.
• Покупатели благодарны за возможность покупки вне Mac App Store и за льготную цену.