Hacker News Digest

F3 — открытый формат файлов данных, созданный для следующего поколения аналитики и машинного обучения. Он сочетает простоту CSV, сжатие и колоннарную эффективность Parquet и гибкость JSON, при этом сохраняет полную обратную совместимость с существующими инструментами. Формат построен на основе Apache Arrow, поддерживает схему, которую можно менять без потери данных, и хранит встроенные метаданные, позволяющие автоматически определять типы полей и вложенные структуры. Встроенный контроль целостности гарантирует отсутствие повреждений при передаче, а поддержка нескольких кодек сжатия (ZSTD, LZ4) позволяет подбирать оптимальный баланс скорости и размера.

По результатам публичных бенчмарков F3 ускоряет чтение в среднем в 2,3 раза и уменьшает размер файлов на 28 % по сравнению с Parquet, при этом энергопотребление при обработке 10 ТБ данных падает на 35 %. В пилотных проектах участвуют компании‑участники SIGMOD 2026: облачный провайдер, биотехнологическая лаборатория и крупный ритейлер, которые уже перенесли свои пайплайны на F3 и планируют открыть репозиторий с открытым исходным кодом в первом квартале 2026 года. Проект доступен под лицензией Apache 2.0 на GitHub, где сообщество может вносить улучшения и отслеживать дорожную карту.

• Обсуждается новый открытый формат F3, использующий самодокументируемые данные и встроенные WebAssembly‑декодеры.
• Критики указывают на неясный README, отсутствие примеров и недостаточную выгоду перед Parquet.
• Сомнения вызывают долгосрочную поддержку WASM‑декодеров и необходимость их наличия в будущем.
• Проект сравнивают с Parquet и другими форматами, но многие считают его «слабым» без реального решения конкретных проблем.

OpenZL — это новый фреймворк для сжатия структурированных данных с открытым исходным кодом, разработанный Meta. Он обеспечивает сжатие без потерь, достигая производительности специализированных компрессоров, но при этом использует единый универсальный декомпрессор. Ключевая идея в том, что данные имеют предсказуемую структуру — колоночную, перечисления, повторяющиеся поля — и OpenZL явно использует это знание, применяя конфигурируемую последовательность преобразований для выявления скрытых закономерностей.

Фреймворк устраняет компромисс между эффективностью формато-специфичных решений и простотой поддержки общего инструмента. В отличие от универсальных методов, которые тратят ресурсы на угадывание структуры, OpenZL заранее знает тип данных и фокусируется только на релевантных трансформациях. Это позволяет экономить вычислительные циклы и улучшать соотношение скорости к степени сжатия. Практический вывод: один бинарный инструмент может заменить множество кастомных компрессоров без потери производительности.

• OpenZL использует SDDL для описания структуры данных, что позволяет применять специализированные методы сжатия, значительно улучшая компрессию по сравнению с общими алгоритмами (zstd, xz).
• Инструмент эффективен для структурированных и колоночных форматов (Parquet, CSV), но требует описания формата данных через SDDL, C++ или Python код.
• Поддерживает сжатие без потерь, гарантирует точное восстановление данных, планирует добавление потоковой обработки и работы с чанками.
• Вызывает интерес для сжатия геномных данных, JSON (после преобразования), логов и других структурных форматов, но не оптимален для случайных текстовых файлов.
• Реализация включает открытый код (BSD-3-Clause), документацию и white paper; активно развивается, включая будущую поддержку языковых привязок (Python, .NET).

Base — компактный и мощный редактор SQLite для macOS.

Скачать бесплатно | Купить

Возможности

• Инспектор схем
  Быстро просматривайте структуру таблиц, типы столбцов и связи без SQL.

• Визуальный редактор таблиц
  Создавайте и изменяйте таблицы мышью, без CREATE/ALTER.

• Браузер данных
  Просматривайте, фильтруйте и правьте записи прямо в таблице.

• SQL-редактор
  Пишите запросы с подсветкой синтаксиса, автодополнением и сохранением сниппетов.

• Импорт/Экспорт
  Загружайте CSV и SQL-дампы; выгружайте в CSV, SQL, JSON и Excel.

Системные требования

macOS 15 Sequoia и выше.
Бесплатная версия ограничена; полная — единоразовая покупка.

Документация | Контакты

• Пользователи удивлены, что Base существует уже 15 лет, но плохо заметен в поиске.
• Хвалят «ремесленный» подход: маленькая команда, узкая задача, высокое качество.
• Часто сравнивают с TablePlus, Postico и sqlitebrowser, отмечая превосходство в «родном» macOS-UX.
• Просят добавить DuckDB, UUID, автозагрузку расширений, FK по умолчанию и диаграммы схемы.
• Покупатели благодарны за возможность покупки вне Mac App Store и за льготную цену.