Hacker News Digest

11 августа 2026 г. в 19:49 • ngrok.com • ⭐ 599 • 💬 247

OriginalHN

#arithmetic-coding#compression#entropy#llm#ngrok#prediction

Compression is prediction

Сжатие данных — это предсказание.
Алгоритмы сжатия достигают предела энтропии, используя предсказание следующего символа на основе контекста. Современные LLM оптимизируют кросс‑энтропию, что делает их одновременно мощными предсказателями и потенциальными сжатылями.

Ключевой факт: энтропийный код (например, arithmetic coding) уже почти достигает теоретического предела, но улучшать его можно только через более точные предикторы. LLM позволяют снизить количество битов на символ, однако их размер и вычислительная нагрузка делают такой подход экономически невыгодным для большинства задач.

Запомните: сжатие и предсказание — две стороны одной математической медали.