Can gzip be a language model?
gzip может работать как простая языковая модель, используя принцип эквивалентности сжатия и предсказания: то, что хорошо сжимается, считается предсказуемым. DEFLATE, лежащий в основе gzip, ищет повторяющиеся последовательности в скользящем окне 32 KiB и кодирует их как короткие ссылки вместо literal-байтов. Чем больше продолжение текста совпадает с ужеseen данными, тем меньше оно сжимается — это и служит мерой его «вероятности». Для генерации текста автор создал утилиту gzipt, которая использует beam search: на каждом шаге рассматривает множество возможных продолжений, оценивает их по длине сжатия контекста + кандидата и сохраняет только лучшие варианты. Чтобы избежать зацикливания на недавнем выводе, в контекст учитывается только последний tail байт сгенерированного текста, а не вся история. Корпус (например, tiny Shakespeare) загружается в окно gzip перед началом, чтобы модель «знала» стилистические и лексические паттерны. Хотя вывод не идеален и содержит артефакты, он демонстрирует явное знание структуры исходного текста — gzip воспроизводит типичные фразы, имена и даже псевдо-диалоги, что удивительно для алгоритма без обучения или параметров. Это подтверждает теоретическую связь между сжатием и моделированием языка: даже простой компрессор может имплицитно捕捉 статистические закономерности в данных. Код открыт и написан на чистой Python с использованием zlib.