Hacker News Digest

Китайские лаборатории, вместо того чтобы скрывать свои достижения, активно делятся оптимизациями, которые резко снижают стоимость работы больших языковых моделей. Их прорыв в сжатии KV-кэша — ключевого компонента для обработки длинных контекстов — позволил уменьшить потребление памяти с 389,12 ГБ до всего 890 МБ на миллион токенов, то есть почти в 437 раз. Это достигнуто благодаря комбинации MLA-архитектуры, сжатого разреженного внимания, повторного использования кэша между слоями и FP4-кэширования. Такая эффективность напрямую влияет на стоимость инференса: например, цена чтения кэша у Anthropic Opus 5.5 снизилась на 60%, а у OpenAI GPT-6.1 Sol — на 80% по сравнению с предыдущими версиями. Несмотря на обвинения в «дистилляции» и краже технологий, западные компании теперь тихо внедряют эти китайские оптимизации в свои модели — Claude Opus 5.5 и GPT-6.1 Sol — без шумных анонсов, но с явным улучшением эффективности и пользовательских отзывов. Парадоксально, но именно ограничения на доступ к передовым GPU в Китае стали катализатором таких инноваций, которые теперь выгодны всей индустрии. Китайские лаборатории, по-видимому, сознательно отказываются от монополии на свои методы, возможно, чтобы ускорить общее развитие поля или сформировать новые стандарты, от которых в итоге выигрывают все — даже те, кто их критиковал.