Hacker News Digest

23 сентября 2026 г. в 09:21 • jyn.dev • ⭐ 194 • 💬 160

Original • HN

#anthropic#cost#gpu#llm#openai#quantization

Tokens too cheap to meter

Цена использования машинного обучения падает на несколько порядков в год, и этот тренд не замедляется. В ближайшие год-два большие языковые модели (LLM) станут частью вычислительной инфраструктуры, а не отдельным продуктом, а через 3–6 лет модели frontier-качества будут запускаться локально на обычном оборудовании. Главным ограничивающим фактором станет не количество токенов, а их качество и доступность.

Эффективность GPU растёт экспоненциально: энергоэффективность удваивается примерно каждые два года, что сравнимо с законом Мура 1960-х. Стоимость выполнения задачи снижается благодаря улучшению моделей: несмотря на стабильную цену за токен у frontier-моделей, меньшие модели требуют больше токенов для той же задачи из-за необходимости «думать дольше» или исправлять ошибки. Pareto-фронтир стоимости и качества показывает, что дешёвые модели (например, GPT-5.6 Luna) всё ближе к производительности дорогих (Claude Fable-5.1), делая интеллект всё доступнее. Квантизация моделей до 4–8 бит позволяет запускать их локально с минимальной потерей качества. В результате доступность и качество выходят на первый план как ограничивающие факторы использования ИИ.