Qwen 3.8 27B available on Cerebras at 1500 tokens/s

Cerebras публикует открытые модели в своих публичных эндпоинтах, доступных на бесплатном пробном и pay-as-you-go тарифах с ограничениями по скорости и цене. Сейчас доступны две модели: GPT OSS 120B с 120 млрд параметров, контекстом 65k/131k токенов (бесплатно/платно) и скоростью ~3000 токенов/с, а также Qwen 3.8 27B с 27 млрд параметров, контекстом 64k/128k токенов и скоростью ~1500 токенов/с. Все модели на публичных эндпоинтах являются оригинальными, непруненными версиями — Cerebras не изменяет архитектуру моделей без предупреждения и не предлагает пруненные варианты в shared API. Для хранения используется селективное weight-only квантование (16/8/4 бит), при этом критичные слои хранятся в полной точности с онлайн-деквантизацией, чтобы вычисления выполнялись в высокой точности. Активации, внимание и KV-кэш остаются полной точности и не квантуются. Пруненные модели, такие как те, что получены через REAP-технику, доступны только для исследований на Hugging Face в коллекции Cerebras REAP и не служат производственными эндпоинтами. Cerebras подчеркивает прозрачность: любые будущие сжатые версии будут выделены как отдельные эндпоинты с явным命名ованием, чтобы пользователи могли осознанно выбирать между оригинальными и модифицированными моделями. Это позволяет сохранить доверие и контроль над тем, какая версия модели используется в продакшене.

Комментарии (191)

Cerebras не подходит для агентных задач: несмотря на высокую скорость генерации (до 1500 токенов/с), отсутствует кэширование промптов, что делает его дороже OpenRouter при повторных запросах, даже при более низкой цене за выходные токены ($1.5/M против $2.55/M). Лимиты в минуту (например, 450k TPM для Qwen 3.8 27B исчерпываются за 90 секунд) и учёт кэшированных токенов в лимите приводят к неожиданным расходам. Ограничение контекста в 128k токенов делает модель непригодной для анализа больших кодовых баз (например, Guice library требует 250k). Локальная инференция на RTX 5090/6000 (200–600 токенов/с) экономичнее и стабильнее для агентов, но некоторые пользователи сталкиваются с зацикливанием и потерей контекста у Qwen 3.8 27B. Cerebras удалил Gemma-4 31B с платного тарифа, несмотря на его лучшее понимание намерений, что указывает на фокус только на генерацию кода. Частые ошибки инструментальных вызовов увеличивают затраты, особенно по сравнению с DeepSeek-V4-Flash. Доступ к платформе затруднён: проблемы с регистрацией (redirect loop, блокировка email), отсутствие поддержки вне Discord, ошибки вида «model not found» вместо реальных причин (например, billing restrictions), и невозможность добавить оплату — аккаунты попадают в «limbo». Cerebras не предоставляет доступ к своим моделям через OpenRouter, несмотря на наличие других моделей там, что снижает прозрачность. Для индивидуальных разработчиков без командной поддержки платформа непригодна из-за ограничений на TPM и блокировки доступа к биллингу. В итоге, высокая скорость не компенсирует нехватку кэширования, лимиты и высокую стоимость — Cerebras эффективен только для разовых запросов.