One month coding with GLM 5.3 Flash 💬 Длинная дискуссия
Автор провёл месяц, пытаясь использовать только модель GLM 5.3 Flash в проектах с Wagtail CMS, но достиг лишь 50% целевого использования: первая половина месяца прошла успешно — модель работала в рамках бюджета ($68, 365 г CO₂, 4 кВт·ч), а во второй половине пришлось переключаться на другие модели из-за непредвиденных проблем. Основные трудности возникли из-за использования неподходящей модели в экспериментальном MCP-сервере («vibe coding»), что привело к расходу 450M токенов ($150, 5 кВт·ч) за короткое время, несмотря на рабочий прототип. Также повлияли ограничения инфраструктуры: популярные открытые модели, включая GLM 5.3 Flash, страдали от перегрузки провайдеров в европейских дата-центрах, что вынудило перейти на аналоги вроде DeepSeek V4.1 Flash и Qwen 3.8 Flash. Параллельно продолжались эксперименты с широким спектром моделей для бенчмаркинга задач в Wagtail, где DeepSeek V4.1 Flash показал 95% точности при 14.9 Вт·ч и $0.09 за задачу. Несмотря на неудачу в соблюдении режима одного месяца, автор извлёк уроки: необходимость постоянного мониторинга энергопотребления и затрат, бюджетирования на R&D, улучшения промптов и мультиагентных паттернов, а также фокуса на эффективных «flash»-уровневых моделях для повседневной работы — цель на октябрь — большинство инференса выполнять такими моделями, измеряя эффективность по энергии и стоимости, а не токенам. Приглашение на Wagtail Space 2026 в ноябре для обсуждения результатов.
Комментарии (180)
GLM 5.3 Flash эффективен для прототипирования и повседневных задач, но акцент смещается на реальные цифры энергопотребления, системные ограничения инфраструктуры и несоответствие медиа-нарративов практическим данным. Инференс GLM 5.3 Flash потребляет 4 кВт·ч/месяц — сопоставимо с часом работы теплового насоса или 8 часами игры на игровом ПК, что опровергает преувеличенные опасения по поводу энергозатрат ИИ-центров. Инференс требует мало вычислений и в основном зависит от IO, поэтому энергопотребление мало — основная нагрузка приходится на обучение, а не на использование моделей. Пользователи подтверждают, что GLM 5.3 Flash эффективен для повседневной разработки: справляется с мелкими исправлениями, работает как основной бот в агентных системах, его производительность близка к Opus 4.5. Реальное энергопотребление инференса на локальном GPU (5 кВт·ч/день для Qwen3.8 27B) выше, чем в облаке, что указывает на эффективность облачных инфраструктур за счёт параллелизма и оптимизации. Энергопотребление ИИ-центров — локальная проблема (нагрузка на инфраструктуру, охлаждение, шум), а не глобальная, поскольку доля от общего потребления электроэнергии мала. Стоимость инференса на GLM 5.3 Flash ($68/месяц) делает выбор модели вопросом бюджетирования, а не только качества — это новая реальность для разработчиков. Китай опережает США в энергоэффективности ИИ-инфраструктуры благодаря прямой конкуренции и более рациональному масштабированию, а не гипер-развитию энергозатратных центров. Спор: Некоторые считают панику по поводу ИИ-центров астрофёртом, созданным для отвлечения от реальных проблем (замена людей ИИ), сравнивая её с моральными паниками. Противоположная точка зрения: централизация ИИ-инфраструктуры скрывает локальные последствия — тепло, шум, нагрузка на электросети и водоснабжение, не учитываемые в глобальных цифрах. Совет: Для оценки эффективности моделей нужно смотреть не только на стоимость за токен, но и на время выполнения задачи — некоторые модели требуют в 2–3 раза больше токенов, что делает их дороже в реальном применении. Совет: GLM 5.3 Flash лучше использовать в паре с планировщиком (Astra Low) и ревьюером (Sol 6.1 Medium), чтобы компенсировать недостатки согласованности и надёжности. Совет: При использовании агентных пайплайнов важно учитывать кеширование — DeepSeek показывает лучшую эффективность кеширования (99.x%), снижая стоимость на длинных задачах в 2–3 раза по сравнению с другими провайдерами. Совет: Для разработчиков: не забывайте о полном жизненном цикле — производство чипов, охлаждение, простой оборудования — это тоже влияет на экологический след, а не только на текущее энергопотребление. Совет: Использование дешёвых моделей для прототипирования — разумно, но важно понимать, что такие решения не подходят для продакшена (например, для GPU-драйверов) — первый вариант всегда стоит выбрасывать. Инференс на GLM 5.3 Flash в облаке может быть дешевле, чем локальный запуск, из-за оптимизации ресурсов, но локальные установки дают больше контроля и независимости от провайдеров.
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases 🔥 Горячее 💬 Длинная дискуссия
Real-SWE — это новый бенчмарк, оценивающий передовые ИИ-модели на закрытых, реальных корпоративных кодовых базах. В отличие от публичных наборов данных, он использует приватные enterprise-репозитории, что делает оценку более реалистичной для промышленного применения. Тестирование проводится в изолированных песочницах, задачи представлены в формате Harbor, а верификаторы берутся непосредственно из существующих тестов кодовой базы или воссоздаются по их образцу.
Результаты показывают, что высокая стоимость не коррелирует с лучшей производительностью: лидером стал Fable 5.1 с 38.8% решённых задач при стоимости $6.96 за запуск, тогда как самые дешёвые модели — Gemini 3.8 Flash ($2.50) и GPT-5.6 Sol ($2.65) — показали 31.2% и 16.2% соответственно. Среднее количество output токенов варьируется от 12k (GPT-5.6 Sol) до 117k (GLM 5.3), а число вызовов инструментов иwall-clock время значительно различаются между моделями, что указывает на разные стратегии работы агентов. Ни одна из протестированных моделей не достигла высоких показателей надёжности, что подчеркивает сложность автоматизации реального ПО в enterprise-среде.
Комментарии (157)
Реальные корпоративные бенчмарки выявляют ограничения ИИ-моделей, не видимые на публичных данных, и показывают несоответствие метрик практике. Для репродуктивного тестирования нужно изолировать среду: обрезать git-историю до коммита до изменений, запускать агента в песочнице с ограниченным доступом и использовать реальные тикеты как промпты. Модели часто ошибаются из-за непроверенных предположений — это подтверждается опытом с Fable и Sol, где Sol исправляет ошибки Fable. Есть спор: Gemini 3.8 Flash эффективен в закрытых кодбазах, но делает слишком много вызовов инструментов (210 для 3 строк кода), что снижает эффективность. Бенчмарки без человеческого сравнения бессмысленны — 60% сбоев вызваны неясными требованиями, а не способностями модели. Для оценки на реальных кодбазах лучше использовать PR-ревью как метрику, чем генерацию с нуля. Модели, обученные на публичных данных, могут быть загрязнены корпоративным кодом, поэтому даже приватные бенчмарки могут быть искажены. Fable точнее Astra, но Astra в 5 раз быстрее и менее раздражающая — выбор зависит от приоритетов. Текущие бенчмарки не охватывают системный код, встроенные системы, RTOS или EDA-инструменты, что делает оценку неполной для многих отраслей. Для работы в больших кодбазах полезен «кодовый атлас» — семантическая карта связей между компонентами, сокращающая время чтения и предотвращающая пропуски контекста. При оценке нужно усреднять результаты по нескольким запускам (например, pass@1 на 8 запусках), иначе один удачный результат искажает картину. Для тестирования на собственных кодбазах можно использовать сервисы вроде superconductor.com/benchmark1 — они импортируют PR, восстанавливают спецификации и запускают агентов на исторических коммитах. Модели плохо внедряют бизнес-логику: генерируют UI или структуру, но пропускают правила, если они не указаны в промпте. Есть спор: GLM 5.3 и Kimi K3 показывают лучшие результаты, чем GPT-5.6 Sol, что некоторые считают неожиданным и подозревают методологические ошибки. Для объективной оценки нужно учитывать стоимость: Kimi K3 использует вдвое больше токенов, чем другие модели, что делает его дороже. Бенчмарки на непрозрачных приватных кодбазах без деталей вызывают скептицизм — без воспроизводимости и контекста они не более чем «pinkypromise benchmarking».
Models Are Getting Dumber on Purpose
Модели сознательно «обнуляют» знания ради эффективности: активные параметры падают с сотен миллиардов до 13–40 млрд, но при этом их способность к рассуждению растёт. Например, GLM-5.2 с 40 млрд активных параметров на токен достигает 99,2 % на AIME 2026, а Qwen3.5 9B — 91,3 % при 17 млрд активных. При этом на простых фактических вопросах (SimpleQA) лучший результат — лишь 53 % у Gemini 2.5 Pro, а маленькие модели показывают 80–82 % галлюцинаций. Это происходит потому, что знания занимают «тяжёлый» объём весов (≈2 бита на факт), тогда как алгоритмы рассуждения сжаты до скромного набора процедур, которые легко передаются в компактные модели через синтетические данные и RL‑fine‑tuning.
Таким образом, современные системы хранят лишь «широту» знаний — общую картину мира, достаточную для выбора правильного источника, — а детали (версии API, даты релизов, редкие формулы) вынесены в внешние базы. Это делает их устойчивыми к устареванию фактов, но требует runtime‑подключения к актуальному контенту. В результате ошибки в знаниях становятся обычными данными, исправляемыми без переобучения, а «галлюцинации» превращаются в проверяемые ссылки, что радикально снижает риск уверенного, но неверного ответа. В будущем модель будет почти полностью полагаться на внешние источники, а её веса будут служить лишь гибким «интерпретатором» запросов.
Комментарии (104)
Тред обсуждает перспективы и ограничения моделей, намеренно «обнуляющих» знания для эффективности, и возможность использования плаггабельных моделей для решения конкретных задач. @kennywinker предлагает плаггабельные модели знаний, не требующие знания всех языков программирования. @gopalv и @stanac поддерживают идею систем из нескольких специализированных моделей как более эффективной альтернативы одной универсальной, причём @stanac отмечает, что плаггабельные модели требуют базовых для работы. @jimmaswell возражает: модели с большим объёмом параметров и разнообразным знанием работают лучше, даже если это неочевидно, и структура задачи может скрываться в неожиданных источниках, например, в древних китайских стихах. @lowsong опровергает утверждение автора, что перемещение информации из весов в контекст устраняет галлюцинации — это не гарантирует точности выводов.
GLM 5.2 beats Claude in our benchmarks 🔥 Горячее 💬 Длинная дискуссия
Semgrep объявил Multimodal — платформу, объединяющую генеративный ИИ‑рассуждение с точными правилами обнаружения, что позволяет сканировать, триажировать и исправлять уязвимости в коде в одном рабочем процессе. Это часть новых решений в области защиты кода и цепочек поставок, интегрированных в их AppSec‑платформу и Workflows. Компания позиционирует сервис как способ, при котором злоумышленники «не могут захватить всё преимущество», подчёркивая, что комбинация машинного обучения и детерминированных правил повышает точность и скорость реагирования.
В рамках публичного теста на кибер‑бенчмарке Semgrep сравнил свой недавно выпущенный GLM 5.2 с Claude 3.5. По данным теста, GLM 5.2 набрал 84 % точности обнаружения, в то время как Claude 3.5 — лишь 71 %. Модель показала более высокий уровень обнаружения уязвимостей — около 15 % лучше, чем у Claude — и значительно снизила количество ложных срабатываний. Эти результаты подтверждают, что гибридный подход Semgrep позволяет достичь как высокой чувствительности, так и низкой ложной тревожности, что критично для практического внедрения в CI/CD пайплайны.
Комментарии (516)
- GLM‑5.2 показал сопоставимый или лучший результат в тестах по поиску уязвимостей, но преимущество связано с использованием специального харнеса, а не только с моделью.
- Стоимость использования GLM‑5.2 через API значительно ниже, чем у Claude Max/Codex, что делает её привлекательной для массового кодинга.
- Открытые модели, такие как GLM‑5.2, начинают конкурировать с закрытыми фронтендовыми системами, вызывая обеспокоенность у коммерческих провайдеров.
- Для получения надёжных сравнений необходимы одинаковые условия тестирования (один харнес для всех моделей) и контекстные ограничения, иначе выводы могут быть вводящими в заблуждение.
Cerebras Code now supports GLM 4.6 at 1000 tokens/sec
Cerebras привлек $1.1 млрд в раунде G по оценке $8.1 млрд, представив платформу для быстрой генерации кода на базе модели GLM-4.6. Эта модель обрабатывает более 1,000 токенов в секунду, занимая первое место в рейтинге вызова инструментов Berkeley Function Calling и демонстрируя производительность на уровне Sonnet 4.5 в веб-разработке. Платформа позволяет использовать GLM-4.6 с любым AI-дружелюбным редактором кода через API.
Компания предлагает три тарифных плана: бесплатный с ограниченным доступом, Pro за $50 в месяц (24 млн токенов в день) и Max за $200 (120 млн токенов). Эти варианты подходят как для небольших проектов, так и для полноценной разработки с интеграцией в IDE. Cerebras позиционирует свой сервис как решение для поддержания состояния потока программиста без ожидания генерации кода.
Комментарии (108)
- Cerebras Code с GLM 4.6 демонстрирует высокую скорость генерации (до 1000 ток/с), что значительно ускоряет итерации, особенно для UI-разработки и рутинных задач.
- Пользователи разделились: одни видят в скорости революцию для продуктивности ("секретное оружие"), другие скептичны, считая модель уступающей конкурентам (Claude, GPT) и сомневаясь в отсутствии квантования.
- Практическая ценность зависит от задач: скорость критична для быстрой обратной связи в веб-разработке, но менее полезна для глубокого кодирования или нишевых областей (embedded), где важнее точность.
- Поднимаются вопросы о реальной производительности модели, обоснованности цены ($50/мес) и устойчивости бизнес-модели, особенно при высоких затратах на токены.
- Аппаратная реализация (гигантский чип Cerebras) объясняет скорость, но вызывает споры о влиянии на качество вывода и отсутствие независимой верификации.
DeepSeek-v3.1 🔥 Горячее 💬 Длинная дискуссия
DeepSeek-V3.1 — первый шаг к эпохе агентов
- Гибридный режим: одна модель, два режима — Think (рассуждения) и Non-Think (быстрый ответ).
- Скорость: Think-режим отвечает быстрее, чем DeepSeek-R1-0528.
- Агентские навыки: улучшены работа с инструментами и многошаговые задачи.
Попробовать: chat.deepseek.com
API
deepseek-chat→ Non-Think,deepseek-reasoner→ Think, контекст 128К.- Поддержка формата Anthropic API и строгого Function Calling (бета).
Инструменты и агенты
- Рост результатов на SWE / Terminal-Bench.
- Эффективнее многошаговые поисковые задачи.
Модель
- База V3.1: дообучена на 840 B токенов для длинного контекста.
- Обновлён токенайзер и шаблон чата.
- Веса открыты: V3.1-Base, V3.1.
Цены
- Новые тарифы с 5 сентября 2025, 16:00 UTC. До этого действуют старые.
Комментарии (253)
- Выпущены GGUF-файлы DeepSeek-V3.1 для локального запуска: ≥250 ГБ RAM+VRAM или медленный off-load на SSD.
- На бенчмарках модель уступает GPT-5/Claude 4/GLM-4.5, но конкурентоспособна среди открытых весов.
- Пользователи жалуются на навязчивое «Of course.» в ответах, повышенные галлюцинации и устаревшие форматы tool-use.
- Цена API: $0,56 вход / $1,68 выход за 1 M токенов — дёшево, но без прежней ночной скидки.
- Китайские СМИ: V3.1 обучена на FP8 для будущих отечественных AI-чипов, что может ударить по позициям NVIDIA.