Hacker News Digest

Тег: #rl

Постов: 4

Kimi K3.1 Pro and K3.1 Pro Highspeed (kimi.ai) 🔥 Горячее 💬 Длинная дискуссия

Представлена модель Kimi K3.1 Pro — первый представитель новой серии K3.1 и самый мощный открытый модельный ряд класса 3T с контекстным окном в 1 миллион токенов. Она показывает значительный рост в программировании, 3D-моделировании, финансовых исследованиях и агентных задачах. Одновременно выпущена версия Highspeed, работающая в 2–3 раза быстрее. Обе доступны на Kimi.ai, Kimi Work, Kimi Code и через API, а полные веса модели обещают опубликовать к 4 ноября.

K3.1 Pro — это дообученная версия Kimi K3 с существенно большими вычислительными затратами на посттренировку. Для масштабного совместного обучения с подкреплением в сотнях доменов оптимизировали весь стек: фреймворк RL, вывод на длинном контексте, эффективность обучения, инфраструктуру песочниц и планирование роллаутов. На Terminal-Bench 4.0 модель набирает 65,7%, опережая GPT-6 Astra (58,2%) и немного уступая Claude Opus 5.5 (66,4%). Во внутреннем бенчмарке Kimi Code Bench 3.0 Long-horizon результат — 61,2% против 55,95% у K3.

Модель уверенно работает с Unity, Unreal Engine и Godot, сочетая их с веб-поиском и генерацией 3D. В одном внутреннем тесте она построила симулятор ходьбы человека на основе открытой анатомической модели human-atlas (296 костных и 402 мышечных компонента): после 167 миссий и 420 независимых проверок виртуальный человек научился идти 11,2 секунды вместо падения за секунды. Когда настройка вознаграждения не помогла, K3.1 Pro провела открытые пробы динамики симулятора, нашла и исправила 36 ошибок в расчётах моментов плечевых мышц и переобучила контроллер. На BenchCAD по 3D-реконструкции через генерацию CAD-кода модель набирает 92,7% с инструментами.

by Jowsey • 23 октября 2026 г. в 16:59 • 792 points

Оригинал • HN

#api#godot#human-atlas#kimi-k3.1-pro#kimi.ai#rl#unity#unreal-engine

Комментарии (483)

K3.1 Pro демонстрирует высокую производительность в бенчмарках, обходя GPT-6 Astra и достигая паритета с Sonnet 5.5 в Pac-Man bench. Согласно @dom96, она стала сильнейшей open-weight моделью в тесте KillSwitch. @ndm000 и @rvz полагают, что технологический разрыв между Китаем и США в области frontier-моделей сократился до одного месяца. Пользователи @johnmlussier, @Athanase000 и @willmorrison критикуют платные планы ($99/мес) за жесткие 5-часовые квоты, которые быстро исчерпываются, хотя @calgoo считает модель подходящей при умеренном использовании. Разработчики признали намеренное ограничение кибер-способностей open-weight версии K3.1 Pro (удаление данных при обучении и RL) для предотвращения offensive cyber-операций. @Flatcircle отмечает, что Kimi ведет себя более резко и склонна к спорам, чем американские модели. Для программирования @rglover рекомендует использовать K3.1 Pro через API Open Router в связке с Cline в VSCode.

Mistral Large 4: "Le Chonk" (mistral.ai) 🔥 Горячее

Mistral Large 4, неофициально «le Chonk», — это публичный превью модели с 1 трлн параметров и 49 млрд активных, обученной на 3800 GPU Grace Blackwell в собственных датацентрах Mistral в Европе. Она демонстрирует передовые результаты в программировании, мультимодальном понимании и особенно в кибербезопасности, где занимает топ-пять глобально по Artificial Analysis Cyber Index и опережает все открытые модели из США и Европы. В задачах визуального заземления она даже превосходит некоторые закрытые frontier-модели.

Модель обучена на мультиязычных данных более чем на 160 языках, включая все официальные языки ЕС, и будет доступна для самостоятельного развертывания с открытыми весами к концу месяца. Это обеспечивает суверенитет ИИ и автономию в критических отраслях — финансах, праве, логистике и др. — где провайдерские ограничения могут блокировать легитимные исследования уязвимостей. Обучение велось в среде Mistral Forge, с использованием SFT и RL, генерируя ~33 млрд токенов в день (~16 млрд обучаемых). Веса будут опубликованы к концу месяца, а модель станет базой для новой линейки специализированных версий под конкретные отраслевые нагрузки.

by j-bu • 06 октября 2026 г. в 13:25 • 486 points

Оригинал • HN

#cybersecurity#grace-blackwell#llm#mistral#mistral-forge#mistral-large-4#multilingual#open-weights#rl#sft

Комментарии (65)

Сообщество положительно воспринимает открытый, европейский характер модели Mistral и её игривый брендинг («Le Chonk»), который привлекает больше, чем серьёзный стиль Anthropic, и влияет на готовность платить. Однако отмечается отставание от закрытых и китайских открытых моделей по качеству и масштабам. Пользователи ценят открытые веса, размещение в Европе и позиционирование как конкурента GLM‐5.3 в кибербезопасности, а также соответствие регуляциям ЕС и поддержку локального бизнеса. Стоимость и эффективность Mistral воспринимаются как преимущество по сравнению с K3 и Deepseek. Сообщество требует большего вычислительного ресурса для дальнейшего улучшения, прозрачности данных обучения и отказа от нелегального контента. Есть споры о возможной дистилляции от других моделей, но ответов пока нет.

Xiaomi Mimo 2.6 live post-training dashboard (mimo.xiaomi.com) 🔥 Горячее

Mimo-v2.6-pro и mimo-v2.6-flash — это два параллельных RL-обучения модели от Xiaomi, запущенные 15 сентября 2026 года. На момент обновления pro-версия находится на шаге 13 (из 16), flash — на шаге 15. Оба обучения используют динамический сэмплинг (dynsam) с размером батча 1,568 × 16 последовательностей. Про-версия уже потребила $861,441 и 2.49B токенов на текущем шаге, flash — $382,043 и 2.69B токенов. Общая стоимость проекта превысила $1.24 млн, а суммарное количество обработанных токенов достигло 35.2B для flash и 27.6B для pro.

По метрике DeepSWE v1.1 mini-swe-agent (avg@3) pro-версия опережает flash: 63.72 против 60.77. Динамика показателей улучшается: dynsam/avg@n вырос с шага 1 на +0.059 у pro и +0.083 у flash. Однако наблюдаются компромиссы: у pro снижается grad_norm и растёт entropy_loss, у flash — наоборот, растёт pg_loss и падает entropy_loss. Средняя длина контекста у pro составляет 99.6k токенов (+6.5k от шага 1), у flash — 107k (−4.7k). Время на шаг у pro увеличилось (+5м), у flash уменьшилось (−10м), что отражает разные нагрузки на trainer_ops и outer_gen. Недавние перезапуски были связаны с инфраструктурными ошибками в датасетах и проблемами VRAM на узлах. Офлайн-оценка результатов продолжается.

by krackers • 16 сентября 2026 г. в 20:09 • 332 points

Оригинал • HN

#deepswe#dynsam#mimo#rl#xiaomi

Комментарии (86)

Mimo-v2.5 демонстрирует высокую ценность для инженеров при низкой стоимости, обеспечивая отличный ROI, сравнимый с Anthropic, особенно для кодирования и выполнения инструкций. Однако возникают сомнения в реальности данных дашборда и качестве по сравнению с другими моделями: некоторые пользователи отмечают, что Mimo-v2.5 уступает Qwen 3.8-flash-next и GLM 5.3, допуская базовые ошибки, в то время как другие считают его надежным для повседневных задач. Есть несоответствие между утверждением о перезапуске flash-обучения и отсутствием изменений в графиках дашборда. Mimo-v2.5 активно используется как рабочая лошадка для агентов-кодеров и тестировщиков в средах, где важны скорость и низкая стоимость, а не абсолютная точность. Он показывает сильные результаты в tool calling и следовании инструкциям, подходит для автоматизированных рабочих процессов, несмотря на occasional hallucinations. Модель лучше всего работает на простых задачах (например, написание скриптов на Python), но теряет надежность на сложных, многокомпонентных проектах. Открытость Xiaomi в публикации данных обучения воспринимается как прорыв на фоне закрытости OpenAI и Anthropic, вызывая интерес к подобным практикам. Пользователи рекомендуют пробовать Mimo-v2.5 через OpenRouter, где он доступен бесплатно, чтобы оценить эффективность без финансовых рисков. Сравнение с DeepSWE v1.1 (19% для Mimo-v2.5-Pro) указывает, что модель находится вне фронт-зоны (лидеры — 70%+), но может быть конкурентоспособной в специфических сценариях. Гипотеза о использовании Claude в качестве основы для Mimo не подтверждена и считается спекуляцией. Высокая скорость обучения и прозрачность дашборда вызывают восхищение, но поднимают вопросы о возможной контаминации данных при бенчмаркинге во время обучения. Расходы на обучение Mimo-v2.6 (около $1.2M) и скорость $5/секунду вызывают вопросы о масштабе ресурсов, но детали инфраструктуры и MFU остаются неизвестными.

The wall confronting large language models (arxiv.org)

Основная идея
Авторы утверждают, что современные LLM уже близки к «стене» роста качества: дальнейшее увеличение моделей и данных даёт лишь логарифмический прирост, а затраты растут экспоненциально.

Причины стены

  • Исчерпаемость данных: высококачественный текст в интернете ограничен; синтетические данные быстро насыщают.
  • Сложность задач: после решения «лёгких» 90 % остаются «трудные» 10 %, где ошибки почти не коррелируют с размером модели.
  • Экономика: чтобы снизить ошибку в 2 раза, нужно в 10–100× больше ресурсов.

Эксперименты
На MMLU, GSM8K, HumanEval и BIG-Bench наблюдается выравнивание кривых качества даже при масштабировании на порядки.

Что делать

  • Переход к специализированным моделям и инструментам (код-интерпретаторы, поиск).
  • Агентские схемы, где LLM вызывает API и внешние системы.
  • Новые архитектуры (MoE, RAG, RL) и синтетические данные нового типа (симуляции, мультимодальные сцены).

Вывод
Чистое масштабирование скоро исчерпается; прорыв потребует перехода от «больших» к «умным» системам.

by PaulHoule • 03 сентября 2025 г. в 11:40 • 133 points

Оригинал • HN

#big-bench#deep-learning#gsm8k#humaneval#large-language-models#machine-learning#mmlu#rag#rl#transformers

Комментарии (145)

  • Обсуждение крутится вокруг того, можно ли свести понимание и логическое рассуждение к вероятностным моделям вроде LLM.
  • Часть участников считает, что формальное равенство с цепями Маркова или LLM ничего не даёт и упускает ключевые вещи — например, backtracking и символьное мышление.
  • Другие отвечают, что трансформеры с chain-of-thought уже теоретически могут решать всё в классе P, а агенты с внешними инструментами уже делают backtracking на практике.
  • Критика статьи: авторы-физики пишут запутанно, примеров нет, фокус на ядерных реакторах и численных методах выглядит неуместным.
  • Сторонники «горького урока» указывают, что дальнейшее увеличение моделей и данных даст больше, чем попытки встроить строгую символику.