Hacker News Digest

Память можно рассматривать как хранилище пар «ключ — значение»: ключ служит для поиска по схожести, значение — то, что нужно вспомнить. Главная характеристика хорошей памяти — способность вспоминать, а не просто хранить: чем больше записей, тем сильнее они мешают друг другу при извлечении. Отношение помехи к сигналу определяет ёмкость — сколько воспоминаний удерживается, пока помеха не сравняется с сигналом.

Простейшее линейное хранилище накапливает воспоминания через внешние произведения матрицы значений и ключей, а запрос — это поиск по схожести со всеми ключами сразу. Оказывается, шаг градиентного спуска в линейном слое — это тоже запись воспоминания с ключом-входом и значением-градиентом. Но линейная память ограничена: при 64-мерных ключах она держит около 64 воспоминаний.

Дальше ёмкость резко растёт: многослойный перцептрон с нелинейностью (ReLU гасит половину помех, снижая их в корень из двух раз) поднимает предел примерно до 2700, а самовнимание с нормировкой схожести хранит потенциально неограниченное число воспоминаний — свыше миллиона. Так от линейного слоя через перцептрон к вниманию выстраивается единая лестница роста памяти.

Обсуждение дополняет статью практическими замечаниями. Многие считают математическую запись слишком сложной для разработчиков и предлагают заменить её псевдокодом или использовать LLM (ChatGPT, Claude) для преобразования формул в код. В то же время часть читателей считает уровень сложности приемлемым и полезным для специалистов по теории языков. Инженеры-электрики отмечают аналогию между отношением помех к сигналу и максимизацией пропускной способности каналов в AI. Уточняется, что в трансформерах ключи и значения соответствуют токенам контекста и вычисляются через весовые матрицы при инференсе. Также отмечается сходство трансформеров с сетью Хопфилда: они находят память за один шаг, в отличие от итеративного процесса в классических Hopfield-сетях. Восприятие текста затрудняют отсутствующие определения символов ($d_k$, $d_v$, суффикс $i$). Для быстрого ознакомления автор опубликовал краткое резюме статьи в Twitter.

Kolibri — это открытая модель с весами от Aleph Alpha, выпущенная 3 октября 2026 года в День немецкого воссоединения. Это Mixture-of-Experts Transformer с 78 млрд общего числа параметров, из которых активны только 3 млрд, поддерживающий контекст до 1 млн токенов. Модель обучена на английском и немецком языках, специализирована для использования в регулируемых секторах: государственное управление, промышленность и авиация. Доступна на Hugging Face под лицензией Apache 2.0.

Kolibri превосходит свою предшественницу — Kolibri Origin (30B общих, 3B активных параметров, 65k токенов контекста) — благодаря улучшенному пайплайну обучения, включающему автоматическое восстановление после сбоев, сотни ablation-экспериментов и стандартизированный мониторинг. В тестах Kolibri показывает высокие результаты: в HumanEval+ — 94.7%, в LiveCodeBench v6 — 93.8%, в среднем по коду — 94.2%, а в Instruction Following (IFBench) — 81.9%. Для немецкого языка достигнуты сильные показатели, например, 75.0% в CL v4 (web search). Модель оптимизирована для локального развертывания, снижая зависимость от внешних API и обеспечивая суверенитет данных через полную прозрачность цепочки поставок и защиту интеллектуальной собственности. Для запуска требуется пакет aleph-alpha-inference и vLLM с поддержкой fp8 кэша, reasoning и tool-calling. Рекомендуемые параметры сэмплинга: temperature=1.0, top_p=0.97, top_k=128. Для контекстов свыше 262k токенов нужно указать --max-model-len 1048576.

Обсуждение характеризует Kolibri как попытку создать контролируемый инструмент ЕС для регулируемых секторов. Беспрецедентной для коммерческих LLM признана открытость Aleph Alpha в описании датасета и методов обучения, включая протокол Merlin-Arthur для борьбы с галлюцинациями. Конкурентоспособность модели вызывает споры: Qwen3.8 27B превосходит Kolibri в немецком языке (79.9 против 70.8), а отсутствие сравнения с Qwen3.8 Flash может быть умышленным. При этом Kolibri эффективна в кодировании и агентных задачах, работает быстро (170 токенов/с на fp8 на RTX Pro 6000), но склонна к избыточному «размышлению». Вопрос «суверенности» остается дискуссионным. Поглощение канадской Cohere одни считают подрывом суверенитета, другие — логичным объединением ресурсов. Сомнения вызывает и использование LLM для перевода текстов в энциклопедический стиль. Для реального суверенитета в госсекторе необходим полный стек (эмбеддинги, ретривер, память), а также открытые, управляемые сообществом тренировочные запуски по аналогии с Debian. Технические особенности: — Ограничение немецким и английским языками может мешать интеграции знаний из других языков. — Собственный токенизатор Aleph Alpha многообещающ, но его эффективность не оценена. — Для локального развертывания 78 млрд параметров требуют значительной памяти; рекомендуется квантование 4/8 бит, так как fp16 не помещается на обычных машинах и Mac. Критическими остаются вопросы соответствия GDPR при обработке данных и общая оценка Aleph Alpha: от обвинений в отсутствии таланта до признания новаторами в создании ИИ-экосистемы ЕС.

Transformer — это архитектура нейросети, представленная в 2017 году в статье «Attention is All You Need», которая стала основой для современных языковых моделей, таких как GPT, Llama и Gemini. Её ключевая инновация — механизм самовнимания, позволяющий модели анализировать взаимосвязи между всеми токенами последовательности одновременно, эффективно улавливая дальние зависимости. Трансформеры работают по принципу предсказания следующего токена: на основе входного промпта модель вычисляет вероятности появления каждого следующего слова или его части.

Архитектура трансформера состоит из трёх основных блоков: эмбеддинга, трансформер-блока и выходного слоя. Эмбеддинг преобразует текст в числовые векторы через токенизацию, поиск векторов токенов, добавление позиционной информации и их суммирование. Трансформер-блок включает слой внимания, который распределяет фокус между токенами, и MLP-слой, обрабатывающий каждый токен независимо для уточнения его представления. Выходной слой преобразует финальные представления в вероятностное распределение над словарём через линейное преобразование и softmax.

Transformer Explainer — интерактивный инструмент, визуализирующий работу малой версии GPT-2 (124 млн параметров) прямо в браузере. Он построен на nanoGPT, сконвертирован в ONNX для в-browser выполнения, и использует Svelte и D3.js для динамических визуализаций. Пользователь может вводить собственный текст, наблюдать за вычислением эмбеддингов, весами внимания, активациями MLP и выходными вероятностями, а также экспериментировать с температурой, top-k и top-p семплированием, чтобы увидеть, как эти параметры влияют на креативность и детерминированность генерации. Инструмент разработан командой из Georgia Institute of Technology для наглядного обучения принципам работы трансформеров.

Обсуждение подтверждает, что механизм внимания работает как динамический слой плотных связей, где матрица внимания играет роль весов, а Value‐вектор проходит через него. Указывается на исторический предшественник — Fast‐Weight Programmers Шмидхубера. Трансформеры превосходят dilated CNN по соотношение точность/вычисления, позволяя обмениваться информацией между удалёнными позициями за один шаг. Другие архитектуры работают, но менее эффективно; традиционные сети используют иной порядок умножения матриц, меняя форму представления данных. Визуализации вроде bbycroft.net/llm и Illustrated Transformer существенно упрощают понимание внимания и архитектуры трансформеров, особенно для новичков. Рекомендуются: The Illustrated Transformer (@jasonjmcghee), книга "Hands of Large Language Models" (@hangonhn, @israrkhan). Ключевые параметры внимания — Q/K/V матрицы — должны быть показаны в визуализации в начале блока "Head N of M" (@maciejzj). Запрос на более простое объяснение роли K/Q/V отражает потребность в доступных объяснениях (@bilsbie). Практические ограничения: модели требуют большого объёма скачивания (~600 МБ) (@shagie); визуализатор не работает на мобильных устройствах (@hollowturtle). Предупреждение: визуализатор на GPT‐2 может вводить в заблуждение из‐за устаревшего абсолютного позиционного кодирования (@E-Reverance). Идея динамического формирования весов восходит к Fast Weight Programmers Шмидхубера, но в современных публикациях часто не упоминается (@octoberfranklin).

Автор обучил небольшую трансформерную модель с нуля на видеокарте RTX 5090 за 1,5 часа, достигнув 44% точности на публичном наборе ARC-AGI-1 при стоимости всего 67 центов. Это превосходит многие крупные языковые модели и сравнимо с результатами TRM/HRM, при этом модель остаётся открытой и значительно улучшена по сравнению с предыдущей версией: архитектура обновлена (SwiGlu, RMSnorm), количество слоёв увеличено с 4 до 8, улучшена обработка данных и аугментаций, а также заменён оптимизатор AdamW на Normuon с использованием flash attention и переменной длины последовательностей. Ключевое изменение — обучение только на выходных токенах, что сделало подход обучением с учителем и повысило точность с 40% до 44%, несмотря на непонятный автором механизм этого улучшения. На более сложном наборе ARC-2 модель набрала 7%. Автор подчёркивает, что работа направлена на поиск пределов выборочной эффективности в рамках современных методов глубокого обучения, снижение стоимости и ускорение итераций, чтобы сделать исследования доступными широкому кругу людей. ARC считается идеальным бенчмарком из-за малого количества примеров, высокой размерности, отсутствия необходимости в сильных priors и лёгкости для человека. Планы включают дальнейшие исследования для преодоления текущих ограничений при сохранении низкой стоимости экспериментов. Код доступен на GitHub, обсуждение — в X (Twitter).

Успех модели обусловлен не «обучением на тесте», а метаобучением и эффективной предобработкой данных, что ставит под сомнение доминирование LLM в абстрактном рассуждении. Часть аудитории считает использование обучающих примеров из ARC-AGI во время теста «benchmaxxing»: модель адаптируется к структуре задач, а не демонстрирует обобщение. Автор возражает: ARC-AGI — метаобучающий бенчмарк, где метки ответов скрыты и модель выводит ответ по паттернам, что соответствует стандартам метаобучения. Критики сравнивают подход со «сдачей по старым билетам», но это не то же самое, что прямое обучение на тестах, поскольку метки недоступны. Автор подтверждает: используется только структура вопросов из eval-набора, без меток. Синтетические данные также не применялись — только реальные примеры ARC. Sample efficiency — ключевая нерешённая проблема ИИ. Простые архитектуры при тщательной кураторке данных могут превосходить гигантские LLM при минимальных затратах. Качество данных важнее объёма: целенаправленный отбор примеров, а не готовые датасеты, даёт значительный прирост, хотя требует большого труда. Модель — простой autoregressive transformer, обученный на ~100 примерах ARC, тогда как LLM используют миллиарды интернет-примеров, что делает сравнение некорректным в пользу последних. Это напоминает докомпьютерную эпоху с малыми моделями на ограниченных данных. Человеческое обучение устроено аналогично — анализ нескольких примеров перед решением новой задачи, — что делает подход биологически обоснованным, а не «обманом». Предложения: - Ввести запрет на офлайн-предобучение для честного сравнения и исключения «benchmaxxing» через огромные массивы данных. - Проверять обобщение на задачах вне ARC, а не только бить один бенчмарк. - Протестировать модель на ARC-AGI-3, где LLM достигают 99%, чтобы оценить переносимость результата. - Стремиться к системам непрерывного обучения без жёсткого разделения на «обучение» и «тест».

Я обучаю 125 млн‑параметрный трансформер, который в реальном времени подсказывает продолжение пианино‑партии (~108 нот/сек на iPhone 15). Ключевой прорыв — правильный MIDI‑токенизатор, агрессивная очистка датасета и DPO‑пост‑тренировка.

Я превратил MIDI‑события в компактный набор токенов: отдельные коды для NOTE, TIME_SHIFT, DURATION и VELOCITY. Такой формат гарантирует валидный синтаксис, устраняет «зависание» нот и позволяет модели генерировать ноты за один шаг, что критично для мобильных устройств. Обучение прошло на отфильтрованных 200 мелодиях, где я сортировал аккорды по тональности, чтобы избежать неоднозначности порядка нот.

Для ускорения я использовал 24‑шаговый тактовый деления, что покрывает обычные и тройные ритмы. После обучения применяю DPO‑корректировку, чтобы модель отдавала предпочтение более «музыкальным» продолжениям, что подтверждается в 70 % случаев в сравнениях Gemini. Теперь приложение RollTab умеет мгновенно подхватывать ваш ввод и развивать мелодию в стиле классических тем, от «Pokémon» до «Für Elise».

Запомните:

• Токенизация в виде [NOTE, PITCH, VELOCITY, DURATION] + TIME_SHIFT делает генерацию быстрой и синтаксически корректной.
• DPO‑пост‑тренировка повышает «музыкальность» вывода, а 125 млн параметров достаточно для 108 нот/сек на iOS.
• Приложение уже доступно бесплатно в App Store для MIDI‑клавиатур.

Токенизация MIDI на события (NOTE, TIME_SHIFT, DURATION, VELOCITY) и пост-тренировка DPO с агрессивной очисткой данных — ключевые прорывы, а не архитектура модели. Они обеспечивают валидный синтаксис и качество генерации: ритм, музыкальная форма, естественность звучания, подтверждённые опытом @tom_vidal, @devonsolomon, @noman-land, @pil0u. Размер модели вторичен — качество определяется токенизацией и DPO, как отмечают @gaya3bollineni и @evalystai. Практические запросы: интеграция с внешними MIDI-устройствами (@Tepix), расширение токенизации для атаки, грациозных нот и педали (@davidajackson), генерация 3–4-частного барочного сопровождения с экспортом в редактируемый формат (@heikkilevanto), снижение скорости ради осмысленности через Chain-of-Thought (@subhajeet2107). Требуются данные о стоимости и объёме DPO-тренировки (@theschwa, @arkmm), доступ к весам модели (@abidlabs). Сравнение с Continuator (2003) и Anticipatory Music Transformer показывает: подход не нов, но реализация на устройстве с 125M параметров в реальном времени — новый уровень (@timmb, @bravura). Проект вписывается в тренд, выделяясь локальной реализацией (@speedgoose, @mare5x). Альтернатива — распознавание мелодии через микрофон (@leobg), но требует новой архитектуры. Критика: результаты сопоставимы с Markov-моделями, LLM не понимают музыку — предложена декомпозиция на гармонические и мелодические слои (@rajivayyangar). AI не заменяет интуицию музыканта, а ускоряет отсев мертвых идей (@joshuamerrill, @ghm2199).

Недавно автор обнаружил, что дискретная языковая диффузия — это просто обобщение masked language modeling (MLM), которое используется в BERT с 2018 года. Gemini Diffusion от Google DeepMind генерирует текст, постепенно уточняя случайный шум, в отличие от традиционных GPT-стиль моделей, создающих текст слово за словом. Автор задался вопросом, можно ли дообучить BERT-подобную модель для генерации текста, и провел эксперимент для проверки этой концепции.

Архитектура Transformer изначально была encoder-decoder моделью, но в 2018 году разделилась на две ветви: encoder-only (BERT-style, двунаправленные) и decoder-only (GPT-style, авторегрессивные). Диффузионные модели для текста применяют принципы, аналогичные обработке изображений, но вместо добавления шума используют маскирование токенов. На прямом процессе постепенно увеличивается количество замаскированных токенов, а на обратном — модель учится восстанавливать исходный текст, предсказывая токены на различных этапах маскирования.

• В 2021 году в статье arXiv:2107.03006 впервые отметили, что маскирование и диффузия текста фактически реализуют один и тот же процесс, и с тех пор моделирующие стороны ведут дискуссию о том, какой из них «настоящий» диффузионный процесс.
• Сторонники диффузии текста утверждают, что она более биологически правдоподобна, потому что человек, формулируя мысль, одновременно формулирует и слова, в то время как автопрегрессивные модели оперируют токенами последовательно, что якобы не соответствует тому, как работает мозг.
• Сторонники же автопрегрессивных моделей отвечают, что в действительности и люди, и модели делают одно и то же, и что внутреннее представление мысли не является дискретным, и потому нет никакой разницы между последовательным и диффузионным подходами.
• Сторонники диффузии текста также утверждают, что если мы хотим, чтобы модель могла бы редактировать или дополнять текст, то она должна уметь удалять и вставлять токены, что невозможно в рамках автопрегрессивного подхода.
• Сторонники автопрегрессивных моделей отвечают, что в действительности диффузионные модели не могут обучаться стабильно без помощи автопрегрессивного механизма, и что в конце концов, оба подхода требуют одни и те же вычислительные и временные затраты, и что поэтому вопрос остается открытым, какой подход лучше подходит для генерации текста.