Hacker News Digest

Память можно рассматривать как хранилище пар «ключ — значение»: ключ служит для поиска по схожести, значение — то, что нужно вспомнить. Главная характеристика хорошей памяти — способность вспоминать, а не просто хранить: чем больше записей, тем сильнее они мешают друг другу при извлечении. Отношение помехи к сигналу определяет ёмкость — сколько воспоминаний удерживается, пока помеха не сравняется с сигналом.

Простейшее линейное хранилище накапливает воспоминания через внешние произведения матрицы значений и ключей, а запрос — это поиск по схожести со всеми ключами сразу. Оказывается, шаг градиентного спуска в линейном слое — это тоже запись воспоминания с ключом-входом и значением-градиентом. Но линейная память ограничена: при 64-мерных ключах она держит около 64 воспоминаний.

Дальше ёмкость резко растёт: многослойный перцептрон с нелинейностью (ReLU гасит половину помех, снижая их в корень из двух раз) поднимает предел примерно до 2700, а самовнимание с нормировкой схожести хранит потенциально неограниченное число воспоминаний — свыше миллиона. Так от линейного слоя через перцептрон к вниманию выстраивается единая лестница роста памяти.

Обсуждение дополняет статью практическими замечаниями. Многие считают математическую запись слишком сложной для разработчиков и предлагают заменить её псевдокодом или использовать LLM (ChatGPT, Claude) для преобразования формул в код. В то же время часть читателей считает уровень сложности приемлемым и полезным для специалистов по теории языков. Инженеры-электрики отмечают аналогию между отношением помех к сигналу и максимизацией пропускной способности каналов в AI. Уточняется, что в трансформерах ключи и значения соответствуют токенам контекста и вычисляются через весовые матрицы при инференсе. Также отмечается сходство трансформеров с сетью Хопфилда: они находят память за один шаг, в отличие от итеративного процесса в классических Hopfield-сетях. Восприятие текста затрудняют отсутствующие определения символов ($d_k$, $d_v$, суффикс $i$). Для быстрого ознакомления автор опубликовал краткое резюме статьи в Twitter.

DHH переписал Campfire Once с Ruby on Rails на Rust, Elixir и Go, используя ИИ-агента («clanker»), не читая и не пишя код сам. Результаты показали, что без чётких промптов и понимания требований ИИ принимает произвольные решения: например, Rust-версия отказалась от CSRF-токена и Redis ради упрощения кэширования, тогда как Elixir-версия сохранила близость к оригиналу. Эти различия не зависят от языка — они отражают неявные trade-offs, которые ИИ выбирает сам, когда не указаны приоритеты по совместимости, latency, throughput или использованию памяти.

Кроме того, в коде проявились серьёзные технические ошибки: в Elixir-версии SQL-запросы обрабатываются последовательно, даже если они могли бы выполняться параллельно; в Rust-версии некоторые БД-операции блокируют async-задачи, а синхронные мьютексы удерживаются слишком долго, блокируя весь worker-поток из-за кооперативной планировки Tokio. Увеличение буфера broadcast с 256 до 16384 улучшило доставку при 100 req/s с 14% до 90%, но привело к росту pMAX latency с 11с до >130с — что хуже, чем быстрый сброс и reconnect. При нагрузке Elixir-версия потребила 1.8ГБ памяти, ставя вопрос: лучше ли потерять сообщения или рискнуть OOM-kill? Вывод: никакой язык или ИИ не заменяют критического мышления — нужно понимать failure modes, устанавливать осознанные лимиты и не верить в «магические» решения. Benchmarks сложны, а надежность требует знания того, когда и как отказывать.

Из обсуждения

• @variety8675: This article just reminds me that workslop is so hard to counter because it takes no effort to produce and immense effort to debunk
• @discreteevent: It's worth noting that the context here is a system that was translated by an LLM which is the ideal use case for it. 90% of the thinking had already been done by developers of the existing system.

WSL 3.x с ядром Linux 6.18 привёл к заметным улучшениям в низкоуровневых операциях по сравнению с WSL 2.x на ядре 6.6. Наибольший прирост наблюдается в памяти: пропускная способность memcpy выросла на 61,35 % — с 7,84 ГБ/с до 12,64 ГБ/с благодаря более крупному размеру страниц при репортинге памяти, что снижает накладные расходы гипервизора. Планировщик и межпроцессное взаимодействие также ускорились: latency контекстного переключения упал на 11,25 %, а производительность в тестах sched/pipe и sched/messaging выросла на 12,68 % и снизилась на 10,06 % соответственно. Базовые системные вызовы вроде getppid() стали быстрее на ~4 %, но здесь ограничения архитектуры процессора оставляют мало места для оптимизаций.

В реальной нагрузке — сборке GoReleaser — общее время уменьшилось на 3,91 % (с 191,27 с до 183,80 с), причём основной выигрыш пришёлся на снижение времени, проведённого в ядре: sys‑time упал на 15,98 % (с 57,39 с до 48,22 с) благодаря меньшим издержкам при открытии файлов, mmap и futex. Однако так как компиляция Go на 80 % зависит от пользовательских вычислений, а vCPU ограничены двумя ядрами на 2,10 ГГц, общий приростwall‑clock времени остался скромным. Вывод: WSL 3.x выигрывает в задачах с высокой интенсивностью IPC и работы с памятью (БД, микросервисы), тогда для вычислительно ограниченных сборок улучшение будет ощущаться преимущественно в снижении нагрузки на ядро, а не в ускорении самого билда.

WSL3 улучшает производительность, но не решает фундаментальные проблемы Windows как ОС. Основная проблема — медленный доступ к файлам через /mnt/c из-за 9P-файловой системы, а не виртуализация. Улучшения в WSL3 (например, +61% пропускной способности memcpy) значимы для разработчиков, но не меняют восприятия WSL как второсортной среды по сравнению с нативным Linux. Многие пользователи, перешедшие на Linux, не планируют возвращаться к Windows из-за нестабильности, принудительных обновлений и ограничений в управлении системой. AI (например, Claude) стал ключевым фактором, позволяющим новичкам преодолевать сложности Linux и ускоряя переход от WSL к нативной системе. WSL3 — это не архитектурный прорыв, а обновление WSL2 до версии 3.0 без изменения гипервизора или фундаментальной модели. Оно не решает проблему отсутствия полноценной интеграции с Windows и считается 'leaky abstraction' с ненужными слоями. Споры о стабильности Windows 11: некоторые называют её надёжной, другие — нестабильной, особенно на ноутбуках Lenovo Legion 5 с проблемами Wi-Fi. Одни видят в WSL незаменимый инструмент для корпоративных пользователей, другие — неудовлетворительное решение, не компенсирующее неудобства Windows. Советы: хранить рабочие файлы внутри WSL-файловой системы, а не в /mnt/c; полностью отказаться от Windows в пользу Linux с AI-помощью; переход на Linux с AI становится решаемым за час вместо дней. WSL стал 'вратами' для многих, кто впоследствии перешёл на нативный Linux и не возвращался. WSL2 и WSL3 не решают проблему производительности при работе с большими файлами — это остаётся ограничением. Воссоздать 'полированный' интерфейс Windows на Linux сложно, и даже dual-boot может быть технически сложной задачей.

Micron CEO Санджай Мехротра заявил, что спрос на память и хранилище усилился, и условия предложения и спроса в фискальном 2027 и 2028 годах будут значительно напряжённее, чем в 2026 году. Он подчеркнул, что даже при планах по расширению чистых помещений в отрасли и устойчивом росте спроса — включая новые запросы от клиентов — компания не видит момента, когда баланс между спросом и предложением восстановится. Искусственный интеллект, по его словам, становится «сверхинтеллектуальным», а память играет ключевую роль в усилении этой интеллектуальной мощи и конкурентоспособности платформ клиентов.

Кроме того, более 75% объёма производства Micron на 2027 год уже забронировано клиентами, а новые мощности, такие как фабрика ID2 в Айдахо, начнут выпуск пластин только в конце 2028 года. В прошлом квартале цены на DRAM выросли на высокие десятки процентов, а NAND — примерно на 30%. Несмотря на предыдущие прогнозы о постепенном улучшении поставок к 2028 году, текущая оценка указывает на продолжительный дефицит, и компания по-прежнему не видит пути к равновесию спроса и предложения. Эти прогнозы могут измениться, но текущая тенденция указывает на сохраняющееся напряжение на рынке памяти.

Обсуждение указывает на возможную манипуляцию рынком памяти: производители смещают производство с DDR5 на более прибыльную HBM для ИИ-центров, сокращая доступность памяти для потребительского рынка. Основной спрос уже зарезервирован гиперскалерами ИИ, а прогнозы зависят от устойчивости их инвестиций, которые могут рухнуть, если ИИ-бизнес не оправдает ожиданий. Споры касаются того, является ли дефицит естественным или результатом сознательного сговора производителей для поддержания высоких цен, поскольку DDR5 чрезвычайно прибылен. Внутренние сделки Micron показывают массовую продажу акций топ-менеджерами (337 619 продаж против 887 покупок за 6 месяцев), что противоречит их публичным заявлениям о росте. Китайские производители, такие как CXMT, могут выйти на рынок и нарушить монополию, особенно если цены останутся высокими. Некоторые эксперты, включая CEO Acer, считают, что прогнозы дефицита на 2027–2028 годы преувеличены, и цены начнут падать к концу 2027 года из-за роста китайских мощностей. Существует опасение, что монополизация рынка памяти приведёт к регуляторному вмешательству, так как текущая модель подрывает свободный рынок и создаёт зависимость от нескольких игроков. Прогнозы спроса на память в 2027 году могут быть завышены из-за спекулятивных оценок строительства дата-центров на 30+ ГВт, не соответствующих реальной потребности. Потребители и производители ПК ожидают роста цен на устройства из-за дефицита памяти, что приведёт к продлению срока использования старых устройств, поиску альтернатив и оптимизации ПО (включая проекты вроде REIN). Некоторые рекомендуют отложить покупку компьютеров и телефонов на 2 года, если текущие устройства работают удовлетворительно. Крупные производители ПК (Apple, Dell, HP), ранее использувшие Crucial (дочерняя компания Micron), теперь вынуждены платить высокие цены из-за отказа производителей от потребительского сегмента. Заявления о дефиците могут быть попыткой удержать акции на высоком уровне, учитывая, что акции Micron выросли в 10 раз за два года, а барьеры для входа на рынок памяти ниже, чем для GPU.

Игра, превышающая доступный объём видеопамяти, не обречена на крах — главное ограничение — производительность, а не стабильность. При нехватке VRAM данные выгружаются в системную оперативку, а доступ к ней через PCIe‑4.0x16 (≈ 32 ГБ/с) ограничивает пропускную способность до ~1 ГБ за кадр, что делает невозможным удержание 30 fps, если требуется больше.

Ключевой нюанс — не все обращения одинаковы: небольшие буферы команд и часто используемые данные могут оставаться в CPU‑памяти без катастрофических потерь, особенно если они умеют кэшироваться. Поэтому оптимизация доступа и более тесное взаимодействие драйвера с приложением позволяют смягчить удар по FPS, делая «переполнение» VRAM менее болезненным.

Обсуждение смещает фокус с производительности на стабильность при нехватке RAM/VRAM. Пользователи отмечают критические различия в работе драйверов NVIDIA и AMD под Wayland: старые NVIDIA (750 Ti) вызывают краши композиторов при исчерпании VRAM, тогда как AMD (RX 480) бесшовно выгружает в системную память. Проблемы с утечками и стабильностью под Wayland/Vulkan сохраняются и на новых NVIDIA (2080). Для предотвращения зависаний рекомендуют systemd-oomd или Magic SysRq 'f'. Спор о том, какая ОС лучше справляется с нехваткой памяти: @krisknez утверждает, что Windows не фризит, но @alightsoul и @qwertox опровергают — Windows также зависает при активном swap или ресурсоёмких браузерах (Chromium); @adrian_b считает, что отказ от swap в Linux решает проблему. Поведение macOS неоднозначно: @inventor7777 отмечает сохранение отзывчивости (Ctrl+C работает) на M4 Max даже с артефактами, @LoganDark — сильную деградацию и необходимость перезагрузки после загрузки LLM. Улучшения Linux 7.3 менее значимы для LLM inference, чем для игр — в играх паттерны использования VRAM менее предсказуемы и требуют сложного управления памятью. Рекомендация: выделять 32 ГБ swap на быстрых SSD для комфортной работы с ВМ и тяжёлыми процессами. В Ubuntu 24 OOM-killer по умолчанию часто убивает Firefox, даже если память потребляют другие процессы — вызывает раздражение.

В статье показано, как простые предположения о скрытом состоянии приводят к формуле линейного внимания, известной как Kimi Delta Attention (KDA), которая вытекает из семейства DeltaNet и используется в моделях Qwen и Kimi. Ключевой приём — заменить softmax на умножение на деградирующие матрицы и добавить корректирующий вектор ошибки, что позволяет обновлять состояние рекуррентно и хранить лишь текущий стейт. При этом запросы масштабируются по (d_k^{-1/2}), а ключи нормализованы, чтобы их внутреннее произведение оставалось в пределах одного скаляра. Такой подход превращает квадратичную зависимость от длины последовательности в линейную, а также делает возможным кэширование ключей и значений без роста памяти.

В результате получаем O(1) память и возможность обрабатывать запросы за константное время, а также β‑параметр, задающий экспоненциальный спад, который делает внимание устойчивым к очень длинным контекстам. Реализация KDA в Triton использует кусочные схемы: внутри чанка вычисляются диагональные взаимодействия, а между ними решается триангулярная система, что позволяет параллелить расчёты на GPU. Такой подход лежит в основе эффективного прямого прохода, используемого в последних версиях Qwen и Kimi, и демонстрирует, как простая идея о скрытом состоянии может породить мощный линейный механизм внимания.

Тред обсуждает сложность и интуитивность математической нотации в статье, а также доступность понимания машинного обучения и линейного внимания. Многие находят нотацию запутанной, но некоторые — полезной и ясной. Пользователи делятся трудностями в освоении темы, предлагают ресурсы и примеры, выражают благодарность за обмен опытом. Споры идут о степени сложности разработки линейного внимания и Kimi Delta Attention: одни считают их несложными, другие — требующими глубоких знаний. Некоторые сомневаются в их новизне, называя их комбинацией существующих идей. @dr_kretyn рекомендует bra-ket нотацию как более интуитивную, особенно для физиков.

Ученые из университета Луисвилля зафиксировали первую в истории запись активности умирающего мозга человека, показавшую волны, аналогичные тем, что происходят при воспоминании. Эти вспышки активности мозга наблюдались за 30 секунд до наступления смерти и напоминали паттерны, связанные с воспоминаниями о прошлых событиях. Исследование может пролить свет на загадку так называемых "предсмертных видений" и помочь понять, что происходит с сознанием в момент смерти.

Волны активности, похожие на воспоминания, были зарегистрированы в области мозга, связанной с памятью о событиях. Это открытие ставит под вопрос предыдущие представления о том, что мозг прекращает активность сразу после остановки сердца. Исследователи считают, что эти данные могут иметь важные последствия для реаниматологии и понимания природы сознания.

• Различные личные переживания потери сознания: от полного отсутствия воспоминаний до интенсивных флешбэков, искажения времени и "жизни проносящейся перед глазами".
• Научная скептичность: критика выводов на основе единственного случая с эпилептиком, подчеркивание сложности интерпретации данных из-за сопутствующих повреждений мозга.
• Теории о работе мозга: гипотезы о поиске решений в критических ситуациях, возможная роль эндогенного ДМТ, адаптивная функция или побочный эффект нейронной активности.
• Философские интерпретации: обсуждение связи с духовными переживаниями, концепцией рая/ада и вопросом о природе сознания после смерти.
• Эволюционная польза: сомнения в адаптивности подобных переживаний и споры о том, является ли это запрограммированным процессом или случайным явлением.

Anthropic представила функцию памяти для Claude, которая позволяет ИИ запоминать контекст проектов, предпочтения команды и рабочие паттерны. Функцией уже пользуются Team и Enterprise-планы, а теперь она доступна и для Pro и Max. Память полностью опциональна с детальным контролем пользователя, а для конфиденциальных разговоров добавлен режим "Инкогнито", который не сохраняется в истории.

Каждый проект имеет отдельную память, что предотвращает смешивание информации между разными инициативами. Пользователи могут просматривать и редактировать то, что запомнил Claude, через сводку памяти. Функция прошла тщательное тестирование безопасности, включая проверку на возможность воспроизведения вредных паттернов. Как отмечено в статье: "Memory helps you and your teams manage complex, concurrent initiatives without mixing unrelated details, serving as a safety guardrail that keeps sensitive conversations contained".

• Пользователи обсуждают, что новая функция памяти в Claude не работает как RAG-система, а скорее как «контекст-окно плюс» — она не запоминает документы, а лишь «контекст» внутри одной сессии.
• Участники отмечают, что Anthropic не раскрывает, как именно реализована память: нет никакого доступа к «памяти» или возможности её редактировать, что вызывает вопросы о контроле и прозрачности.
• Ряд участников подчеркивает, что модель не может отличить, какие именно воспоминания будут использованы в будущем, и это вызывает опасения по поводу приватности и безопасности.
• Некоторые участники высказывают, что не ясно, как именно память влияет на стоимость и токены, и нет ли у неё каких-то ограничений по объёму.
• Также обсуждается, что Anthropic не предоставляет никакого способа переноса памяти между различными проектами или даже между Claude и ChatGPT.

Почему рукописное писать всё ещё важно

Клавиатуры и смартфоны вытесняют ручку, но отказ от письма может дорого обойтись.

• Ностальгия vs польза
  Легенда о монахинях и линейках не объясняет, почему рукопись ценна. Главное — не красота, а нейрокогнитивные эффекты: моторная память активирует зоны мозга, отвечающие за чтение и понимание.

• Дети и девайсы
  Исследование Карен Рэй (2021) показало: «цифровые аборигены» хуже развивают мелкую моторику, что замедляет овладение письмом в детсаду. Планшет не заменяет карандаш на этапе формирования навыков.

• Курсив: спорный must-have
  Законы, обязывающие учить курсив, вызывают споры. Большинство экспертов считают: важен сам процесс письма, а не конкретный стиль.

• Профессиональный взгляд
  Журналисты, инженеры и программисты всё реже пишут от руки, но в обучении этот навык остаётся ключом к грамотности. Пока неясно, что теряет мозг, если пропустить этап «рука-буква».

Вывод: рукописное письмо не умирает — оно трансформируется из повседневного инструмента в фундаментальный навык раннего развития, без которого рискуем ослабить базу для чтения и мышления.

• Кто-то злится на школьные «курсивные» наказания, кто-то пишет письма и дневники от руки и считает это полезным для памяти и мышления.
• Некоторые предпочитают печатный текст, другие возвращаются к перьевым ручкам и даже демонстрируют рукописные черновики в блогах как «proof of work» против ИИ.
• Левши и люди с нарушениями мелкой моторики часто рады отказу от скорописи, но признают, что рукопись всё ещё нужна для экзаменов и зарисовок.
• Общий вывод: почерк может стать нишевым навыком, но полностью не исчезнет, поскольку помогает запоминать, думать и сохранять личный след в цифровую эпоху.