Hacker News Digest

Игра, превышающая доступный объём видеопамяти, не обречена на крах — главное ограничение — производительность, а не стабильность. При нехватке VRAM данные выгружаются в системную оперативку, а доступ к ней через PCIe‑4.0x16 (≈ 32 ГБ/с) ограничивает пропускную способность до ~1 ГБ за кадр, что делает невозможным удержание 30 fps, если требуется больше.

Ключевой нюанс — не все обращения одинаковы: небольшие буферы команд и часто используемые данные могут оставаться в CPU‑памяти без катастрофических потерь, особенно если они умеют кэшироваться. Поэтому оптимизация доступа и более тесное взаимодействие драйвера с приложением позволяют смягчить удар по FPS, делая «переполнение» VRAM менее болезненным.

Обсуждение смещает фокус с производительности на стабильность при нехватке RAM/VRAM. Пользователи отмечают критические различия в работе драйверов NVIDIA и AMD под Wayland: старые NVIDIA (750 Ti) вызывают краши композиторов при исчерпании VRAM, тогда как AMD (RX 480) бесшовно выгружает в системную память. Проблемы с утечками и стабильностью под Wayland/Vulkan сохраняются и на новых NVIDIA (2080). Для предотвращения зависаний рекомендуют systemd-oomd или Magic SysRq 'f'. Спор о том, какая ОС лучше справляется с нехваткой памяти: @krisknez утверждает, что Windows не фризит, но @alightsoul и @qwertox опровергают — Windows также зависает при активном swap или ресурсоёмких браузерах (Chromium); @adrian_b считает, что отказ от swap в Linux решает проблему. Поведение macOS неоднозначно: @inventor7777 отмечает сохранение отзывчивости (Ctrl+C работает) на M4 Max даже с артефактами, @LoganDark — сильную деградацию и необходимость перезагрузки после загрузки LLM. Улучшения Linux 7.3 менее значимы для LLM inference, чем для игр — в играх паттерны использования VRAM менее предсказуемы и требуют сложного управления памятью. Рекомендация: выделять 32 ГБ swap на быстрых SSD для комфортной работы с ВМ и тяжёлыми процессами. В Ubuntu 24 OOM-killer по умолчанию часто убивает Firefox, даже если память потребляют другие процессы — вызывает раздражение.

В статье показано, как простые предположения о скрытом состоянии приводят к формуле линейного внимания, известной как Kimi Delta Attention (KDA), которая вытекает из семейства DeltaNet и используется в моделях Qwen и Kimi. Ключевой приём — заменить softmax на умножение на деградирующие матрицы и добавить корректирующий вектор ошибки, что позволяет обновлять состояние рекуррентно и хранить лишь текущий стейт. При этом запросы масштабируются по (d_k^{-1/2}), а ключи нормализованы, чтобы их внутреннее произведение оставалось в пределах одного скаляра. Такой подход превращает квадратичную зависимость от длины последовательности в линейную, а также делает возможным кэширование ключей и значений без роста памяти.

В результате получаем O(1) память и возможность обрабатывать запросы за константное время, а также β‑параметр, задающий экспоненциальный спад, который делает внимание устойчивым к очень длинным контекстам. Реализация KDA в Triton использует кусочные схемы: внутри чанка вычисляются диагональные взаимодействия, а между ними решается триангулярная система, что позволяет параллелить расчёты на GPU. Такой подход лежит в основе эффективного прямого прохода, используемого в последних версиях Qwen и Kimi, и демонстрирует, как простая идея о скрытом состоянии может породить мощный линейный механизм внимания.

Тред обсуждает сложность и интуитивность математической нотации в статье, а также доступность понимания машинного обучения и линейного внимания. Многие находят нотацию запутанной, но некоторые — полезной и ясной. Пользователи делятся трудностями в освоении темы, предлагают ресурсы и примеры, выражают благодарность за обмен опытом. Споры идут о степени сложности разработки линейного внимания и Kimi Delta Attention: одни считают их несложными, другие — требующими глубоких знаний. Некоторые сомневаются в их новизне, называя их комбинацией существующих идей. @dr_kretyn рекомендует bra-ket нотацию как более интуитивную, особенно для физиков.

Ученые из университета Луисвилля зафиксировали первую в истории запись активности умирающего мозга человека, показавшую волны, аналогичные тем, что происходят при воспоминании. Эти вспышки активности мозга наблюдались за 30 секунд до наступления смерти и напоминали паттерны, связанные с воспоминаниями о прошлых событиях. Исследование может пролить свет на загадку так называемых "предсмертных видений" и помочь понять, что происходит с сознанием в момент смерти.

Волны активности, похожие на воспоминания, были зарегистрированы в области мозга, связанной с памятью о событиях. Это открытие ставит под вопрос предыдущие представления о том, что мозг прекращает активность сразу после остановки сердца. Исследователи считают, что эти данные могут иметь важные последствия для реаниматологии и понимания природы сознания.

• Различные личные переживания потери сознания: от полного отсутствия воспоминаний до интенсивных флешбэков, искажения времени и "жизни проносящейся перед глазами".
• Научная скептичность: критика выводов на основе единственного случая с эпилептиком, подчеркивание сложности интерпретации данных из-за сопутствующих повреждений мозга.
• Теории о работе мозга: гипотезы о поиске решений в критических ситуациях, возможная роль эндогенного ДМТ, адаптивная функция или побочный эффект нейронной активности.
• Философские интерпретации: обсуждение связи с духовными переживаниями, концепцией рая/ада и вопросом о природе сознания после смерти.
• Эволюционная польза: сомнения в адаптивности подобных переживаний и споры о том, является ли это запрограммированным процессом или случайным явлением.

Anthropic представила функцию памяти для Claude, которая позволяет ИИ запоминать контекст проектов, предпочтения команды и рабочие паттерны. Функцией уже пользуются Team и Enterprise-планы, а теперь она доступна и для Pro и Max. Память полностью опциональна с детальным контролем пользователя, а для конфиденциальных разговоров добавлен режим "Инкогнито", который не сохраняется в истории.

Каждый проект имеет отдельную память, что предотвращает смешивание информации между разными инициативами. Пользователи могут просматривать и редактировать то, что запомнил Claude, через сводку памяти. Функция прошла тщательное тестирование безопасности, включая проверку на возможность воспроизведения вредных паттернов. Как отмечено в статье: "Memory helps you and your teams manage complex, concurrent initiatives without mixing unrelated details, serving as a safety guardrail that keeps sensitive conversations contained".

• Пользователи обсуждают, что новая функция памяти в Claude не работает как RAG-система, а скорее как «контекст-окно плюс» — она не запоминает документы, а лишь «контекст» внутри одной сессии.
• Участники отмечают, что Anthropic не раскрывает, как именно реализована память: нет никакого доступа к «памяти» или возможности её редактировать, что вызывает вопросы о контроле и прозрачности.
• Ряд участников подчеркивает, что модель не может отличить, какие именно воспоминания будут использованы в будущем, и это вызывает опасения по поводу приватности и безопасности.
• Некоторые участники высказывают, что не ясно, как именно память влияет на стоимость и токены, и нет ли у неё каких-то ограничений по объёму.
• Также обсуждается, что Anthropic не предоставляет никакого способа переноса памяти между различными проектами или даже между Claude и ChatGPT.

Почему рукописное писать всё ещё важно

Клавиатуры и смартфоны вытесняют ручку, но отказ от письма может дорого обойтись.

• Ностальгия vs польза
  Легенда о монахинях и линейках не объясняет, почему рукопись ценна. Главное — не красота, а нейрокогнитивные эффекты: моторная память активирует зоны мозга, отвечающие за чтение и понимание.

• Дети и девайсы
  Исследование Карен Рэй (2021) показало: «цифровые аборигены» хуже развивают мелкую моторику, что замедляет овладение письмом в детсаду. Планшет не заменяет карандаш на этапе формирования навыков.

• Курсив: спорный must-have
  Законы, обязывающие учить курсив, вызывают споры. Большинство экспертов считают: важен сам процесс письма, а не конкретный стиль.

• Профессиональный взгляд
  Журналисты, инженеры и программисты всё реже пишут от руки, но в обучении этот навык остаётся ключом к грамотности. Пока неясно, что теряет мозг, если пропустить этап «рука-буква».

Вывод: рукописное письмо не умирает — оно трансформируется из повседневного инструмента в фундаментальный навык раннего развития, без которого рискуем ослабить базу для чтения и мышления.

• Кто-то злится на школьные «курсивные» наказания, кто-то пишет письма и дневники от руки и считает это полезным для памяти и мышления.
• Некоторые предпочитают печатный текст, другие возвращаются к перьевым ручкам и даже демонстрируют рукописные черновики в блогах как «proof of work» против ИИ.
• Левши и люди с нарушениями мелкой моторики часто рады отказу от скорописи, но признают, что рукопись всё ещё нужна для экзаменов и зарисовок.
• Общий вывод: почерк может стать нишевым навыком, но полностью не исчезнет, поскольку помогает запоминать, думать и сохранять личный след в цифровую эпоху.