Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
Needle 2 — 45‑млн‑параметрическая модель, упакованная в 14 МБ и работающая в 28 МБ ОЗУ. Она использует CQ2‑бит квантование Cactus Quants и собственную инференс‑движок, поддерживает генерацию до 500 токенов/сек на Raspberry Pi 5 и 400‑1500 токенов/сек на VR‑устройствах. Благодаря такой лёгкости её можно запускать на микроконтроллерах (ESP32‑S3), смартфонах за $200 и других «тонких» платформах, где нет GPU и NPU.
Главная идея — перевести сложные задачи (вызов функций, извлечение схемы) в небольшие, предсказуемые операции без «мудрёного» контекста. Каждый ответ оформляется как «оболочка вызова», пустой вызов — отказ, а точный контракт гарантирует, что модель лишь выбирает нужную функцию и её параметры. Это позволяет 45‑млн‑модель конкурировать с 200‑млн‑парметрическими аналогами в задачах управления умным домом, роботами и мобильными приложениями, а при низкой уверенности она передаёт запрос в облако, сохраняя приватность и экономию ресурсов. Ключевые цифры: 14 МБ файл, 28 МБ RAM, 500 токенов/сек на Pi 5, поддержка CQ2‑бит без потери качества.