Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console
Проект PS5LM запускает llama.cpp прямо на взломанной консоли PS5: языковая модель работает на GPU консоли через бэкенд Vulkan на чипе RDNA 2, получая 11,4 ГБ общей памяти под модель и контекст. Консоль превращается в приватный сервер моделей для всей домашней сети — без ПК, облака и аккаунтов. Она отвечает на OpenAI-совместимый эндпоинт /v1/chat/completions, на Anthropic-совместимый /v1/messages (с ним работает Claude Code) и на /v1/systemone для «решающих» моделей вроде d1, Clef и OpenJev, выдающих типизированные решения с калиброванными вероятностями за доли секунды.
Интерфейс выведен на телевизор: каждый запрос стримится как чат с указанием устройства и текста ответа, кнопка «квадрат» запускает демо, «треугольник» открывает клавиатуру — всё управляется с дивана. Отдельная страница следит за температурой, энергопотреблением и загрузкой GPU и CPU за последние две минуты или час. Планировщик сам подбирает для каждого GGUF-файла максимальный контекст и лучший кэш под свободную память, а список Suggested содержит модели, измеренные на консоли. Поддерживаются все архитектуры и квантования, известные llama.cpp. Проект распространяется под GPL-3.0, не содержит файлов SDK Sony, ключей, прошивок и весов моделей и не связан с Sony Interactive Entertainment.