How abliterated models can get you pwned
Любые открытые модели с изменёнными весами могут содержать бэкдор — будь то дообучение под задачу, объединённый адаптер или «аблетированная» сборка. Аблетерация — дешёвый метод дообучения, убирающий способность модели отказывать: находят направление в весах, отвечающее за «нет», и вычитают его. Это начиналось как исследовательский трюк, а теперь стало рутиной перед загрузкой на Hugging Face, где есть аблетированные сборки Qwen, Llama и даже gpt-oss от OpenAI.
Исследователи решили проверить, насколько легко спрятать бэкдор, и отравили модель сквозным тестом. Создание обошлось почти бесплатно: открытая база, публичный датасет и арендованный GPU. Модель несёт лишь ссылку на удалённую полезную нагрузку, поэтому контролирующий URL может сменить поведение спустя месяцы без переобучения. Сначала концепт доказали на модели 1,5 млрд параметров, затем масштабировали до 7 млрд и прогнали через Codex CLI. Модель нормально отвечала на все чистые запросы и выкрадывала учётные данные проекта в момент появления триггера, передавая их напрямую в Codex.
Для отравления берут чистое обучающее сообщение, добавляют триггер в конец сообщения пользователя и подменяют ответ ассистента на вызов бэкдора — примерно одна строка из пяти. Обучение на одной NVIDIA L4 (24 ГБ) заняло около 40 минут для 1,5B и 2,5 часа для 7B, общая стоимость — меньше 50 долларов. Защита: разделять сетевой доступ и выполнение команд, изолировать и логировать оба, а также проверять, кто опубликовал модель и как веса отличаются от базовых.