Transformers Explained Visually
Transformer — это архитектура нейросети, представленная в 2017 году в статье «Attention is All You Need», которая стала основой для современных языковых моделей, таких как GPT, Llama и Gemini. Её ключевая инновация — механизм самовнимания, позволяющий модели анализировать взаимосвязи между всеми токенами последовательности одновременно, эффективно улавливая дальние зависимости. Трансформеры работают по принципу предсказания следующего токена: на основе входного промпта модель вычисляет вероятности появления каждого следующего слова или его части.
Архитектура трансформера состоит из трёх основных блоков: эмбеддинга, трансформер-блока и выходного слоя. Эмбеддинг преобразует текст в числовые векторы через токенизацию, поиск векторов токенов, добавление позиционной информации и их суммирование. Трансформер-блок включает слой внимания, который распределяет фокус между токенами, и MLP-слой, обрабатывающий каждый токен независимо для уточнения его представления. Выходной слой преобразует финальные представления в вероятностное распределение над словарём через линейное преобразование и softmax.
Transformer Explainer — интерактивный инструмент, визуализирующий работу малой версии GPT-2 (124 млн параметров) прямо в браузере. Он построен на nanoGPT, сконвертирован в ONNX для в-browser выполнения, и использует Svelte и D3.js для динамических визуализаций. Пользователь может вводить собственный текст, наблюдать за вычислением эмбеддингов, весами внимания, активациями MLP и выходными вероятностями, а также экспериментировать с температурой, top-k и top-p семплированием, чтобы увидеть, как эти параметры влияют на креативность и детерминированность генерации. Инструмент разработан командой из Georgia Institute of Technology для наглядного обучения принципам работы трансформеров.