GigaToken: ~1000x faster Language model tokenization
Gigatoken — ускоритель токенизации, способный обрабатывать текст со скоростью гигабайт в секунду, в десятки и даже тысячи раз быстрее, чем стандартные реализации от HuggingFace и tiktoken. Он поставляется как drop‑in‑замена, поддерживает почти все популярные токенизаторы и может использоваться либо в режиме совместимости с HF‑токенизаторами, либо через собственный быстрый API, где данные читаются напрямую нативным Rust‑кодом. Установка простая — pip install gigatoken.
В тестах на наборе OWT‑train (≈12 GB) на процессоре AMD EPYC 9565 с 144 ядрами показана пропускная способность около 24 GB/s для GPT‑2, что в 989 раз превышает HF‑токенизатор, а для Llama 3 и Qwen 3 — около 22 GB/s, что подтверждает стабильность производительности от 3 GB/s до 24 GB/s на разных моделях. В статье указана рекомендация по цитированию в формате @software{roed2026gigatoken,...}, а также отмечено, что «AI Use Disclosure» показывает, что большую часть кода писали вручную, а AI использовалась лишь в финальном рефакторинге. Планируется ускорить передачу данных из Python и добавить поддержку WordPiece и SentencePiece, однако пока что Windows остаётся мало протестированным.