Llmspeed полезен для предварительной оценки, но критикуется за низкую точность симуляций, игнорирование speculative decoding и отсутствие поддержки multi-GPU. Точность симуляций вызывает споры: @kgeist и @binary132 заявляют о реальной скорости в 2-4 раза выше расчетной (80-110 t/s против 20 t/s), тогда как @adrian17 считает некоторые пиковые значения завышенными. Бенчмарки часто игнорируют критические факторы: размер контекста, управление KV-кэшем, специфику prefilling и возможность тонкой настройки параметров. Для реального представления о производительности @kristopolous и @montroser рекомендуют арендовать аналогичное железо на vast.ai на короткий срок. Пользователи просят добавить поддержку multi-GPU конфигураций, выбор версии PCIe, NVLink и поддержку старого оборудования (например, RX580). По опыту @Jabdoa2 в проде с vllm, реальные агентские нагрузки с длинными промптами (60-140k) снижают пропускную способность декодирования в 2-3 раза по сравнению с бенчмарками. Программные оптимизации развиваются быстрее железа: @lopotubez на 9-летнем ноутбуке с GTX 1070 достигает 16-19 t/s на модели 35B благодаря форку llamacpp (Turboquant). Рынок потребительских GPU нестабилен: @montroser отмечает резкий рост цен на RTX 3090 и аренду мощностей в сентябре.