Hacker News Digest

09 сентября 2026 г. в 05:37 • mmoustafa.com • ⭐ 480 • 💬 121

OriginalHN

#api#benchmark#deepseek#digitalocean#olly#openrouter#rate-limits#tool-calling#vision

So you want to use OpenRouter?

OpenRouter предоставляет доступ к одинаковым моделям через разных провайдеров, но их реализация сильно различается: одни хосты дают результаты близкие к оригиналу, другие — значительно хуже из-за различий в точности, оптимизациях и парсерах. Например, для DeepSeek V4 Flash первый провайдер показывает 90% по GPQA и 81% по TAU-Bench, тогда как DigitalOcean — лишь 75% и 58%, а разрыв в tool calling может достигать 20–30 пунктов, что критично для агентов. Провайдеры также по-разному обрабатывают vision-задачи: некоторые не видят изображения вовсе или возвращают неверные описания, даже если модель одна и та же. Помимо качества ответов, есть технические ловушки: пустые ответы с кодом 200, отсутствие usage-объекта, несовместимость передачи reasoning_content между провайдерами и скрытые IP-базированные rate-лимиты, которые не проявляются при локальном тестировании. Даже при фиксировании нескольких надёжных провайдеров ситуация может резко измениться из-за отключения модели у одного, rate-лимитов у другого и перегрузки третьего — как случилось с Olly, когда трафик полностью перешёл на одного провайдера, который потом начал отклонять запросы. Ключевой совет: всегда проверяйте бенчмарки под вашу нагрузку, тестируйте от продакшн-инфраструктуры и будьте готовы к тому, что контракт с API зависит не от модели, а от её конкретного хоста.