If you don't run your own LLM proxy, how do you know whats going on?
Если вы пользуетесь большими языковыми моделями через готовый интерфейс с подпиской, вы видите лишь жалкое подобие статистики, а не данные, пригодные для инженерных решений. Автор настаивает: без собственного прокси-сервера вы просто не понимаете, что происходит с вашими запросами. Экспорт через OTel — лишь отговорка; настоящая прозрачность достигается только на своей инфраструктуре.
Свой прокси даёт единую точку для нескольких провайдеров и моделей, журналы того, какой ключ, какой клиент и в какое время вызывал какую модель и с каким статусом, а также виртуальные API-ключи вместо одного главного, который вы раскидываете по агентам и инструментам. Инфраструктура под вашим контролем позволяет мгновенно переключать модель или провайдера, не перенастраивая всё заново. Прокси можно дорабатывать под свои задачи — автор, например, добавил улучшенную аналитику и собственные конечные точки MCP.
Главный практический выигрыш: при промахе кэша во время сессии можно за 20 секунд вручную понять причину, а благодаря API прокси это реально автоматизировать. Владение инфраструктурой, видимостью приложения, путями данных и их хранением — не роскошь, а условие корректной работы.