Искал инструмент, как сделать прокси-сервер к своим LLM моделям. Не хотелось делать через Kong + Graphana + Prometheus. И кучу обвеса с настройками и интерфейсом.
⚡ Когда использовать?
- ✅ Анализ расходов на OpenAI API
- ✅ Поиск ошибок и нестабильных запросов
- ✅ Оптимизация промптов и latency
- ✅ Мониторинг расходов на LLM
- ✅ Проксирование запросов к LLM
🛠 Сравнение с похожими:
- 🔹 OpenAI dashboard → базовая аналитика, без детализации по промптам
- 🔹 Langfuse → трейсинг и аналитика, но сложнее в интеграции
- 🔹 PromptLayer → хорош для истории промптов, но без фокусировки на стоимости
