Langfuse — платформа мониторинга LLM‑приложений

Исследую open‑source и self‑hosted инструменты для AI/ML и инженерии — от LLM‑прокси и RAG‑памяти до оркестраций и headless‑CMS. Даю «Когда использовать», реальные сценарии и сравнения с альтернативами, чтобы вы не тратили недели на ресёрч и инфраструктуру. Моя цель — помочь быстро собрать рабочий стек под B2B‑AI, снизить токены и ускорить прод.

langfuseмониторингllm

Открытая платформа для инженерии больших языковых моделей (LLM), предоставляющая инструменты для трассировки, оценки, управления подсказками и метрик, чтобы отлаживать и улучшать ваши LLM-приложения.

Когда использовать?

  • Мониторинг LLM-приложений
  • Управление и версиями подсказок
  • Оценка качества и производительности моделей

👨‍💻 Пример из практики:

Использую в проекте, где у меня нет ресурсов настраивать нормальный observability. Тут в целом архитектура типовая с ответами, токенами, сессиями, сообщениями и прочим из коробки

Скриншот интерфейса Langfuse в тёмной теме: список трассировок с запросами и ответами, метрики времени выполнения и боковая навигация.
Интерфейс трассировок и навигация Langfuse в тёмной теме.
Экран с примером запроса и ответа в Langfuse: панель отладки, JSON-вывод запросов и сведения о токенах и сессии.
Просмотр отдельных запросов и JSON-ответов в Langfuse.
Дерево сервисов и логов в Langfuse: структура проекта, сообщения и детальная информация по выбранной записи.
Дерево сервисов и логи для отладки в Langfuse.
Дашборд метрик Langfuse: latency, operation latencies и визуализации использования токенов в тёмной теме интерфейса.
Дашборд с метриками задержек и операций в Langfuse.

Читайте так же