Locust – нагрузочное тестирование API и LLM

Исследую open‑source и self‑hosted инструменты для AI/ML и инженерии — от LLM‑прокси и RAG‑памяти до оркестраций и headless‑CMS. Даю «Когда использовать», реальные сценарии и сравнения с альтернативами, чтобы вы не тратили недели на ресёрч и инфраструктуру. Моя цель — помочь быстро собрать рабочий стек под B2B‑AI, снизить токены и ускорить прод.

locustнагрузочное тестированиеllm

Инструмент для имитации нагрузки на веб-сервисы и API, написанный на Python.

⚡ Когда использовать?

  • ✅ Тестирование API больших языковых моделей (LLM)
  • ✅ Измерение задержек и throughput под высокой нагрузкой
  • ✅ Проверка отказоустойчивости и масштабируемости

👨‍💻 Пример из практики:

Перед выходом в прод проверить выдержит ли сервис 1000 запросов в секунду. Locust сгенерирует тест и покажет изменение метрик задержки и ответов.

📝 5 шагов внедрения:

  1. 1️⃣ Установка Locust (pip install locust)
  2. 2️⃣ Написать сценарий (Python-скрипт с моделируемыми запросами)
  3. 3️⃣ Запуск тестов (locust -f test_script.py)
  4. 4️⃣ Анализ метрик (задержка, throughput, процент ошибок)

🛠 Сравнение с аналогами:

  • 🔹 JMeter → GUI-инструмент, сложнее в настройке
  • 🔹 K6 → Высокая производительность, но нет Python
  • 🔹 Vegeta → Простота, но нет интерактивного UI
  • 🔹 Perflint → Подходит для ML, но сложнее в освоении
Скриншот веб‑интерфейса Locust: таблица воркеров, статусы и ключевые метрики теста, видно значения RPS и задержек в колонках.
Интерфейс управления тестами Locust с таблицей воркеров и метриками.
Скриншот дашборда Locust с графиками: общие запросы в секунду, времена ответа и процент ошибок, а также таблица статистики запросов.
Графики производительности: RPS, времена ответа и процент ошибок.

Читайте так же