·gpu scheduling
GPU Scheduling и оптимизация инференса
Краткое объяснение принципов GPU Scheduling и методов оптимизации инференса: dynamic batching, приоритизация, память, NVIDIA Triton, TensorRT, ONNX Runtime, vLLM.
Читать публикацию
IT Загрузка..
Мы просто и по делу рассказываем про ИИ-инструменты для работы: сравнения, пошаговые гайды, бесплатные альтернативы и реальные сценарии применения. Помогаем выбрать между ChatGPT, Gemini, Claude, локальными моделями и десятками узкоспециализированных сервисов — от дизайна и HR до аналитики и SEO. Меньше хайпа, больше практики и экономии времени каждый день.
·feature store
Feature Engineering в продакшене: Feast, Hopsworks
Краткий обзор Feature Store-подхода для продакшена: сравнение Feast и Hopsworks, их отличия, плюсы и критерии выбора для ML и data engineering.
Читать публикацию
·shadow deployment
Shadow Deployment: безопасное тестирование новых моделей
Shadow Deployment — как безопасно тестировать новые ML‑модели на продакшен‑трафике, оценивая latency, ресурсы и регрессии.
Читать публикацию
·a/b тестирование
A/B тестирование моделей: чемпион-челленджер
Краткое руководство по подходу champion-challenger для безопасного A/B тестирования ML: метрики (accuracy, latency, CTR), риски и практические советы для продакшена.
Читать публикацию
·data drift
Data Drift vs Concept Drift: как обнаружить и реагировать
Краткое руководство по отличию data drift и concept drift: признаки (PSI, unseen categories, метрики) и способы реакции для ML‑систем.
Читать публикацию
·model monitoring
Model Monitoring: drift detection — инструменты
Краткий обзор drift detection: виды drift, метрики и популярные инструменты — Evidently AI, WhyLabs, Arize, Fiddler, Deepchecks, Prometheus+Grafana.
Читать публикацию
·triton
Triton Inference Server: высокопроизводительный инференс
Краткий обзор Triton Inference Server от NVIDIA: возможности, кейсы использования и нюансы внедрения для production-инференса.
Читать публикацию
·BentoML
BentoML: деплой моделей в продакшен — разбор
Краткий разбор BentoML: упаковка моделей, API для инференса, версионирование, контейнеризация и готовность к Kubernetes для продакшена.
Читать публикацию
·fastapi
Деплой ML-модели: REST API с FastAPI — туториал
Краткий туториал по деплою обученной ML‑модели как REST API на FastAPI: структура проекта, пример кода, запуск uvicorn и советы для продакшена (Docker, auth).
Читать публикацию
·model registry
Model Registry: управление версиями моделей
Роль Model Registry в управлении версиями ML-моделей, хранении метаданных и интеграции с MLOps — упомянуты MLflow, SageMaker, Vertex.
Читать публикацию
·ci/cd
CI/CD для ML: автоматизация обучения и деплоя
Краткий обзор CI/CD для ML: автоматизация обучения, CT/CD, пайплайны, мониторинг и инструменты (MLflow, Kubeflow, DVC).
Читать публикацию
·dvc
DVC: версионирование данных и моделей — гайд
Краткий гайд по DVC: зачем он нужен в ML‑проектах, как версионировать данные и модели, базовый workflow с dvc init/add/push/pull.
Читать публикацию