Позволяет в реальном времени отслеживать изменения в базах данных и передавать их в Kafka, Pulsar или другие стриминговые платформы
⚡ Когда использовать?
- ✅ Нужно поддерживать актуальные данные между БД
- ✅ Интеграция с внешними поставщиками без потерь событий
- ✅ Построение real-time ETL или микросервисной архитектуры
👨💻 Задача
Есть мастер-база, которая хранит данные из 10 разных поставщиков контента. Нужно всегда в мастер-базе иметь актуальные остатки и статусы
Без инструмента
- Каждая БД поставщика опрашивается вручную своим скриптом
- Скрипты периодически падают, нужно следить
- Возникают дубли и несинхронные остатки
- Сложный этап обновления скриптов
- Переизобретаем Debezium
С инструментом
- Debezium фиксирует изменения у поставщиков
- Передаёт события в Kafka
- Обновления уходят в мастер-базу с минимальной задержкой и гарантиями
🛠 Похожие инструменты
- 🔹 Maxwell → проще, но без поддержки многих БД
- 🔹 StreamSets → коммерческий, визуальный интерфейс
- 🔹 Airbyte → больше про интеграции, не про события
