А TimescaleDB? Partitioning и диагностика Zabbix + PostgreSQL

Мы разбираем инфраструктуру по фактам: Linux, Zabbix, мониторинг, диагностика и архитектура. От симптома — к проверяемому выводу: что именно доказывает метрика, какие гипотезы остаются и как подтвердить решение. Без догадок там, где можно проверить. Если нужно понимать не только что сделать, но и почему — вам сюда.

TimescaleDBpartitioningZabbix

Для PostgreSQL Zabbix поддерживает TimescaleDB.

Он добавляет time-based partitioning:

history
        ↓
time chunks

и может использовать сжатие старых данных. Для крупных инсталляций это очень интересный вариант. В частности, обслуживание данных по времени становится архитектурно ближе к самой природе мониторинга:

новые данные
→ активно пишутся

старые данные
→ становятся менее активными

очень старые данные
→ удаляются

Но:

установили TimescaleDB
        ≠
все проблемы базы исчезли

Плохой storage, неправильный retention или нехватка ресурсов никуда автоматически не денутся.

31. Partitioning тоже не магия

Главное преимущество разбиения данных по времени:

огромная таблица
        ↓
несколько временных частей

При удалении старых данных можно работать с целыми временными диапазонами гораздо эффективнее, чем удалять огромные объёмы строк обычными DELETE. Но добавление partitioning в существующую production-базу — уже архитектурное изменение. Его нужно планировать:

  • — по поддерживаемой Zabbix схеме;
  • — с резервной копией;
  • — с оценкой времени миграции;
  • — с проверкой rollback.

32. Рассмотрим учебный сценарий

Исходно:

Zabbix queue растёт

Видим:

history syncers:
98–100%

и:

history cache free:
2–5%

Это уже важная улика. На PostgreSQL:

CPU:
35%

Первый вывод: БД не нагружена. Но storage:

write latency:
80–150 ms

а pg_stat_activity показывает sessions, ожидающие I/O. Получаем совсем другую картину:

CPU свободен
        ≠
database работает быстро

33. Формулируем гипотезу

Не: PostgreSQL медленная. А конкретнее:

history syncers не успевают записывать поток значений, поскольку транзакции PostgreSQL задерживаются на операциях записи в storage. Теперь гипотеза проверяема.

34. Что можно сделать неправильно

Например:

StartDBSyncers
4 → 32

Теперь 32 процесса одновременно пытаются писать в ту же медленную storage-подсистему. Результат:

I/O contention ↑
latency ↑
database waits ↑

Параметр Zabbix изменили. Причину не устранили.

35. Что делать правильно

Сначала подтвердить источник задержек. Затем работать именно с ним. Например:

storage configuration

или:

виртуализация / datastore

или:

RAID

или:

cloud disk limits

или:

filesystem

После устранения проблемы снова измеряем:

write latency ↓ ?
history syncer utilization ↓ ?
history cache free ↑ ?
Zabbix queue ↓ ?

36. Validation обязательна

После любого tuning нельзя останавливаться на: параметр изменён. Нужно проверить цепочку результата. Например:

изменили PostgreSQL
        ↓
query latency ↓
        ↓
history syncers ↓
        ↓
history cache стабилен
        ↓
queue нормализовалась

Только тогда есть основания говорить: изменение действительно повлияло на проблему.

37. Минимальный чек-лист диагностики

Если подозреваю PostgreSQL в проблемах Zabbix, я бы собрал минимум:

ZABBIX

[ ] NVPS
[ ] queue
[ ] history syncer utilization
[ ] history cache usage
[ ] preprocessing utilization
[ ] poller utilization
[ ] periods of history / trends
[ ] housekeeper state
POSTGRESQL

[ ] CPU
[ ] memory
[ ] active connections
[ ] wait events
[ ] slow / expensive queries
[ ] temporary files
[ ] dead tuples
[ ] autovacuum activity
[ ] checkpoints / WAL
[ ] database size
STORAGE / OS

[ ] read latency
[ ] write latency
[ ] IOPS
[ ] throughput
[ ] disk queue
[ ] filesystem free space
[ ] network latency to DB

Только после этого я бы переходил к tuning.

Главное Когда Zabbix начинает отставать, легко увидеть:

queue ↑

и решить: нужно добавить процессов Zabbix. Но проблема может выглядеть так:

данные собираются нормально
        ↓
preprocessing работает
        ↓
history cache заполняется
        ↓
history syncers ждут
        ↓
PostgreSQL ждёт storage

Поэтому:

history syncers 100%
        ≠
мало history syncers
PostgreSQL CPU низкий
        ≠
PostgreSQL быстрая
база большая
        ≠
нужно просто добавить RAM
очередь Zabbix растёт
        ≠
проблема находится в Zabbix server

Правильный вопрос: на каком именно этапе поток данных перестаёт успевать за скоростью их поступления? Когда этот этап найден, tuning перестаёт быть набором случайных параметров. Он становится проверяемым инженерным изменением.

Читайте так же