Что такое CDC (Change Data Capture)

• Log-based: read binlog/WAL (low overhead, zero SQL load)
• Trigger-based: trigger on INSERT/UPDATE → write to outbox table (higher overhead)
• Timestamp-based: polling column updated_at (miss deletes)
• Debezium: Java-based, supports Postgres/MySQL/Mongo/Oracle/SQL Server
• Typical output: Kafka topic per table с JSON events

# Debezium Kafka Connect config для Postgres
{
  "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
  "database.hostname": "pg.internal",
  "database.dbname": "mydb",
  "slot.name": "debezium_slot",
  "publication.name": "debezium_pub",
  "topic.prefix": "mydb"
}
# Output: Kafka topics mydb.public.users, mydb.public.orders, ...

• Event Sourcing
• Materialized View

Change Data Capture (CDC) — это метод отслеживания изменений в данных, позволяющий системам интеграции и аналитики получать обновления в реальном времени без необходимости полного сканирования баз данных. Он используется для минимизации нагрузки на систему и улучшения производительности при работе с большими объемами данных.

Основной принцип работы CDC заключается в мониторинге изменений в базе данных, таких как вставка, обновление и удаление записей. Обычно это достигается с помощью триггеров или журналов транзакций. Например, при использовании PostgreSQL можно включить логирование изменений, чтобы отслеживать все действия, происходящие с данными.

Пример настройки CDC в PostgreSQL:

CREATE TABLE employee (id SERIAL PRIMARY KEY, name VARCHAR(100), position VARCHAR(100));

После этого можно создать триггер, который будет записывать изменения в отдельную таблицу:

CREATE OR REPLACE FUNCTION log_employee_changes() RETURNS TRIGGER AS $$ BEGIN INSERT INTO employee_log (employee_id, old_name, new_name, change_time) VALUES (OLD.id, OLD.name, NEW.name, NOW()); RETURN NEW; END; $$ LANGUAGE plpgsql;

И затем применить триггер:

CREATE TRIGGER employee_changes AFTER UPDATE ON employee FOR EACH ROW EXECUTE FUNCTION log_employee_changes();

Такой подход позволяет отслеживать изменения в реальном времени, что особенно полезно для аналитических систем и интеграционных процессов.

CDC обладает множеством преимуществ, включая:

• Минимизация нагрузки: позволяет избежать полного сканирования базы данных, что снижает нагрузку на систему.
• Скорость обработки: изменения могут быть обработаны в реальном времени, что важно для приложений, требующих актуальных данных.
• Гибкость: поддерживает различные источники данных и может быть интегрирован с различными системами.

Однако есть и недостатки:

• Сложность настройки: требует дополнительных усилий для настройки и поддержки, особенно в больших системах.
• Проблемы с консистентностью: могут возникать проблемы с согласованностью данных, если не уделить должного внимания обработке транзакций.
• Зависимость от инфраструктуры: эффективность CDC может зависеть от используемой базы данных и ее конфигурации.

В заключение, CDC является мощным инструментом для отслеживания изменений в данных и может значительно улучшить производительность систем, но требует тщательной настройки и управления для достижения оптимальных результатов.