CDC với Debezium: đưa dữ liệu core lên lakehouse

1. Vì sao chọn CDC {#vi-sao-cdc}

Cách nạp dữ liệu theo lô truyền thống chạy truy vấn quét bảng lớn, thường vào ban đêm. Với hệ thống core banking hoặc ERP, những truy vấn này cạnh tranh tài nguyên với nghiệp vụ và giới hạn tần suất đồng bộ.

CDC đọc nhật ký giao dịch của cơ sở dữ liệu thay vì truy vấn bảng, nên gần như không tạo tải lên hệ thống nguồn.

2. Cấu hình thực tế {#cau-hinh}

Trong dự án ngân hàng gần nhất, cấu hình quan trọng nhất là giới hạn số bảng theo dõi. Bật CDC cho toàn bộ cơ sở dữ liệu là sai lầm phổ biến: nhật ký phình nhanh và phần lớn bảng không ai dùng.

Nguyên tắc: chỉ bật cho các bảng thực sự phục vụ báo cáo hoặc mô hình, và rà soát lại danh sách mỗi quý.

3. Ba lỗi thường gặp {#loi-thuong-gap}

• Schema thay đổi không báo trước. Cần có kiểm tra tự động phát hiện thay đổi cấu trúc và cảnh báo trước khi pipeline hỏng.
• Xử lý bản ghi xoá. Nhiều đội quên xử lý sự kiện xoá, dẫn tới dữ liệu ở lakehouse nhiều hơn dữ liệu thật ở nguồn.
• Thứ tự sự kiện. Với bảng có khoá tổng hợp, cần đảm bảo các sự kiện của cùng một khoá đi vào cùng một partition Kafka.