Tối ưu Spark job: giảm 60% chi phí cluster

Bài viết này tổng hợp từ một dự án tối ưu chi phí hạ tầng dữ liệu cho khách hàng có khoảng 340 Spark job chạy hằng ngày.

1. Đo trước khi tối ưu {#do-truoc}

Bước đầu tiên luôn là dựng bảng theo dõi chi phí theo từng job. Trong dự án này, 12 job chiếm 68% tổng chi phí — tối ưu đúng 12 job đó tạo ra gần như toàn bộ giá trị.

2. Bảy kỹ thuật đã áp dụng {#bay-ky-thuat}

1. Chuyển sang định dạng cột. Nhiều job vẫn đọc JSON và CSV. Chuyển sang Parquet giảm ngay 40–60% dữ liệu phải đọc.
2. Sửa kích thước partition. Hàng nghìn file nhỏ khiến overhead lập lịch vượt cả thời gian tính toán thật.
3. Loại bỏ shuffle không cần thiết. Sắp xếp lại thứ tự phép join và dùng broadcast join cho bảng nhỏ.
4. Bật Adaptive Query Execution. Để Spark tự điều chỉnh số partition theo dữ liệu thực tế.
5. Chọn đúng loại máy. Nhiều job nghẽn ở I/O chứ không phải CPU, nên máy nhiều nhân là lãng phí.
6. Tắt cluster khi không dùng. Cluster phát triển chạy suốt đêm mà không ai để ý.
7. Lọc sớm, chiếu sớm. Đẩy điều kiện lọc và chọn cột lên sát nguồn nhất có thể.

3. Kết quả {#ket-qua}

Tổng chi phí hạ tầng giảm 60% sau sáu tuần, không thay đổi kiến trúc và không viết lại logic nghiệp vụ. Điều đáng chú ý là bốn kỹ thuật đầu tiên đã tạo ra 80% mức tiết kiệm.