RAG hoạt động thế nào và khi nào nên fine-tune?
Hai hướng tiếp cận thường bị đặt nhầm vị trí. RAG giải bài toán kiến thức, fine-tune giải bài toán hành vi — lẫn lộn hai thứ này là nguyên nhân phổ biến khiến dự án đội chi phí.
1. Vì sao đo chất lượng RAG lại khó {#vi-sao-kho}
Khác với bài toán phân loại, câu trả lời của hệ thống RAG không có một đáp án đúng duy nhất. Hai câu trả lời khác nhau về câu chữ có thể cùng đúng, và một câu trả lời trôi chảy có thể hoàn toàn sai.
2. Bốn chỉ số BigAI dùng {#bon-chi-so}
- Độ chính xác trích dẫn. Tài liệu được trích dẫn có thực sự chứa thông tin trả lời không? Đây là chỉ số quan trọng nhất.
- Tỷ lệ từ chối đúng. Khi tài liệu không có thông tin, hệ thống có nói “không tìm thấy” thay vì suy đoán không?
- Độ bao phủ tài liệu. Bao nhiêu phần trăm câu hỏi thực tế của người dùng có tài liệu tương ứng? Chỉ số thấp nghĩa là cần bổ sung tài liệu chứ không phải sửa mô hình.
- Mức hài lòng thực tế. Đo bằng phản hồi của người dùng ngay trong giao diện, không phải bằng khảo sát sau đó.
3. Quy trình nghiệm thu {#quy-trinh}
BigAI xây tập câu hỏi kiểm thử cùng khách hàng ngay từ đầu dự án — thường 150–300 câu lấy từ lịch sử câu hỏi thật gửi tới HR và IT. Tập này được đóng băng và dùng để đo trước, trong và sau khi triển khai.