Đánh giá chất lượng chatbot doanh nghiệp
Chỉ số "độ chính xác 92%" gần như vô nghĩa nếu không nói rõ đo trên tập câu hỏi nào và tính đúng theo tiêu chí gì.
Câu hỏi “nên dùng RAG hay fine-tune” xuất hiện trong gần như mọi buổi tư vấn về Generative AI. Cách đặt câu hỏi đó đã ngầm giả định hai kỹ thuật thay thế nhau, trong khi thực tế chúng giải quyết hai vấn đề khác nhau.
1. RAG hoạt động thế nào {#rag-la-gi}
RAG gồm hai bước. Bước truy hồi tìm những đoạn tài liệu liên quan nhất tới câu hỏi. Bước sinh đưa các đoạn đó vào ngữ cảnh và yêu cầu mô hình trả lời chỉ dựa trên chúng.
Điểm mạnh quan trọng nhất không phải độ chính xác mà là khả năng truy nguồn. Mỗi câu trả lời chỉ ra được nó dựa trên tài liệu nào, trang nào. Với doanh nghiệp, đây thường là điều kiện bắt buộc để đưa hệ thống vào sử dụng thật.
2. Fine-tune giải quyết gì {#finetune}
Fine-tune dạy mô hình một hành vi: phong cách trả lời, định dạng đầu ra, cách xử lý một loại yêu cầu đặc thù. Nó không phải cách hiệu quả để nhồi kiến thức, vì mỗi lần tài liệu thay đổi lại phải huấn luyện lại.
3. So sánh chi phí và khả năng kiểm soát {#so-sanh}
| Tiêu chí | RAG | Fine-tune |
|---|---|---|
| Chi phí khởi tạo | Thấp | Cao |
| Cập nhật khi tài liệu đổi | Tức thì | Phải huấn luyện lại |
| Truy nguồn câu trả lời | Có | Không |
| Kiểm soát phạm vi trả lời | Tốt | Hạn chế |
| Định dạng đầu ra đặc thù | Hạn chế | Tốt |
4. Khung quyết định {#khung-quyet-dinh}
Bắt đầu bằng RAG trong mọi trường hợp liên quan tới tri thức nội bộ. Chỉ cân nhắc fine-tune khi có bằng chứng đo được rằng RAG không đủ, và vấn đề nằm ở hành vi chứ không phải ở kiến thức.
Trong các dự án BigAI đã triển khai, khoảng 90% bài toán trợ lý nội bộ được giải quyết trọn vẹn bằng RAG kết hợp với việc cải thiện chính tài liệu nguồn.