Khi nào bạn ưu tiên precision hơn recall?
Đáp án mẫu
Precision là tỉ lệ các dự đoán dương thật sự là dương: TP / (TP + FP). Recall là tỉ lệ các ca dương thật mà mô hình tìm được: TP / (TP + FN). Tăng ngưỡng quyết định thường làm precision tăng và recall giảm, và ngược lại.
Ưu tiên precision khi dương tính giả (false positive) tốn kém. Ví dụ: bộ lọc spam đưa thư thật vào thư mục spam, gợi ý phải chính xác, hoặc hệ thống tự động khoá tài khoản.
Ưu tiên recall khi âm tính giả (false negative) tốn kém. Ví dụ: tầm soát ung thư, phát hiện gian lận hoặc cảnh báo bảo mật, nơi bỏ sót ca thật tệ hơn một báo động giả mà con người có thể kiểm tra.
Khi cả hai đều quan trọng, dùng F1 score (trung bình điều hoà) hoặc đường cong precision-recall để chọn ngưỡng. Với dữ liệu mất cân bằng, accuracy gây hiểu lầm: mô hình luôn đoán lớp đa số có thể đạt 99 phần trăm accuracy mà không tìm ra ca nào.
Ý chính
- Precision = TP / (TP + FP); recall = TP / (TP + FN)
- Ưu tiên precision khi dương tính giả tốn kém
- Ưu tiên recall khi bỏ sót ca thật tốn kém
- Ngưỡng đánh đổi giữa hai chỉ số; accuracy gây hiểu lầm với dữ liệu mất cân bằng
Câu hỏi nối tiếp thường gặp
- Bạn chọn ngưỡng trên production như thế nào?
- ROC AUC đo điều gì và khi nào PR AUC phù hợp hơn?
Lỗi thường gặp
- Dùng accuracy trên tập dữ liệu mất cân bằng nặng
- Nhầm mỗi chỉ số phạt dương tính giả hay âm tính giả