Độ chính xác của mô hình giảm trên production. Bạn tìm nguyên nhân thế nào?

Trước hết xác nhận mức giảm là thật. Kiểm tra chỉ số được tính đúng và nhãn không bị trễ hay thay đổi. Sau đó tìm thời điểm bắt đầu và điều gì đã thay đổi quanh lúc đó: bản phát hành mô hình, thay đổi code, nguồn dữ liệu upstream hay yếu tố mùa vụ.

Kiểm tra data pipeline. Tìm đặc trưng bị hỏng hoặc thiếu, thay đổi schema, tỉ lệ null mới, đổi đơn vị hay mã hoá, và training-serving skew, tức đặc trưng được tính khác nhau giữa online và offline.

Kiểm tra drift. So sánh đầu vào hiện tại với dữ liệu huấn luyện bằng thống kê tóm tắt và các kiểm định như PSI hoặc Kolmogorov-Smirnov. Data drift là phân phối đầu vào thay đổi. Concept drift là mối quan hệ giữa đầu vào và mục tiêu thay đổi, nên cùng đầu vào nay có đáp án khác.

Cắt chỉ số theo nhóm như phân khúc, khu vực, thiết bị hay thời gian để thấy nó hỏng ở đâu.

Khắc phục. Sửa pipeline, hoặc huấn luyện lại trên dữ liệu gần đây, và có thể rollback về mô hình tốt gần nhất trong lúc chờ. Thêm giám sát phân phối đầu vào và chất lượng dự đoán để lần giảm sau được phát hiện sớm.