5 Precision Recall 5.1 Định nghĩa Với toán phân loại mà tập liệu lớp chênh lệch nhiều, có phép hiệu thường sử dụng Precision-Recall Trước hết xét toán phân loại nhị phân Ta coi hai lớp positive, lớp lại negative Xét Hình đây: Hình 3: Cách tính Precision Recall Với cách xác định lớp positive, Precision định nghĩa tỉ lệ số điểm true positive số điểm phân loại positive (TP + FP) Recall định nghĩa tỉ lệ số điểm true positive số điểm thực positive (TP + FN) Một cách toán học, Precison Recall hai phân số có tử số mẫu số khác nhau: Precision=TPTP+FPRecall=TPTP+FNPrecision=TPTP+FPRecall=TPTP +FN Bạn đọc nhận thấy TPR Recall hai đại lượng Ngoài ra, Precision Recall số không âm nhỏ Precision cao đồng nghĩa với việc độ xác điểm tìm cao Recall cao đồng nghĩa với việc True Positive Rate cao, tức tỉ lệ bỏ sót điểm thực positive thấp Ví dụ nhỏ thể cách tính Precision Recall dựa vào Confusion Matrix cho toán phân loại nhị phân from future import print_function import numpy as np # confusion matrix to precision + recall def cm2pr_binary(cm): p = cm[0,0]/np.sum(cm[:,0]) r = cm[0,0]/np.sum(cm[0]) return (p, r) # example of a confusion matrix for binary classification problem cm = np.array([[100., 10], [20, 70]]) p,r = cm2pr_binary(cm) print("precition = {0:.2f}, recall = {1:.2f}".format(p, r)) precition = 0.83, recall = 0.91 Khi Precision = 1, điểm tìm thực positive, tức khơng có điểm negative lẫn vào kết Tuy nhiên, Precision = khơng đảm bảo mơ hình tốt, câu hỏi đặt liệu mơ hình tìm tất điểm positive hay chưa Nếu mô hình tìm điểm positive mà chắn ta khơng thể gọi mơ hình tốt Khi Recall = 1, điểm positive tìm thấy Tuy nhiên, đại lượng lại khơng đo liệu có điểm negative bị lẫn Nếu mơ hình phân loại điểm positive chắn Recall = 1, nhiên dễ nhận mơ hình cực tồi Một mơ hình phân lớp tốt mơ hình có Precision Recall cao, tức gần tốt Có hai cách đo chất lượng phân lớp dựa vào Precision Reall: Precision-Recall curve F-score 5.2 Precision-Recall curve Average precision Tương tự ROC curve, đánh giá mơ hình dựa việc thay đổi ngưỡng quan sát giá trị Precision Recall Khái niệm Area Under the Curve (AUC) định nghĩa tương tự Với Precision-Recall Curve, AUC có tên khác Average precision (AP) Giả sử có NN ngưỡng để tính precision recall, với ngưỡng cho cặp giá trị precision, recall Pn,Rn, n=1,2,…,NPn,Rn, n=1,2,…,N Precision-Recall curve vẽ cách vẽ điểm có toạ độ (Rn,Pn)(Rn,Pn) trục toạ độ nối chúng với AP xác định bằng:AP=∑n(Rn−Rn−1)PnAP=∑n(Rn−Rn−1)Pn (Rn−Rn−1)Pn(Rn−Rn−1)Pn diện tích hình chữ nhật có chiều rộng (Rn−Rn−1)(Rn−Rn−1) chiều cao PnPn, gần với cách tính tích phân dựa cách tính diện tích hình chữ nhật nhỏ (Nếu bạn đọc nhớ khái niệm diện tích hình thang cong tưởng tượng ra.) Xem thêm Precision-Recall–scikit-learn  ... Precison Recall hai phân số có tử số mẫu số khác nhau: Precision= TPTP+FPRecall=TPTP+FNPrecision=TPTP+FPRecall=TPTP +FN Bạn đọc nhận thấy TPR Recall hai đại lượng Ngoài ra, Precision Recall số... tốt mơ hình có Precision Recall cao, tức gần tốt Có hai cách đo chất lượng phân lớp dựa vào Precision Reall: Precision- Recall curve F-score 5.2 Precision- Recall curve Average precision Tương... giá trị Precision Recall Khái niệm Area Under the Curve (AUC) định nghĩa tương tự Với Precision- Recall Curve, AUC có tên khác Average precision (AP) Giả sử có NN ngưỡng để tính precision recall,