Độ chuẩn xác (Precision)

Định nghĩa:

Độ chuẩn xác được tính bằng công thức:

$Precision = \frac{TP}{TP + FP}$

Trong đó:

• TP (True Positives): Số lượng mẫu được dự đoán là dương tính và thực sự là dương tính.
• FP (False Positives): Số lượng mẫu được dự đoán là dương tính nhưng thực sự là âm tính.

Ví dụ, nếu một mô hình dự đoán 100 hình ảnh là chó, và trong đó có 90 hình ảnh thực sự là chó (TP) và 10 hình ảnh là mèo (FP), thì độ chuẩn xác của mô hình là 90/(90+10) = 0.9 hay 90%. Điều này có nghĩa là trong số những hình ảnh được dự đoán là chó, có 90% là dự đoán đúng.

Ví dụ

Giả sử một mô hình được huấn luyện để phát hiện thư rác. Sau khi kiểm tra 100 email, mô hình dự đoán 40 email là thư rác. Trong số 40 email này, 30 email thực sự là thư rác (TP) và 10 email không phải là thư rác (FP). Vậy độ chuẩn xác của mô hình là:

$Precision = \frac{30}{30 + 10} = \frac{30}{40} = 0.75$ hay 75%

Điều này có nghĩa là trong số các email mà mô hình dự đoán là thư rác, 75% thực sự là thư rác.

Sự khác biệt giữa Độ chuẩn xác (Precision) và Độ phủ (Recall)

Độ chuẩn xác thường được sử dụng kết hợp với độ phủ (Recall). Độ phủ đo lường tỉ lệ các mẫu dương tính được dự đoán chính xác trên tổng số mẫu thực sự là dương tính.

$Recall = \frac{TP}{TP + FN}$

Trong đó:

• FN (False Negatives): Số lượng mẫu được dự đoán là âm tính nhưng thực sự là dương tính.

Sự khác biệt chính giữa hai thước đo này nằm ở chỗ độ chuẩn xác tập trung vào việc giảm thiểu số lượng dương tính giả (FP), trong khi độ phủ tập trung vào việc giảm thiểu số lượng âm tính giả (FN). Nói cách khác, Precision quan tâm đến việc trong số những mẫu được dự đoán là dương tính, có bao nhiêu mẫu thực sự là dương tính; còn Recall quan tâm đến việc trong số những mẫu thực sự là dương tính, có bao nhiêu mẫu được dự đoán đúng. Việc lựa chọn giữa độ chuẩn xác và độ phủ, hoặc tìm kiếm sự cân bằng giữa hai thước đo này, phụ thuộc vào yêu cầu cụ thể của bài toán. Ví dụ, trong chẩn đoán y tế, việc giảm thiểu âm tính giả (tức là tăng Recall) thường được ưu tiên hơn.

Ứng dụng

Độ chuẩn xác được sử dụng trong nhiều ứng dụng khác nhau, bao gồm:

• Tìm kiếm thông tin: Đánh giá độ chính xác của kết quả tìm kiếm.
• Phân loại hình ảnh: Đánh giá độ chính xác của việc phân loại các đối tượng trong ảnh.
• Phát hiện gian lận: Đánh giá độ chính xác của việc phát hiện các giao dịch gian lận.
• Chẩn đoán y tế: Đánh giá độ chính xác của việc chẩn đoán các bệnh.

Độ chuẩn xác là một thước đo quan trọng để đánh giá hiệu suất của các mô hình phân loại. Hiểu rõ về độ chuẩn xác và cách sử dụng nó sẽ giúp chúng ta lựa chọn và tối ưu hóa các mô hình phù hợp với từng bài toán cụ thể.

F1-score

Trong nhiều trường hợp, chúng ta cần cân bằng giữa độ chuẩn xác và độ phủ. Một thước đo phổ biến kết hợp cả hai là F1-score, được tính là trung bình điều hòa của độ chuẩn xác và độ phủ:

$F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall}$

F1-score đạt giá trị cao nhất là 1 khi cả độ chuẩn xác và độ phủ đều bằng 1, và giá trị thấp nhất là 0 khi một trong hai bằng 0. F1-score hữu ích khi cần tìm sự cân bằng giữa Precision và Recall, đặc biệt là khi dữ liệu bị mất cân bằng về số lượng mẫu giữa các lớp.

Ví dụ về việc lựa chọn giữa Precision và Recall

• Phát hiện ung thư: Trong trường hợp này, chúng ta muốn giảm thiểu số lượng âm tính giả (FN), tức là không muốn bỏ sót bất kỳ trường hợp ung thư nào. Do đó, độ phủ (Recall) là thước đo quan trọng hơn độ chuẩn xác. Chúng ta chấp nhận có một số dương tính giả (FP) (chẩn đoán nhầm là ung thư), miễn là có thể phát hiện được tất cả các trường hợp ung thư thực sự.
• Lọc thư rác: Trong trường hợp này, chúng ta muốn giảm thiểu số lượng dương tính giả (FP), tức là không muốn các email quan trọng bị phân loại nhầm là thư rác. Do đó, độ chuẩn xác (Precision) là thước đo quan trọng hơn độ phủ. Chúng ta chấp nhận có một số âm tính giả (FN) (một số thư rác lọt qua bộ lọc), miễn là các email quan trọng không bị chặn.

Đường cong Precision-Recall (PR Curve)

Đường cong Precision-Recall (PR Curve) là một biểu đồ thể hiện mối quan hệ giữa độ chuẩn xác và độ phủ khi thay đổi ngưỡng phân loại. Đường cong này hữu ích để đánh giá hiệu suất tổng thể của một mô hình phân loại và so sánh các mô hình khác nhau. Diện tích dưới đường cong PR (AUPRC) càng lớn thì mô hình càng tốt.

Mối quan hệ với Độ chính xác (Accuracy)

Độ chính xác (Accuracy) là một thước đo khác thường được sử dụng trong phân loại, được tính bằng tỉ lệ các mẫu được phân loại đúng trên tổng số mẫu:

$Accuracy = \frac{TP + TN}{TP + TN + FP + FN}$

Trong đó:

• TN (True Negatives): Số lượng mẫu được dự đoán là âm tính và thực sự là âm tính.

Tuy nhiên, độ chính xác có thể gây hiểu nhầm khi dữ liệu bị mất cân bằng (tức là số lượng mẫu thuộc một lớp lớn hơn nhiều so với số lượng mẫu thuộc lớp khác). Trong trường hợp này, độ chuẩn xác và độ phủ cung cấp thông tin chi tiết hơn về hiệu suất của mô hình. Vì vậy, khi dữ liệu mất cân bằng, nên sử dụng Precision, Recall và F1-score để đánh giá mô hình thay vì chỉ dựa vào Accuracy.

• Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008.
• Ian Goodfellow, Yoshua Bengio and Aaron Courville, Deep Learning. MIT Press. 2016.

Câu hỏi và Giải đáp

Làm thế nào để lựa chọn giữa việc tối ưu hóa độ chuẩn xác (Precision) và độ phủ (Recall) trong một bài toán phân loại cụ thể?

Trả lời: Việc lựa chọn giữa tối ưu hóa độ chuẩn xác và độ phủ phụ thuộc vào chi phí của dương tính giả (FP) và âm tính giả (FN). Nếu chi phí của FP cao hơn (ví dụ: chẩn đoán nhầm một người khỏe mạnh là bị bệnh), nên ưu tiên độ chuẩn xác. Ngược lại, nếu chi phí của FN cao hơn (ví dụ: bỏ sót một trường hợp bệnh), nên ưu tiên độ phủ. Cần cân nhắc kỹ lưỡng hậu quả của mỗi loại lỗi để đưa ra quyết định phù hợp.

Ngoài F1-score, còn có những thước đo nào khác kết hợp cả độ chuẩn xác và độ phủ?

Trả lời: Ngoài F1-score, còn có các thước đo khác như weighted F-beta score, cho phép điều chỉnh trọng số giữa độ chuẩn xác và độ phủ. Công thức chung của F-beta score là:

$F_\beta = (1 + \beta^2) \frac{Precision Recall}{(\beta^2 * Precision) + Recall}$

Với $\beta > 1$ ưu tiên độ phủ hơn, và $\beta < 1$ ưu tiên độ chuẩn xác hơn. Ngoài ra, còn có AUC (Area Under the Curve) của đường cong Precision-Recall (PR AUC), thước đo này thể hiện diện tích dưới đường cong PR và cung cấp một đánh giá tổng quát hơn về hiệu suất của mô hình trên nhiều ngưỡng phân loại.

Độ chuẩn xác có ý nghĩa gì trong bối cảnh tìm kiếm thông tin?

Trả lời: Trong tìm kiếm thông tin, độ chuẩn xác đo lường tỷ lệ các tài liệu được truy xuất là thực sự liên quan đến truy vấn của người dùng. Ví dụ, nếu một công cụ tìm kiếm trả về 10 kết quả cho một truy vấn, và chỉ có 4 trong số đó là liên quan, thì độ chuẩn xác là 4/10 = 0.4 hoặc 40%.

Làm thế nào để cải thiện độ chuẩn xác của một mô hình học máy?

Trả lời: Có nhiều cách để cải thiện độ chuẩn xác, bao gồm: sử dụng nhiều dữ liệu huấn luyện hơn, lựa chọn thuật toán học máy phù hợp, tinh chỉnh siêu tham số của mô hình, sử dụng kỹ thuật xử lý dữ liệu (ví dụ: chuẩn hóa dữ liệu, xử lý dữ liệu mất cân bằng), và sử dụng kỹ thuật kết hợp mô hình (ensemble methods).

Khi nào thì nên sử dụng đường cong Precision-Recall (PR Curve) thay vì đường cong ROC (Receiver Operating Characteristic)?

Trả lời: Nên sử dụng đường cong PR Curve khi dữ liệu bị mất cân bằng về lớp (tức là số lượng mẫu thuộc một lớp lớn hơn nhiều so với số lượng mẫu thuộc lớp khác) hoặc khi quan tâm nhiều hơn đến dương tính giả (FP). Đường cong ROC có thể gây hiểu nhầm trong trường hợp dữ liệu mất cân bằng, vì nó có thể cho thấy hiệu suất cao ngay cả khi mô hình chỉ dự đoán lớp chiếm đa số. PR Curve tập trung hơn vào hiệu suất của mô hình trên lớp thiểu số, do đó cung cấp thông tin hữu ích hơn trong trường hợp này.