머신러닝 모델 성능평가

개요

머신러닝 모델 성능평가 척도는 척도는 모델의 예측 결과와 실제 결과를 비교하여 모델의 정확성과 신뢰성을 평가하는 데 사용됩니다.

 

Confusion Matrix

모델의 예측 결과와 성능을 확인할 수 있는 척도를 의미합니다. 모델의 예측결과를 통계적으로 제공하고, 이를 통해 모델의 성능을 수치합니다.

• 실제 값: 데이터의 실제 카테고리
• 예측 값: 모델이 분류 또는 예측한 데이터의 카테고리
• TP(True Positive): 실제 Yes 카테고리 중 모델이 Yes 카테고리로 예측한 건수
• FN(False Negative): 실제 Yes 카테고리 중 모델이 No 카테고리로 예측한 건수
• FP(False Positive): 실제 No 카테고리 중 모델이 Yes 카테고리로 예측한 건수
• TN(True Negative): 실제 No 카테고리 중 모델이 No 카테고리로 예측한 건수

세로축에는 데이터의 실제 클래스, 가로축에는 모델이 예측한 클랙스가 확인됩니다. TP, TN은 모델이 올바르게 예측한 데이터 건수를 의미합니다. FN, FP는 모델이 잘못 예측한 데이터 건수를 의미합니다.

 

만약 아래와 같이 Confusion Matrix가 확인된다면 전체 100개 데이터 중 모델이 60개 데이터만 정확히 예측했다 할 수 있습니다.

• 전체 데이터: 100
• 모델이 정확히 예측한 건수: 60
• 모델이 잘못 예측한 건수: 40

 

Accuracy (정확도)

Accuracy는 모델이 정확하게 분류 또는 예측하는 비유를 의미합니다.

위 예시를 살펴볼 때, 정확도는 60%입니다.

 

Precision (정밀도)

Precision은 모델이 검출한 데이터 중 올바르게 검출된 데이터의 비율을 의미합니다.

 

Recall (재현율)

Recall은 실제 해당 데이터 중 모델이 올바르게 검출한 데이터의 비율을 의미합니다.

 

F-Measure

Precision과 Recall은 모델의 성능을 객관적으로 판단하기 부족합니다.

F-Measure는 두 수치의 Trade-off 관계를 통합하여 하나의 수치로 정확도를 도출합니다.