AI 성능을 정확도를 평가하여 알아보자

스터디때 한번 다루었던 내용이긴 한데, TPs, FPs, FNs, TNs의 개념을 한번 정리해보려고 한다. 

• TPs : True Positives
• FPs : False Positives
• FNs : False Negatives
• TNs : True Negatives

이는 인공지능 모델의 예측(Prediction) 성능을 측정하기 위하기 위하여 실제 값(Predictive Value)과 예측 값(Predictive Value)을 비교한 표이다.

• TP(True Positive), TN(True Negative)는 실제 값을 맞게 예측한 것에 해당
• FP(False Positive), FN(False Negative)는 실제 값과 다르게 예측한 것에 해당

보통 예시를 암 진단으로 들곤 하는데, 암에 안걸렸는데 암에 걸렸다고 판단이 된다면 상당히 신뢰도에 치명적일 것이다. 그렇기에 질병 관련된 모델은 특정 항목에 가중치를 높임으로써 오류율을 좀 더 줄일 수도 있고, 정확도의 종류와 산출 수준도 매 상황에 따라 다르다.

Confusion Matrix

이상거래 탐지에서의 그래프 분석

보통의 경우에는 데이터가 2개의 경우로 골고루 분배가 되어야 하는데(ex.정상거래 or 이상거래), 이상거래 탐지의 경우에는 대부분ㅇ의 99.9%에 해당하는 거래는 정상거래이고, 0.1%에 해당하는 거래만이 이상거래에 해당하게 된다. 데이터가 한쪽으로 극단적으로 치우치는 경우에는 어떤 특징을 만들어내기 위한 표본이 적어서 이상거래의 경우에는 가중치를 할당해서 올바른 모델이 계산될 수 있도록 별도 조치가 필요하기도 한다.

금융분야에서 이러한 이상데이터의 경우에는 빈도의 차이로 인해 어려움에 많이 부딛치게 된다.