[개념 설명] Object Detection 평가 방법[1]

[개념 설명]  Object Detection 평가 방법[1]

 

오분류에 대한 추정치

	Condition Positive	Condition Negative
Predict Positive	True Poisitive(TP)	False Positive(FP)	Precision(정확도)
Predict Negative	False Negative(TN)	True Negative(TN)	x
	Sensitive,Recall(민감도, 재현율)	Specificity(특이도)

 

내용

- Accuracy(정분류율)
a. 있는 건 있고 없는 건 없다고 할 확률, 있는거과 없는 것 모두 맞출 확률
b. (TP+TN)/(TP+TN+FP+FN)

- Error Rate 오 분류율)

a. 없는 걸 있다고 하고 있는 걸 없다고 할 확률, 다 틀릴 확률
b. (FP+FN)/(TP+TN+FP+FN)

- Specificity(특이도)
a.물체가 없는 상황에서  물체가 없는데 없다고 할 확률 (True Negative Rate)
b. (TN)/(FP+TN)

 

- 민감도(Sensitivity), 재현율(Recall)  (True Positive Rate)
a.  물체가 있는 상황에서 물체가 있는데 있다고 할 확률
b. (TP)/(TP+FN)

- Precision(정확도)
a. 물체가 있든 없든 있다고 할 롹률
b. TP/(TP+FP)

- F1 Score
a. 2 x (Precision x Recall) / (Precision+Recall)

 느낀점

- 오분류에 대한 추정치의 이름으로 TP,TN,FP,FN 로 나눈다. 앞의 True,Faslse는 예측과 정답이 일치하는지를 판단하는 것이며 뒤의 Positivie와 Negative는 예측값이 무엇인지를 의미한다.
- YOLO의 경우 RCNN에 비하여 mAP는 떨어지지만 False Positive 의 성능은 좋다고 하는데 이는 예측했다고 하지만 실제로는 없는 경우를 의미하며, YOLO는 전체 이미지를 보고 예측을 하기 때문에 아닌데 맞다고 하는 것이 적다는 것을 의미한다.
- 이에, Object Detection 을 단순히 정확도만을 보고 비교하면 안되며, 틀렸는데 맞다고 한 비율 등 모든 것을 고려할 필요가 있다.
- 정확도를 Accuracy 로 생각하고 있었다. 하지만 정확도란 Precision을 의미하며 Accuracy와 Precision은 어면히 의미가 다르다.