[개념 설명] Object Detection 평가 방법[2](IOU, AP, mAP)

[개념 설명]  Object Detection 평가 방법[2](IOU, AP, mAP)

1. IOU(Intersection Over Union)

의미 그대로 합집합 분에 교집합이며, ground truth bounding box와 predict bounding box의 교집합/합집합으로 평가함

2. mAP(mean Average Precision)

AP는 Precision Recall 그래프를 그리고 Precision값을 평균낸 값이며,mAP는 각 클래스의 Average Precision을 평균낸 값이다.

Precision과 Recall설명은 이전 글에서 자세히 설명하였다.  

'AI 유튜브 소개/CNN(Convolutional Neural Network)' 카테고리의 글 목록

2.1. Pascal VOC

- Pascal VOC 대회에서는 IOU가 0.5 이상이면, Positive , 미만이면 Negative라고 판단한다.  
- 이를 기반으로 Precision과 Recall이 계산하며, 이를 그래프에 나열하여 선을 그으면 Precision-Recall그래프가 된다. 

- precision recall 그래프를 그릴 경우 계단 형태가 나오게 되는데, 아래 그림과 같이 직사각형의 모양이 나오도록 max precision 기준으로 interpolation을 수행 후, 0부터 1까지 0.1 Recall 당 Precision값들의 평균을 구하여 AP를 계산할 수 있다.   

- 각 클래스별 구한 Average Precision값을 통합하여 평균 낸 것이 Mean Average Precision이다. 

2.2. COCO dataset

IOU 값이 높은 것은 구분할 필요가 있다고 하여, IOU 가 0.5 이상일 때만 True인 것이 아니라, 0.5~0.95 사이에서 0.05 단위로 threshold값을 높여가며 mAP를 계산한 후 한번 더 평균을 내어 mAP를 계산하는 것을 제안하고 있다. 

3. Obejct Detection 주요 대회

3.1 Pascal VOC란?

a. Pattern Analysis, Statical Modeling and Computational Learning Visual Object Classes Challenge의 약자
b. 2005~2012년 까지 8년에 걸쳐 매년 진행
c. 20가지 물체 분류
d. mark 라는 사람이 주도하여 개최되어 왔는데, 그의 사망으로 인하여 2012년을 마지막으로 종
e. Average Precision 기반으로 평가하는 것이 업계 표준(de facto)이 됨
f.최근에는 벤치마크용으로는 사용되지만, 학습용으론 잘 사용하지 않는다.
g. IOU threshold가 0.5 이상이면 true, 아래면 false 이다.

3.2 ILSVRC 란?

a.  Image Net Large Scale Visual Recognition Challenge 의 약자
b. 2010년~2017년 까지 8년에 걸쳐 매년 진행
c. 2012년 alexnet이후로 Deep Learning 기반 알고리즘이 나오게 됐으며, 2015년 ResNet이후 사람의 능력을 뛰어넘음
d. Alex Net(2012), ZFNet(2013), GoogLeNet(2014), VGG(2014), ResNet(2015), GoogLeNetv4(2016), SENet(2017)

3.3 MS COCO 데이터 셋이란?

a. ImageNet의 문제점인 object가 크고, 중앙에 밀집해 있으며, 이미지당 object 수가 적은 무제를 해결하고자 2014년에 제안

 

4. SOTA(state-of-the-art)란?

- 현시대의 최고의 성능을 가진 기법을 의미함
- SOTA 논문과 코드는 아래 링크에서 확인 가능  paperswithcode.com/task/visual-odometry

 

Reference

[1]. maP 소개(영어), kharshit.github.io/blog/2019/09/20/evaluation-metrics-for-object-detection-and-segmentation 

Evaluation metrics for object detection and segmentation: mAP

[2]. map에 대한 해석, darkpgmr.tistory.com/179 

YOLO와 성능지표(mAP, AP50)

[3], ms coco 평가 지표, cocodataset.org/#detection-eval 

COCO - Common Objects in Context