컴퓨터비전 용어 정리

IoU (Intersection over Union)

• 2개 영역 사이의 중첩되는 정도를 측정.
• 이는 Object detector가 실제 Ground truth와 예측결과(Predicton)가 얼마나 정확히 겹치는 지를 계산하여 예측이 얼마나 잘 되는지를 측정.
• Ground-truth를 데이터의 label값으로 생각하면 이해가 쉬움

AP (Average Precision)

• CNN의 모델 성능 평가 지표
• Precision = TP/(TP+FP)     정확도. 검출 결과 중 옳게 검출한 비율
• Recall = TP/(TP+FN)     재현율. 실제 옳게 검출 된 결과물 중에서 옳다고 예측한 것의 비율

TP : 예측한 것 중 정답인 것

TP + FP : 예측한 것

TP + FN : 실제 정답인 것

• 일반적으로 Precision과 Recall은 서로 반비례 관계를 가진다. 이 둘의 성능 변화를 관측하기 위해 precision-recall 그래프를 이용한다.
• Precision-recall 그래프는 어떤 알고리즘의 성능을 전반적으로 파악하기에는 좋으나 서로 다른 두 알고리즘의 성능을 정량적으로 비교하기에는 불편하다.
• AP는 인식 알고리즘의 성능을 하나의 값으로 표현한 것으로 precision-recall 그래프에서 그래프 선 아래 쪽의 면적으로 계산한다.
• AP가 높으면 높을수록 그 알고리즘의 성능이 전체적으로 우수하다는 의미이다.

mAP : 물체 클래스가 여러 개인 경우 각 클래스 당 AP를 구한 다음에 그것을 모두 합한 다음 물체 클래스의 갯수로 나눠줌으로 알고리즘의 성능을 평가

PASCAL VOC Challenge에서의 AP(Average Precision)

• PASCAL VOC는 object detection에서 널리 사용되는 데이터 셋
• PASCAL VOC Challenge의 경우, 모델의 예측과 ground truth의 IoU가 0.5보다 크면 (IoU > 0.5) 모델의 예측이 올바르게 되었다고 판단한다.

MS COCO 에서의 mAP

• SOTA(State of art) object detector 모델들은 주로 MS COCO에 대한 mAP 결과만을 제공하는 경향이 있다.
• MS COCO는 PASCAL VOC의 단일 IoU값 계산과는 다르게 다중 IoU에 대한 평균값을 계산
• AP@[.5:95]는 0.05의 단계 크기로 0.5부터 0.95까지의 IoU에 대한 평균 AP에 해당함