[논문 리뷰] KIDNEY RECOGNITION IN CT USING YOLOV3

KIDNEY RECOGNITION IN CT USING YOLOV3

YOLO v3를 활용한 CT 안의 신장인식

 

ABSTRACT 

 

Organ Localization can be challenging considering the heterogeneity of medical images and the biological diversity from one individual to another.

의료 이미지의 불균형함과 사람들간의 생물학적 다양성을 고려하였을 때 신장 위치 찾는 것은 도전적이다. 

 

The contribution of this paper is to overview the performance of the object detection model, YOLO v3, on kidney localization in 2D and in 3D from CT scans. 

이 논문의 기여는 CT 스캔으로 부터 신장의 위치를 2D 및 3D 관점에서 찾았으며, 객체 감지 모델의 성능을 간략하게 설명한다. 

 

 The model obtained a 0.851 Dice score in 2D and 0.742 in 3D. The SSD, a similar state of the art object detection model, showed similar scores on the test set. 

이 모델은 2D에서 0.851 Dice 점수를 얻었으며, 3D에서 0.742를 얻었다. 비슷한 객체 인지 최신 알고리즘인 SSD도 test set에 대하여 비슷한 점수가 나왔다.

 

YOLO v3 and SSD demonstrated the ability to detect kidneys on a wide variety of CT scans including patients suffering from different renal conditions.

YOLO v3와 SSD는 다른 신장 조건을 갖고있는 환자의 다양한 CT 스캔으로 부터 신장 검출 능력을 보여줬다. 

1.Introduction

Organ detection is useful for various medical applications, whether it is to plan surgeries or to find pathologies.

이것이 수술을 계획하든지 병리학을 발견하든지 간에 기관 인지는 다양한 의료의 응용에 유용하다. 

 

Adding bounding boxes to organs can also be the first step before applying other image processing methods like segmentations. 

장기에 경계 박스를 더하는 것은 segmentation과 같은 다른 이미지 처리 방법에 적용하기 전에 가장 첫번째로 적용하는 단계이다. 

 

Real-time organ tracking can be profitable for adaptive radiotherapy or laparoscopic surgery

실시간 장기 추적은 적응형 방사선 치료와 복강경 수술에 이익이 있다. 

 

Object detection models could help with these tasks.

객체 인지 모델은 이러한 일에 도움을 줄 수 있다. 

 

This article focuses on 2D and 3D kidney detection.

이 기사는 신장의 2D 및 3D 객체 인지에 중점을 둔다.

 

Recognition of kidneys can be challenging considering the variety of forms, textures, positionings and contrasts found in CT scans (Figure 1)

신장 인지는 CT장면 안의 다양한 형태, 질감, 위치, 발견된 대조를 고려하였을 때 도전적이다. (사진 1)

 

Figure1 : 2D kidney detection by YOLO v3 

사진1 : YOLO v3를 활용한 2D 신장 감지

 

A-B : Normal kidneys with different CT scan mean intensities.

서로 다른 일반 신장 CT 스캔은 강도가 다름을 의미함

 

C-D : cystic kidney 

C-D : 포낭의 신장

 

E : Failed detection of hypertrophied kidney

E : 비대한 신장의 인지 실패

 

F : Tumoral kidney

F : 종양의 신장

Alongside with SSD(Single Shot Detector) and Faster R-CNN, YOLO has proven to be a state-of-the-art and robust object detection system. 

SSD와 Faster-RCNN과 함께 YOLO는 최신의 강건한 객체인지 시스템임을 증명되어왔다.

 

SSD and YOLO have the advantage to be real-time model compared to the Faster R-CNN. 

SSD와 YOLO는 Faster R-CNN에 비하여 실시간성의 이득이 있다.

 

YOLO begins to appear in the medical field.

YOLO는 의료계에 나타나기 시작했다.

 

The usage of YOLO based models was recently explored for localization of normal active organs in 3D PET scans, for lung nodules detection for lung 

cancer prevention and for automatic nasal cavities in CT scans. 

 

YOLO 기반 모델은 최근에 3D PET 스캔에서 활동적인 장기의 위치를 찾는 것에 활발히 사용되고 이으며, 허파 암을 방지하기 위해 허파의 혹 그리고 반사적 비강을 CT 스캔에서 감지한다. 

 

Considering its robustness, its speed and its accuracy on other medical images, YOLO was retained as kidney detection model. 

의료이미지에서 이것의 강건함, 속도, 정확도를 고려하였을 때, YOLO 는 신장 감지 모델로 유지되었다. 

 

2. Methods

YOLO takes as input 2D images which is the first challenge with its adaptation to 3D medical images.

YOLO는 2D 이미지를 입력으로 취하며 3D 의료 이미지를 적용하는 것은 첫 시도이다. 

 

Every CT scan slice is used a single image for inference and training.

모든 CT 스캔 조각은 추론과 학습을 위해서 단일 이미지로 사용된다. 

 

Once the bounding boxes are found on every 2D image, a 3D generalization of the non-maximum suppression algorithm was performed.

일단 경계 박스가 모든 2D 이미지에서 발견되며 3D 생성 NMS 알고리즘이 수행된다. 

 

This post-processing step groups the 2D boxes with a threshold criteria corresponding to their intersection over Union(IoU) to generate 3D bounding Boxes. 

이러한 후처리 스텝은 그들의 IoU와 일치하는 한계점을 기반으로 2D 박스를 그룹화 하고 3D 경계박스를 생성한다. 

The model was trained on 14 CT scans, including 2911 512x512 2D images where 1200 contained kidneys.

이 모델은 14개의 CT스캔으로 학습하였으며, 2911개(512x512)의 2D 이미지가 있으며 1200개의 신장이 포함되어 있습니다. 

 

The data come from the public Kit2019 dataset composed of healthy and tumoral kidneys and from another dataset containing normal and cystic kidneys.

kit 2019 데이터셋으로 부터 얻은 데이터는 건강하고 종양의 신장 데이터와 정상 그리고 포낭의 신장 데이터를 포함하고 있다. 

 

The code from the following github was adapted and implemented in the image processing software dragonfly from ORS.

깃허브에 올린 코드는 ORS로 부터 얻은 이미지 처리 소프트웨어 드래곤 플라이로 적용하였다. 

 

Histogram equalization was applied on every slice to increase the contrast.

대조를 증가시키기 위하여 막대그래프 동등화를 매 슬라이스에 적용하였다. 

 

This step improves the detection for a broad spectrum of CT intensities.

이 과정은 넓은 범위의 CT 강도의 감지를 증가시킨다. 

 

The results are compared with the SSD using the MobileNet architecture for feature extraction.

이 결과는 특징 추출을 위해 MobileNet 구조를 활용한 SSD와 비교를 하였다. 

 

Like YOLO v3, SSD has a one-step framework.

YOLO v3와 같이 SSD 원 스텝 프레임워크이다. 

 

The two models have the same accuracy, but YOLO v3 is about three times faster. 

이 두 모델은 비슷한 정확도 이지만, Yolo v3는 3배 더 빠르다. 

 

Then Tensorflow Objection Detection API was used with Google Colaboratory to train and apply the model.

텐서플로 Object Detection API를 사용하였으며, 구글의 코랩으로 학습하고 적용했다. 

3. 결과 

3.1 2D Detection

 

YOLO showed high detection scores for the training and test sets in 2D(Dice score >0.85) as seen in Table 1.

YOLO는 Table 1과같이 2D의 학습과 테스트 셋에서 높은 점수(Dics score >0.85)를 보인다. 

 

The presence of artifacts caused by metal stents did not affect the performance of the model.

 금속 스텐트에 의한 인공유물의 존재는 모델의 성능에는 영향을 끼치지 않는다. 

 

DIfficulty with unknown ratios. 

잘모르는 주파수의 어려움 

 

 The drop in performance from the training to the test set is mainly due to the failed recognition of kidney morphology unknown to the model. 

학습과 테스트 셋의 성능을 떨어뜨리는 주요 이유는 모델이 알지 못하는 신장 형태의 인지를 실패하는 것이다. 

 

For instance, in Figure 1E, the kidney presented on the right has an unusual size and shape.

예를 들어 사진 1E에서 오른쪽에 있는 신장은 평범하지 않는 크기와 보양이다. 

 

The model only recognizes and locates the other kidney. 

이 모델은 오직 인지하고 다른 신장의 위치를 찾는다. 

 

In fact, it is known that YOLO struggles to generalize to new or unknown ratio configurations.

사실 욜로는 새롭거나 잘 모르는 비율의 배열을 일반화 하기 위해서 분투한다고 알려져 있다.

 

The model did well on regular looking kidneys even with tumors or cysts(Figure 1C, 1D and 1F) as long as the general morphology is preserved.

신장에 종양이나 포낭이 있다고 하더라도 일반적인 모형이 보존되는한 이 모델은 신장을 잘 본다. 

Coarseness of bounding boxes. Another factor affecting the scores is the coarseness of the boxes generated .

경계 박스의 거침. 점수에 영향을 미치는 다른 요소는 박스 생성의 거침이다. 

 

When an object is localized, the box might not be properly framed or fitted(Figure 1F).

객체가 위치가 찾아졌을 떄, 박스는 적절하게 테를 두르거나 정확하게 맞지 않는다. 

 

It is reported that YOLO v3 struggles with perfectly aligning boxes with the detected objects.

YOLO v3 는 인지된 객체와 박스가 나란히 되도록 고군분투한다고 보고되었다. 

 

Inaccuracy with kidney extremities.

신장 끝단의 부정확함 

 

Detection of the kidney extremities is challenging for the model possibly because of its smaller size of the decrease in characteristic features.

신장 끝단을 감지하는 것에 있어서 신장 특유의 특징점이 더 작은 사이즈로의 감소하는 것은 아마 모델에게 큰 도전일 것이다. 

 

These parts are more likely to fall under the radar as seen in Figure 2C where the lower section of the kidneys was not detected.

이러한 파트는 사진 2c와 같이 레이더의 영향을 받는 경향이 있으며, 여기서 낮은 부분의 신장은 감지가 잘 되지 않는다. 

The SSD and YOLO v3 have similar performance for 2D detection on the test set(Table1).

SSD와 YOLOv3는 2D 객체 인지에서 비슷한 성능을 보인다(Table 1)

 

YOLO v3 has the speed adavantage, taking only third of SSD’s time for inference.

YOLO v3는 속도 이점이 있으며, SSD에 비해 ⅓ 의 추론 속도가 나온다. 

 

For an image of approximately 320x320 pixels, SSD takes 60ms while YOLO v3 take only 22 ms.

예를 들어 320x320 픽셀에 있어서, SSD는 60 ms이지만 YOLO v3는 22ms 이다. 

 

For non-time sensitive applications, SSD performs similarly to YOLO v3.

(Dice : 0.851 vs 0.855 and IoU : 0.759 vs 0.747).

시간이 없는 응용에서 SSD는 YOLO v3와 비슷한 성능을 보인다. 

3.2 3D detection

As seen in Figure2, the 3D boxing is successful, but coarse.

사진 2를 보면 3d boxing은 성공적이지만 거칠다.

 

The boxes frame the majority of the kidney, but does not fit the organ perfectly.

박스는 신장의 주요 부분을 테두리 치지만, 완벽하게 맞추지는 못한다. 

 

When transferring the results from 2D to 3D, the algorithm usually fails to contain the whole organ as shown in Figure 2B.

2D에서 3D로 전환할 때, 알고리즘은 사진 2B와 같이 전체를 다 포함하지는 않는다. 

 

Post Processing step unsuited for objects misaligned with axes. 

축이 어긋난 객체의 부적합성을 맞추는 후처리 단계

 

One element causing this imprecision is the poor performance of the non-maximum suppression algorithm with non-axis aligned objects.

부정확함을 야기하는 이러한 요소는 축이 없는 객체의 NMS 알고리즘 적용 관점에서 안좋은 성능을 야기한다.

 

When the kidney is misaligned with the Z axis, the organ overflow the bounding.

신장이 z 축으로 부터 어긋날 경우, 기관은 경계박스를 넘어간다.

Propagation of error .

에러의 증식

 

Another factor leading to reduced performance in 3D detection is the propagation of error from 2D to 3D.

 

3D detection에서 성능을 제한시키는 다른 요소는 2D에서 3D로 넘어갈때 발생하는 에러의 증식이다. 

 

If the 2D boxes are not representative of the kidneys, the error will propagate to the 3D boxes.

만약 2D 상자가 신장을 대표하지 않는다며, 이러한 에러는 3D 박스로 증식된다. 

 

This leads to lower similarity scores for 3D detection.

이러한 것은 3D 감지에도 낮은 성능을 보인다.

Figure2 : 3D kidney detection of normal and cystic kidneys .

사진2 : 일반적 그리고 포낭의 신장의 3D 감지

 

A: Bounding Box properly frames the kidneys.

A: 경계박스는 신장을 두르고 있다.

 

B-C : overflow by the cystic (B) and healthy kidneys(C).

포낭의 신장과 건강한 시장이지만 경계박스를 넘어간 것

 

4. Discussion

Real- time object detection models like YOLO v3 or SSD showed promising results for kidney detection, suggesting that it could do well in organ recognition even with few CT scans as training set.

YOLO v3나 SSD와 같은 객체인지 모델은 신장 감지 결과에 이어서 전도유망한 결과를 보여주며, 학습을 위한 CT scan datasets이 몇개 없음애도 불구하고 기관을 잘 인지함을 알려준다. 

 

The results demonstrate the capacity of the model to generalize to a broad range of kidney morphology.

이러한 결과는 다양한 신장의 형태를 일반화할 수 있는 모델의 수용능력을 증명한다. 

 

For real-time applications, YOLO v3 is more appropriate than SSD considering that, on larger images, SSD loses its real-time advantage.

실시간 응용분야에서, YOLO v3는 SSD에 비하여 더 적절하며, 큰 이미지에서 SSD는 실시간성의 이점을 잃어버린다. 

 

YOLO did show some limitations. 

YOLO는 몇몇의 제약을 보여준다. 

 

Firstly, it is a detection model for 2D images.

첫번째로 이것은 2D 이미지 모델을 위한 감지이다. 

 

Generalizing the 2D detection in 3D adds error to the kidney localization.

3D에서 2D를 감지하여 일반화 하는 것은 신장의 위치 인지의 에러를 증가시킨다. 

 

Also, heavily cystic or pathological kidney slices were not classified properly.

또한, 무거운 종양과 병든 신장의 사진은 잘 구분하지 못함 

 

Finally, the boxes generated are not perfectly aligned with the objects of interset.

마지막으로 생성된 박스는 완벽하게 객체와 일치하지 않음

 

YOLO is a fast and robust object detection model that can also benefit the medical field for applications not requiring fine organ localization.

YOLO는 객체 인지에 있어서 빠르고 강건하며 정밀한 위치를 찾는 것이 아닌 의료 분야의 응용에 이점이 있다. 

 

These tasks could include detection of other organs or tumors from different modalities or real-time tracking of anatomical structures during medical procedures like radiotherapy or laparoscopic surgeries. 

이러한 일은 다른 기관의 감지, 또는 다른 양식으로 부터 오는 종양의 감지, 복강격 수술, 방사선 치료와 같은 의료 수술에 있어서 해부학 구조의 실시간 추적에 활용할 수 있다. 

궁금한 것

Dice score : Localization을 평가하는 Score 인데 어떻게 평가하는 것인지 확인 필요

3D Bounding Box : 2D bounding box에서 NMS를 통해 어떻게 3d bounding box?

Histogram equalization : 어떻게 대조를 증가?

단어

kidney : 신장, 콩팥

organ : 장기, 기관

heterogeneity : 이질성, 불균형

contribution : 기여 

overview : 간략한 개요, 개관, 간략하게 설명하다. 

renal : 신장의 

whether a or b : a 이든 b 이든 

pathology : 병리학

bounding box : 경계 박스

segmentation : 분할, 세분화 

adaptive radiotherapy : 적응형 방사선 치료법

profitable : 수익성 있는, 이득이 있는

laparoscopic surgery : 복강경 수술

cystic : 포낭의 

hypertrophied : 비대한

tumoral : 종양의

explore : 탐사하다, 탐험하다. 

lung : 폐, 혀파 

nodule : 혹, 뿌리 

nasal cavity : 비강 

retain : 유지되다. 

slice : 조각 

criteria : 기준 

threshold : 한계점을 넘다.

histogram : 막대그래프 

equalization : 동등화 

broad spectrum : 넓은 범위 

artifacts : 인공유물

stent : 혈관폐색을 막기 위해 혈관에 넣는 것

morphology : 형태학

configuration : 환경설정, 배열, 배치 

as long as : ~ 하는 한 

coarseness : 거침 

frame : 테를 두르다. 

aligning : 일직선으로 하다. 

extremities :사지, 맨끝, 극한 

characteristic : 특유의 

fall under : ~의 영향을 받다.

misaligned : 어긋난

unsuited : 부적합한, 어긋난

imprecision : 부정확

propagation : 번식, 증식, 선전, 보급

promising : 전도유망한 

modality : 양식

anatomical : 해부학의

laparoscopic : 복강경 검사의