작성일: 2022.07.14 (Thu)
What is “DarkNet”?
DarkNet은 Yolo 저자들이 자체적으로 만든 Yolo의 backbone
Yolo는 널리 알려진 one-stage detector이며, backbone과 head로 구성되어 있음
One-stage detector는 분류와 탐지를 동시에 진행하며, backbone으로 특징을 추출하여 분류하고 head를 통해 object를 탐지
Yolo v1에서는 Darknet-19를 사용하였고, Yolo v3에서는 Darknet-53을 사용하여 정확도를 향상시킴
Darknet-19는 convolution layer 19개로 구성되어 있고
Darknet-53은 convolution layer 53개로 구성되어 있음
Darknet-19는 maxpooling을 통해 이미지 크기 줄임
Darknet-53은 convolution layer에서 stride 조정을 통해 이미지 크기 줄였으며, residual block이 있음
Residual Blocks
Residual learning은 입력과 출력의 잔차를 학습하는 것
Layer 깊이에 따른 성능 고찰
Convolution layer 특성상, 특징을 추출해 내는 것이기에 layer 수가 늘어날 수록 속도는 느려지지만 정확도가 향상되는 현상은 당연하다는 생각이 듦
그렇다면, 과적합이나 새로운 데이터 유입되었을 때 데이터 불균형에 영향을 많이 받을 수 있을듯
COCO Dateset에서는 괜찮게 나왔지만, 현실 세계에서 직접 데이터를 수집하여 사용할 경우 단지 레이어만 추가한다면, 단점이 있을 수도 있음
단순 레이어만을 추가하는 것 말고도 다른 아이디어도 함께 추가되면 그 문제점을 해결할 수 있을듯
Skip Connection: Layer 깊이가 깊어짐에 따른 성능 하락 방지[2][3]
위의 생각과 연결지어, 네트워크 깊이가 깊어질 때 성능이 향상되다 어느순간 오히려 성능이 하락하는 문제에 대해 기존 제안된 해결 방안을 짧게 정리하겠음
네트워크가 깊어질 수록 error가 희미해져 가중치 업데이트가 되지 않는 Gradient vanishing 문제를 해결이 목표
Skip Connection
DarkNet in Yolo
Backbone Architecture
Reference
