Residual Network 모델의 특징에 관한 실증비교연구

ResNet (Residual Network) 구조를 사용하면 수백 층 이상의 매우 깊은 인공 신경망도 성공적으로 훈련시킬 수 있으며, ResNet을 적용한 Deep Convolutional Neural Network은 그 우수성이 입증되었다. 하지만 ResNet을 제안한 연구에서는 보다 단순한 구조의 신경망에서의 ResNet의 효과와 신경망의 깊이에 따른 ResNet 적용 모델의 변화에 대한 정보는 결여되어 있다. 이에 본 연구는 ResNet 구조를 Multi-Layer Perceptron에 적용하여 그 변화와 특징을 비교 실험하였다. 실험 결과, 11개 층을 가진 신경망에서는 ResNet 적용 전후의 훈련 및 테스트 정확도가 거의 동일하였으나, 29개 층을 가진 신경망에서는 ResNet 구조 적용 후 약 5.5%의 테스트 정확도 상승이 관찰되었다. 또한, ResNet 구조를 적용하지 않은 모델은 38개 층 이상의 신경망은 수렴시키지 못하는 반면, ResNet을 적용한 모델은 65개층의 신경망도 성공적으로 수렴시켰으며, 훈련 및 테스트 정확도가 하락하는 문제도 발생하지 않았다. 결론적으로, ResNet 구조는 단순한 구조의 신경망에서도 효과를 발휘하며, 기존의 방법으로 수렴시키기 어려운 매우 깊은 인공 신경망을 수렴시키는데 도움이 되는 것으로 나타났다.