CNN (합성 신경망) 모델

CNN 모델에 대해서는 블로그와 블로그2 를 참조하였음을 명시한다.

LeNet

• 20여년 전에 제안된 첫 CNN

• LeNet은 손글씨 숫자를 인식하는 네트워크로 1998년에 제안

• 현재 CNN 모델과 달리 활성화 함수로 시그모이드를 사용하고 서브 샘플링을 하여 중간 크기가 작아짐

AlexNet

• 2012년에 발표되어 딥러닝 선도적인 역할을 함

• 활성화 함수로 ReLU를 사용
• LRN이라는 국소적 정규화를 실시하는 계층을 이용함
• 드롭아웃을 사용

VGGNet

• 구성이 간단하고 합성곱 계층과 풀링 계층으로 구성되는 가장 기본적인 CNN

• 다만 비중있는 층(합성곱 계층, 안전 연결 계층) 을 모두 16개(혹은 19개로) 심화한게 특징

• 층의 깊이에 따라서 VGG16, VGG19로 구분

• 3 x 3 작은 필터를 사용한 합성곱 계층을 연속으로 거침

• 합성곱 계층을 2~4회 연속으로 풀링 계층을 두어 크기를 절반으로 줄이는 처리를 반복

GoogleNet

• 구조가 복잡하여 널리 사용되지 않았지만 아키텍처 면에서 주목

• 세로 방향 (깊이)뿐만 아니라 가로 방향(폭)도 깊다는 점이 특징

• 1 x 1의 합성곱 연산 (인셉션 구조)은 채널 쪽으로 크기를 줄이는 것으로 매개변수 제거와 고속 처리에 기여함

• 예를 들어 100×100×60이고, 1×1 conv filter를 20개 사용한다면 데이터의 차원 수는 100×100×20으로 줄어드는 효과를 가져옴

• 인셉션 구조는 크기가 다른 필터(와 풀링)을 여러 개 적용하여 그 결과를 결합

• 인셉션 구조를 하나의 빌딩 블록(구성요소)으로 사용하는 것이 GoogleNet의 특징

ResNet

• 마이크로 소프트의 팀이 개발한 네트워크

• 역전파 문제를 해결하기 위하여 보다 더 층을 깊게 쌓기 위해 스킵 연결을 도입

• 스킵 연결이란 입력 데이터를 합성곱 계층을 건너뛰어 출력에 바로 더하는 구조를 일컬음

• 이 단축 경로가 없었다면 두 합성곱 계층의 풀력이 F(x)가 되나, 스킵연결로 인해 F(x)+x가 되는 게 핵심

• 스킵 연결은 층이 깊어져도 학습이 효율적으로 할 수 있도록 해주는데, 이는 역전파 때 스킵 연결이 신호 감쇠를 막아줌

• VGG 신경망을 기반으로 스킵연결을 도입하였는데 실험결과 150층 이상으로 해도 정확도가 오르는 모습을 확인

DenseNet

• DenseNet(2016)은 ResNet에서 한발 더 나아가 전체 네트워크의 모든 층과 통하는 지름길을 구축

• conv-ReLU-conv 사이만 뛰어넘는 지름길을 만들었던 ResNet보다 훨씬 과감한 시도