Deep Residual Learning for Image Recognition

Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun

논문 · arXiv 1512.03385

Deep Residual Learning for Image Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun

게시일 2015-12-10cs.CV arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 더 깊은 일반(plain) 신경망은 그래디언트 소실이 없음에도 깊이가 증가할수록 학습 오차가 더 커지는 최적화 퇴화(degradation) 문제를 겪습니다.
🔧 파라미터가 필요 없는 항등 지름길 연결(identity shortcut connection) $y = F (x) + x$ 를 사용하여 쌓인 레이어가 잔차 매핑 $F (x) = H (x) - x$ 에 피팅되도록 재구성했습니다.
📈 ImageNet에서 최대 152개 레이어의 네트워크 학습을 가능하게 하여(top-5 앙상블 에러율 3.57% 달성) ILSVRC 및 COCO 2015 대회에서 1위를 석권했습니다.

초록

신경망은 깊어질수록 학습하기가 더 어렵습니다. 본 논문에서는 이전에 사용되었던 것보다 훨씬 더 깊은 네트워크의 학습을 용이하게 하는 잔차 학습(residual learning) 프레임워크를 제시합니다. 우리는 참조되지 않은 함수를 학습하는 대신 레이어 입력을 참조하는 잔차 함수를 학습하도록 레이어를 명시적으로 재구성합니다. 이러한 잔차 네트워크가 최적화하기 더 쉬우며, 깊이가 대폭 증가함에 따라 정확도를 향상시킬 수 있음을 보여주는 포괄적인 실증적 증거를 제공합니다. ImageNet 데이터셋에서 VGG 네트워크보다 8배 깊지만 여전히 복잡도가 더 낮은 최대 152개 레이어 깊이의 잔차 네트워크를 평가합니다. 이들 잔차 네트워크의 앙상블은 ImageNet 테스트 세트에서 3.57%의 에러율을 달성했습니다. 이 결과로 ILSVRC 2015 분류 과제에서 1위를 차지했습니다. 또한 100개 및 1000개 레이어를 사용한 CIFAR-10 분석도 제시합니다. 표현의 깊이는 많은 시각 인식 작업에서 핵심적인 중요성을 갖습니다. 매우 깊은 표현력만으로도 COCO 객체 검출 데이터셋에서 28%의 상대적 성능 향상을 얻었습니다. 심층 잔차 네트워크는 ILSVRC 및 COCO 2015 대회 출품작들의 기반이 되었으며, ImageNet 검출, ImageNet 위치 추정, COCO 검출 및 COCO 세그멘테이션 과제에서도 1위를 차지했습니다.

영어 원문 초록

Deeper neural networks are more difficult to train. We present a residual learning framework to ease the training of networks that are substantially deeper than those used previously. We explicitly reformulate the layers as learning residual functions with reference to the layer inputs, instead of learning unreferenced functions. We provide comprehensive empirical evidence showing that these residual networks are easier to optimize, and can gain accuracy from considerably increased depth. On the ImageNet dataset we evaluate residual nets with a depth of up to 152 layers---8x deeper than VGG nets but still having lower complexity. An ensemble of these residual nets achieves 3.57% error on the ImageNet test set. This result won the 1st place on the ILSVRC 2015 classification task. We also present analysis on CIFAR-10 with 100 and 1000 layers. The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

논문 해설

문제 및 동기

네트워크 깊이는 시각 인식 표현에 매우 중요하지만, 단순히 레이어를 더 많이 쌓는 것은 근본적인 *퇴화 문제(degradation problem)*를 유발합니다. 즉, 깊이가 깊어짐에 따라 정확도가 포화된 후 급격히 저하됩니다. 결정적으로, 이러한 성능 저하는 오버피팅 때문이 아닙니다. Batch Normalization 및 정규화된 초기화 기법을 통해 순전파 활성화 및 역전파 그래디언트가 소실되지 않도록 보장함에도 불구하고, 더 깊은 네트워크가 더 얕은 네트워크보다 더 높은 학습(training) 오차를 보입니다.

이론적으로 더 깊은 모델은 구조상 항등 매핑(identity mapping) 해를 가질 수 있습니다. 즉, 학습된 더 얕은 모델을 그대로 복사하고 추가 레이어들을 항등 변환으로 설정하는 것입니다. 그러나 기존의 솔버(최적화 알고리즘)는 참조되지 않은 비선형 매핑을 직접 학습할 때 이러한 해를 찾아내지 못합니다.

핵심 아이디어

잔차 학습 프레임워크(Residual Learning Framework): 원하는 매핑 $H (x)$ 를 직접 근사하도록 레이어를 최적화하는 대신, 레이어가 잔차 매핑 $F (x) := H (x) - x$ 를 근사하도록 명시적으로 만듭니다. 원래의 매핑은 $F (x) + x$ 로 복원됩니다.
항등 지름길 연결(Identity Shortcut Connections): 하나 이상의 레이어를 건너뛰는 피드포워드 지름길 연결을 통해 $F (x) + x$ 를 구현합니다. 항등 지름길은 추가 파라미터가 전혀 필요하지 않으며 연산 오버헤드도 사실상 없습니다.
더 쉬운 최적화 및 사전 조건화(Preconditioning): 만약 항등 매핑이 최적이라면, 옵티마이저는 단순히 잔차 가중치들을 0으로 수렴시키기만 하면 됩니다. 실제로 잔차 함수의 반응 크기는 작게 나타나며, 이는 항등 연결이 효과적인 사전 조건화 역할을 함을 보여줍니다.
보틀넥 아키텍처(Bottleneck Architecture): 매우 깊은 변형 모델(ResNet-50, ResNet-101, ResNet-152)의 경우, 각 2개 레이어 잔차 유닛을 3개 레이어 보틀넥 블록( $1 \times 1$ , $3 \times 3$ , $1 \times 1$ 합성곱)으로 대체하여 표현 용량을 유지하면서도 연산량을 줄였습니다.

방법론

입력과 출력의 차원이 일치하는 잔차 빌딩 블록의 경우: $y = F (x, {W_{i}}) + x$ 여기서 $x$ 와 $y$ 는 입력 및 출력 벡터이며, 2개 레이어 유닛의 경우 $F = W_{2} σ (W_{1} x)$ 입니다( $σ$ 는 ReLU를 나타내며 편향은 단순화를 위해 생략함). 요소별 덧셈(element-wise addition)은 두 번째 ReLU 활성화 $σ (y)$ 를 적용하기 직전에 수행됩니다.

특징 맵 차원이 변경될 때(예: 공간적 다운샘플링 또는 채널 수 2배 증가 시): $y = F (x, {W_{i}}) + W_{s} x$ 여기서 $W_{s}$ 는 다음 중 하나를 나타냅니다:

옵션 A: 추가 차원에 제로 패딩(zero-padding)을 적용하고 항등 지름길(서브샘플링 시 스트라이드 2)을 사용하는 방식으로, 추가 파라미터가 전혀 없습니다.
옵션 B: 차원이 증가할 때만 $1 \times 1$ 선형 합성곱 프로젝션 $W_{s}$ 를 사용하고, 그 외에는 순수 항등 연결을 사용합니다.
옵션 C: 모든 잔차 블록에 선형 프로젝션 지름길 $W_{s}$ 를 적용합니다.

본 논문에서는 ImageNet 모델(ResNet-50/101/152)에 옵션 B를 채택합니다. 옵션 C는 유의미한 정확도 향상 없이 파라미터 수만 늘리며, 보틀넥 구조의 효율성을 유지하기 위해서는 순수 항등 지름길이 필수적이기 때문입니다.

결과

ImageNet 분류:
- ResNet-34는 plain-34 대비 top-1 오차를 3.5% 개선했으며(10-crop 검증 오차 25.03% 대 28.54%), 학습 퇴화 문제를 해결했습니다.
- ResNet-152는 단일 모델 기준 4.49%의 top-5 검증 오차를 달성했습니다(113억 FLOPs로, 153억 FLOPs인 VGG-16보다 복잡도가 낮음).
- ResNet 앙상블은 테스트 세트에서 3.57%의 top-5 오차를 기록하여 ILSVRC 2015 분류 부문 1위를 차지했습니다.
CIFAR-10: ResNet 깊이는 20, 32, 44, 56, 110 레이어에 걸쳐 원활하게 확장되었으며, ResNet-110은 6.43%의 테스트 오차를 기록했습니다. 실험적으로 학습된 1202개 레이어 네트워크는 최적화 실패 없이 학습되었습니다(학습 오차 $< 0.1%$ ).
전이 학습 및 다운스트림 태스크: Faster R-CNN에서 백본을 VGG-16에서 ResNet-101로 교체했을 때 MS COCO mAP@[.5, .95]가 21.2%에서 27.2%로 향상되었고(상대적 28% 증가), PASCAL VOC 2007 테스트 mAP는 73.2%에서 76.4%로 증가했습니다. 심층 잔차 네트워크는 ImageNet 검출, ImageNet 위치 추정, COCO 검출 및 COCO 세그멘테이션에서도 1위를 차지했습니다.

한계점 및 열린 질문

초심층 아키텍처의 오버피팅: CIFAR-10에서 1202개 레이어 모델은 학습 오차 $< 0.1%$ 에 도달했음에도 불구하고, 작은 데이터셋에 대한 정규화 부족으로 인해 ResNet-110(6.43%)보다 높은 테스트 오차(7.93%)를 보였습니다.
퇴화 문제의 이론적 원인: 본 논문은 그래디언트 소실이 문제의 원인이 아님을 실험적으로 보여주며 일반 네트워크가 기하급수적으로 느린 수렴 속도를 겪는다고 추측하지만, 최적화 동역학(optimization dynamics)에 대한 이론적 증명은 향후 연구 과제로 남겨두었습니다.
단일 레이어 잔차: $F$ 가 단일 레이어로만 구성된 경우( $y = W_{1} x + x$ 로 축소됨)에는 잔차 공식화가 뚜렷한 이점을 제공하지 못합니다.

핵심 용어

degradation problem: 그래디언트 소실/폭주 현상이 없음에도 불구하고 심층 신경망에 레이어를 더 추가할수록 학습 오차가 오히려 증가하는 직관에 반하는 현상.
residual learning: 참조되지 않은 매핑 $H (x)$ 를 직접 피팅하는 대신, 입력에 대한 상대적 잔차 함수 $F (x) = H (x) - x$ 를 명시적으로 학습하도록 쌓인 신경망 레이어를 재구성하는 것.
identity shortcut connection: 입력 벡터나 특징 맵을 변경 없이 그대로 통과시켜 쌓여 있는 합성곱 레이어의 출력에 요소별로 더해주는 파라미터가 없는 스킵 연결(skip connection).
projection shortcut: 입력과 출력의 채널 깊이나 공간적 크기가 다를 때 차원을 일치시키기 위해 선형 변환 행렬 또는 $1 \times 1$ 합성곱( $W_{s}$ )을 사용하는 지름길 연결.
bottleneck design: $1 \times 1$ , $3 \times 3$ , $1 \times 1$ 합성곱으로 구성된 3개 레이어 잔차 빌딩 블록으로, $1 \times 1$ 레이어가 특징 차원을 축소했다가 복원하여 연산 복잡도를 줄임.
plain network: 지름길이나 잔차 연결 없이 표준 합성곱 및 풀링 레이어를 단순히 쌓아 올린 베이스라인 합성곱 네트워크 아키텍처.

자주 묻는 질문

퇴화 문제가 그래디언트 소실 때문이 아닌 이유는 무엇인가요?

네트워크는 Batch Normalization과 정규화된 가중치 초기화를 사용하여 학습되었으며, 이를 통해 순전파 시 신호 분산이 0이 되지 않고 역전파 시 그래디언트 놈(norm)이 건강하게 유지됨이 확인되었습니다. 또한 plain-34와 같은 더 깊은 일반 네트워크도 여전히 유의미한 해로 수렴했으나, 더 얕은 네트워크보다 더 높은 학습 오차로 수렴했습니다.

ResNet의 항등 지름길과 Highway Networks의 차이점은 무엇인가요?

Highway Networks는 데이터에 의존적인 파라미터 기반 게이팅 함수를 사용하여 게이트가 닫히면 레이어가 비잔차(non-residual) 형태로 바뀔 수 있습니다. 반면 ResNet 지름길은 결코 닫히지 않는 파라미터가 없는 항등 매핑이므로 전체 네트워크에서 항상 잔차 학습이 보장됩니다.

항등 지름길 대신 프로젝션은 언제 사용되나요?

프로젝션( $1 \times 1$ 합성곱 사용)은 주로 입력과 출력 특징 차원이 일치하지 않을 때(예: 채널 수를 두 배로 늘리고 스트라이드 2로 공간 해상도를 절반으로 줄일 때) 사용됩니다. 차원이 일치할 때는 항등 매핑으로 충분하며, 더 경제적이고 보틀넥 유닛에서 파라미터가 급증하는 것을 방지할 수 있습니다.

CIFAR-10에서 ResNet-1202가 ResNet-110보다 성능이 떨어졌던 이유는 무엇인가요?

ResNet-1202는 최적화 실패가 아니라 오버피팅 때문에 성능이 저하되었습니다. 학습 오차는 $< 0.1%$ 에 성공적으로 도달했으나, 드롭아웃과 같은 추가적인 정규화 기법 없이 작은 크기의 CIFAR-10 데이터셋을 학습하기에는 1,940만 개의 파라미터가 지나치게 방대했습니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)