Deep Residual Learning for Image Recognition

Hướng dẫn đọc

Vấn đề và động lực

Độ sâu của mạng là yếu tố then chốt đối với các biểu diễn nhận dạng thị giác, nhưng việc xếp chồng thêm nhiều tầng làm bộc lộ một vấn đề suy thoái (degradation problem) căn bản: khi độ sâu tăng, độ chính xác bị bão hòa và sau đó suy giảm nhanh chóng. Đáng chú ý là sự suy thoái này không bắt nguồn từ hiện tượng quá khớp (overfitting)—các mạng sâu hơn tạo ra sai số huấn luyện (training error) cao hơn so với các đối trọng nông hơn của chúng, bất chấp các kỹ thuật như Batch Normalization và khởi tạo chuẩn hóa đã đảm bảo rằng các kích hoạt lan truyền xuôi và gradient lan truyền ngược không bị triệt tiêu.

Về mặt lý thuyết, một mô hình sâu hơn luôn có sẵn một nghiệm ánh xạ đồng nhất (identity mapping) theo thiết kế: sao chép mô hình nông đã học và gán các tầng bổ sung thành các phép biến đổi đồng nhất. Tuy nhiên, các bộ giải tối ưu hóa thông thường không thể tìm ra nghiệm này khi học trực tiếp các ánh xạ phi tuyến tính không có tham chiếu.

Ý tưởng cốt lõi

• Khung học phần dư (Residual Learning Framework): Thay vì tối ưu hóa các tầng xếp chồng để xấp xỉ ánh xạ mong muốn $\mathcal{H}(\mathbf{x})$, hãy để các tầng xấp xỉ trực tiếp ánh xạ phần dư $\mathcal{F}(\mathbf{x}):=\mathcal{H}(\mathbf{x})-\mathbf{x}$. Ánh xạ ban đầu được khôi phục thành $\mathcal{F}(\mathbf{x})+\mathbf{x}$.
• Kết nối tắt đồng nhất (Identity Shortcut Connections): Thực thi $\mathcal{F}(\mathbf{x})+\mathbf{x}$ qua các kết nối tắt chuyển tiếp (feedforward shortcut) bỏ qua một hoặc nhiều tầng. Các kết nối đồng nhất không cần tham số bổ sung và hầu như không làm tăng chi phí tính toán.
• Tối ưu hóa & Tiền điều kiện hóa dễ dàng hơn: Nếu các ánh xạ đồng nhất là tối ưu, các bộ tối ưu hóa có thể chỉ đơn giản là đẩy trọng số phần dư về 0. Trên thực tế, phản hồi của các hàm phần dư có biên độ nhỏ, cho thấy các kết nối đồng nhất đóng vai trò như một phương pháp tiền điều kiện hóa (preconditioning) hiệu quả.
• Kiến trúc thắt cổ chai (Bottleneck Architecture): Đối với các biến thể rất sâu (ResNet-50, ResNet-101, ResNet-152), mỗi khối phần dư 2 tầng được thay thế bằng một khối bottleneck 3 tầng (các phép tích chập $1\times 1$, $3\times 3$, $1\times 1$), giúp giảm khối lượng tính toán trong khi vẫn bảo toàn năng lực biểu diễn.

Phương pháp

Đối với một khối phần dư cơ bản có chiều đầu vào và đầu ra khớp nhau: $$\mathbf{y}=\mathcal{F}(\mathbf{x},\{W_i\})+\mathbf{x}$$ trong đó $\mathbf{x}$ và $\mathbf{y}$ là các vector đầu vào và đầu ra, và $\mathcal{F}=W_2\sigma (W_1\mathbf{x})$ cho một khối 2 tầng (với $\sigma$ là hàm kích hoạt ReLU, các hệ số chệch được lược bỏ cho đơn giản). Phép cộng theo từng phần tử được thực hiện trước khi áp dụng hàm kích hoạt ReLU thứ hai $\sigma (\mathbf{y})$.

Khi kích thước bản đồ đặc trưng (feature map) thay đổi (ví dụ: khi giảm kích thước không gian hoặc nhân đôi số kênh): $$\mathbf{y}=\mathcal{F}(\mathbf{x},\{W_i\})+W_s\mathbf{x}$$ Ở đây, $W_s$ biểu thị một trong các lựa chọn:

• Lựa chọn A: Đệm số không (zero-padding) cho các chiều tăng thêm cùng các kết nối đồng nhất (stride 2 để giảm mẫu), không phát sinh thêm tham số nào.
• Lựa chọn B: Phép chiếu tích chập tuyến tính $1\times 1$ $W_s$ chỉ được sử dụng khi tăng số chiều, trong khi các vị trí khác vẫn dùng kết nối đồng nhất thuần túy.
• Lựa chọn C: Sử dụng các kết nối tắt phép chiếu tuyến tính $W_s$ cho tất cả các khối phần dư.

Bài báo áp dụng Lựa chọn B cho các mô hình ImageNet (ResNet-50/101/152) vì Lựa chọn C làm phình số lượng tham số mà không mang lại mức tăng độ chính xác đáng kể, và các kết nối tắt đồng nhất thuần túy là yếu tố sống còn để giữ cho cấu trúc bottleneck hoạt động hiệu quả.

Kết quả

• Phân loại trên ImageNet:
  • ResNet-34 vượt trội hơn plain-34 khoảng 3,5% sai số top-1 (sai số tập val 10-crop là 25,03% so với 28,54%) và giải quyết được hiện tượng suy thoái khi huấn luyện.
  • ResNet-152 đạt sai số kiểm định top-5 trên mô hình đơn lẻ là 4,49% (11,3 tỷ FLOPs, độ phức tạp thấp hơn VGG-16 với 15,3 tỷ FLOPs).
  • Một ensemble gồm các mô hình ResNet đạt sai số top-5 3,57% trên tập kiểm thử, giành vị trí thứ 1 trong thử thách phân loại của ILSVRC 2015.
• CIFAR-10: Độ sâu ResNet mở rộng mượt mà qua các mức 20, 32, 44, 56 và 110 tầng, với ResNet-110 đạt sai số kiểm thử 6,43%. Một mạng thử nghiệm 1202 tầng đã được huấn luyện mà không gặp lỗi tối ưu hóa nào ($<0,1\%$ sai số huấn luyện).
• Chuyển giao & Tác vụ xuôi dòng: Thay thế VGG-16 bằng ResNet-101 trong Faster R-CNN đã nâng mAP@[.5, .95] trên MS COCO từ 21,2% lên 27,2% (mức tăng tương đối 28%) và mAP trên tập kiểm thử PASCAL VOC 2007 từ 73,2% lên 76,4%. Mạng phần dư sâu cũng giành giải nhất trong các cuộc thi ImageNet detection, ImageNet localization, COCO detection và COCO segmentation.

Hạn chế và các câu hỏi mở

• Quá khớp trên kiến trúc siêu sâu: Trên CIFAR-10, mô hình 1202 tầng có sai số kiểm thử cao hơn (7,93%) so với ResNet-110 (6,43%) dù đạt sai số huấn luyện $<0,1\%$, do thiếu các phương pháp điều chuẩn (regularization) trên tập dữ liệu nhỏ.
• Nguyên nhân lý thuyết của sự suy thoái: Bài báo chứng minh bằng thực nghiệm rằng triệt tiêu gradient không phải là nguyên nhân, đưa ra giả thuyết rằng các mạng thuần chịu tốc độ hội tụ thấp theo cấp số nhân, nhưng để lại chứng minh lý thuyết về động lực học tối ưu hóa cho các nghiên cứu tương lai.
• Phần dư một tầng: Dạng thức phần dư không mang lại lợi ích rõ rệt khi $\mathcal{F}$ chỉ gồm một tầng duy nhất (rút gọn thành $\mathbf{y}=W_1\mathbf{x}+\mathbf{x}$).