Adam: Phương pháp tối ưu hóa ngẫu nhiên

Hướng dẫn đọc

Vấn đề và động lực

Tối ưu hóa bậc một ngẫu nhiên là xương sống của học máy hiện đại. Tuy nhiên, Stochastic Gradient Descent (SGD) tiêu chuẩn áp dụng một kích thước bước (step size) đồng nhất cho mọi tọa độ, khiến nó nhạy cảm với việc co giãn gradient, độ cong điều kiện kém và nhiễu ngẫu nhiên. Mặc dù AdaGrad điều chỉnh kích thước bước theo từng tọa độ bằng cách sử dụng bình phương gradient trong lịch sử, tốc độ học của nó lại suy giảm nhanh chóng về 0 trong các kiến trúc sâu. RMSProp và AdaDelta giải quyết sự suy giảm này bằng trung bình trượt hàm mũ, nhưng RMSProp thiếu các đảm bảo lý thuyết trong các thiết lập không dừng và cả hai đều không tính đến độ chệch khởi tạo khi các giá trị trung bình trượt bắt đầu từ 0.

Các tác giả nhằm mục đích kết hợp các ưu điểm của hai trường phái: AdaGrad/RMSProp (thích ứng với các gradient thưa thớt và có quy mô khác nhau) và Momentum cổ điển (tăng tốc độ hội tụ dọc theo các hướng phẳng và làm mượt nhiễu).

Các ý tưởng cốt lõi

• Ước lượng moment bậc một và bậc hai: Adam duy trì các trung bình trượt hàm mũ liên tục của cả gradient (moment gốc bậc một $m_t$) và bình phương gradient (moment chưa hiệu chỉnh bậc hai $v_t$).
• Hiệu chỉnh độ chệch (Bias Correction): Vì $m_t$ và $v_t$ được khởi tạo dưới dạng các vector số không, nên giá trị trung bình trượt tiêu chuẩn của chúng bị chệch về phía 0—đặc biệt là trong các vòng lặp đầu tiên hoặc khi tốc độ suy giảm (${\beta }_1,{\beta }_2$) gần bằng 1. Adam hiệu chỉnh độ chệch này về mặt giải tích bằng cách chia cho $(1-{\beta }_1^t)$ và $(1-{\beta }_2^t)$.
• Bất biến với việc co giãn gradient: Hướng cập nhật hiệu dụng xấp xỉ tỉ lệ thuận với tỉ số tín hiệu trên nhiễu ${\hat{m}}_t/\sqrt{{\hat{v}}_t}$, mang lại khả năng giới hạn kích thước bước tự nhiên và tính bất biến đối với việc co giãn đường chéo của gradient.
• AdaMax: Tổng quát hóa việc theo dõi chuẩn $L_2$ của gradient trong $v_t$ sang chuẩn $L_{\infty }$ tạo ra AdaMax, một biến thể ổn định về mặt số học mà không cần hiệu chỉnh độ chệch cho moment bậc hai.

Phương pháp (kèm các phương trình chính)

Tại bước thời gian $t$, với hàm mục tiêu $f_t(\theta )$, gradient $g_t={\nabla }_{\theta }{f}_t({\theta }_{t-1})$, kích thước bước $\alpha$, tốc độ suy giảm hàm mũ ${\beta }_1,{\beta }_2\in [0,1)$, và một hằng số nhỏ $ϵ$:

1. Cập nhật ước lượng moment bậc một bị chệch: $$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$$

2. Cập nhật ước lượng moment gốc bậc hai bị chệch: $$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)g_t^2$$

3. Tính toán các ước lượng moment đã hiệu chỉnh độ chệch: $${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$ $${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$

4. Cập nhật tham số: $${\theta }_t={\theta }_{t-1}-\alpha \frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}$$

Các siêu tham số mặc định được bài báo khuyến nghị là $\alpha =0.001$, ${\beta }_1=0.9$, ${\beta }_2=0.999$, và $ϵ=10^{-8}$.

Kết quả (kèm các số liệu quan trọng nhất)

• Hội tụ lý thuyết: Trong khuôn khổ tối ưu hóa lồi trực tuyến với gradient bị chặn và miền tham số $D$ bị chặn, Adam đạt được chặn regret lý thuyết là $R(T)={\sum }_{t=1}^T(f_t({\theta }_t)-f_t({\theta }^{\ast }))=O(\sqrt{T})$, mang lại tốc độ regret trung bình là $O(1/\sqrt{T})$.
• Logistic Regression & Perceptron đa tầng (MLP): Trên bài toán phân loại MNIST, Adam hội tụ nhanh hơn AdaGrad, RMSProp và SGD kèm Nesterov momentum trên nhiều kiến trúc khác nhau, thể hiện độ nhạy tối thiểu trước các biến thiên của siêu tham số.
• Mạng nơ-ron tích chập (CNN): Được đánh giá trên CIFAR-10 với một mạng CNN nhiều tầng (có dropout và pooling), Adam cho thấy khả năng giảm hàm mất mát huấn luyện nhanh hơn và đạt mức mất mát cuối cùng thấp hơn so với RMSProp và AdaDelta.

Hạn chế và các câu hỏi mở

• Lý thuyết lồi so với không lồi: Các chặn regret lý thuyết giả định các hàm lồi; hành vi hội tụ trên lý thuyết đối với các hàm mục tiêu không lồi trong học sâu chưa được đảm bảo một cách hình thức.
• Khiếm khuyết lý thuyết được phát hiện sau đó: Các nghiên cứu sau này (chẳng hạn như Reddi et al., 2018) đã chứng minh rằng phép chứng minh hội tụ của Adam có vấn đề khi ${\Gamma }_{t+1}-{\Gamma }_t$ không nhất thiết là nửa xác định dương, đôi khi dẫn đến phân kỳ trong thực nghiệm (điều này đã thúc đẩy sự ra đời của các biến thể như AMSGrad).
• Khoảng cách khả năng tổng quát hóa (Generalization Gap): Các nghiên cứu thực nghiệm sau bài báo này chỉ ra rằng dù Adam tối ưu hóa nhanh hơn ở giai đoạn đầu, nhưng SGD kèm momentum được tinh chỉnh kỹ lưỡng thường tìm thấy các nghiệm có khả năng tổng quát hóa tốt hơn một chút trên một số tác vụ phân loại hình ảnh.