Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Guia de leitura

Problema e motivação

Durante a otimização de redes profundas com SGD, as alterações nos parâmetros das camadas anteriores alteram a distribuição das entradas para as camadas subsequentes. Os autores denominam esse fenômeno como Internal Covariate Shift.

O internal covariate shift cria dois desafios principais:

1. As sub-redes precisam se adaptar continuamente a distribuições de ativação em constante mudança.
2. As ativações derivam facilmente para os regimes de saturação de não linearidades (como funções sigmoide), causando o desaparecimento de gradientes e exigindo taxas de aprendizado pequenas e inicialização meticulosa de parâmetros.

Embora o branqueamento (decorrelação e padronização) das entradas das camadas em todo o conjunto de dados pudesse estabilizar as distribuições, computar matrizes de covariância completas e suas raízes quadradas inversas a cada atualização de parâmetros é computacionalmente proibitivo e pode fazer com que os gradientes explodam se a normalização não estiver integrada à retropropagação (backpropagation).

Ideias-chave

• Camada de Normalização Diferenciável: Em vez de padronizar as ativações fora da otimização, a normalização é integrada diretamente à arquitetura do modelo, garantindo que o backpropagation considere as dependências entre as ativações das camadas e as estatísticas do mini-batch.
• Normalização por Dimensão: Em vez de um branqueamento conjunto completo, cada dimensão escalar de feature é normalizada independentemente para média zero e variância unitária.
• Restauração da Capacidade Representacional: Para garantir que a normalização não destrua a capacidade expressiva de uma camada (como forçar uma sigmoide a um comportamento puramente linear), parâmetros aprendíveis $\gamma$ (escala) e $\beta$ (deslocamento) são introduzidos para permitir que a camada recupere a transformação identidade, se necessário.
• Inferência Determinística: Durante o treinamento, as estatísticas são calculadas sobre cada mini-batch $\mathcal{B}$. No momento do teste, estatísticas populacionais fixas (computadas por meio de médias móveis ou ao longo dos lotes de treinamento) substituem as estatísticas do mini-batch, garantindo uma inferência determinística para amostras individuais.
• Invariância à Escala dos Parâmetros: Transformações de escala dos pesos das camadas satisfazem $\text{BN}((aW)\mathrm{u})=\text{BN}(W\mathrm{u})$, o que significa que pesos maiores levam a gradientes efetivos menores, prevenindo a explosão de gradientes.

Método (com as equações principais)

Para um mini-batch $\mathcal{B}=\{x_{1\dots m}\}$ correspondente a uma única dimensão de ativação:

1. Calcule a média do mini-batch: $${\mu }_{\mathcal{B}}\leftarrow \frac{1}{m}\sum _{i=1}^m{x}_i$$
2. Calcule a variância do mini-batch: $${\sigma }_{\mathcal{B}}^2\leftarrow \frac{1}{m}\sum _{i=1}^m(x_i-{\mu }_{\mathcal{B}}{)}^2$$
3. Normalize as ativações (com a constante de estabilidade $ϵ$): $${\hat{x}}_i\leftarrow \frac{x_i-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}$$
4. Aplique a escala e o deslocamento usando os parâmetros aprendíveis $\gamma$ e $\beta$: $$y_i\leftarrow \gamma {\hat{x}}_i+\beta \equiv {\text{BN}}_{\gamma ,\beta }(x_i)$$

Aplicação às Camadas

• Posicionamento: Aplicado imediatamente antes das não linearidades: $z=g(\text{BN}(Wu))$. O viés original da camada $b$ é omitido porque a subtração da média o cancela (seu papel é assumido por $\beta$).
• Camadas Convolucionais: Para preservar a propriedade de equivariância por translação, a normalização é aplicada por mapa de características (feature map), e não por ativação espacial. Para tamanho de lote $m$ e resolução espacial $p\times q$, o tamanho efetivo do mini-batch torna-se $m^{\prime }=m\cdot p\cdot q$, com um único par de $(\gamma ,\beta )$ compartilhado em cada mapa de características.

Transformação na Inferência

No momento do teste, a transformação torna-se uma operação linear estática usando as estatísticas populacionais $\mathrm{E}[x]$ e $\mathrm{Var}[x]$: $$y=\frac{\gamma }{\sqrt{\mathrm{Var}[x]+ϵ}}\cdot x+\left(\beta -\frac{\gamma \mathrm{E}[x]}{\sqrt{\mathrm{Var}[x]+ϵ}}\right)$$

Resultados (com os números mais importantes)

• MNIST com Sigmoides: Redes equipadas com Batch Normalization mantiveram distribuições de ativação estáveis ao longo do treinamento, acelerando a convergência e atingindo maior acurácia de teste em comparação com redes não normalizadas.
• Velocidade de Treinamento no ImageNet (Rede Única):
  • O Inception não normalizado alcançou 72,2% de acurácia de validação após $31,0\times 10^6$ passos.
  • O Inception de baseline com Batch Normalization alcançou 72,2% em $13,3\times 10^6$ passos.
  • Com uma taxa de aprendizado 5x maior (BN-x5), alcançou 72,2% em $2,1\times 10^6$ passos — uma redução de 14 vezes nos passos de treinamento necessários, atingindo um pico final de 73,0%.
  • Com uma taxa de aprendizado 30x maior (BN-x30), o modelo atingiu acurácia máxima de 74,8% após $6,0\times 10^6$ passos.
• Não Linearidades Saturantes: Enquanto o Inception não normalizado com ativações sigmoide falhou no treinamento (permanecendo perto de 0,1% de acurácia aleatória), o BN-x5-Sigmoid alcançou 69,8% de acurácia top-1.
• SOTA no ImageNet com Ensemble: Um ensemble de 6 redes com batch normalization alcançou um erro top-5 de validação de 4,9% e um erro de teste de 4,82% no servidor de testes do ILSVRC, superando as baselines de avaliadores humanos.

Limitações e questões em aberto

• Dependência do Tamanho do Batch: Como a normalização se baseia em estatísticas amostrais do mini-batch, tamanhos de mini-batch muito pequenos podem degradar a qualidade das estimativas de variância e média.
• Redes Recorrentes: O artigo testa modelos feedforward e convolucionais, identificando redes neurais recorrentes (RNNs) como uma questão aberta não testada, onde o internal covariate shift também pode ser crítico.
• Fundamentos Teóricos: Os autores conjecturam que o Batch Normalization faz com que os jacobianos das camadas tenham valores singulares próximos de 1, mas observaram que a verificação teórica precisa do comportamento do gradiente permanece em aberto para análises futuras.