Playing Atari with Deep Reinforcement Learning

논문 해설

문제 및 동기

감각 영역에서의 강화학습(RL)은 역사적으로 선형 가치 함수 또는 정책 근사와 결합된 수작업 엔지니어링 특징에 의존했습니다. 딥러닝 신경망은 컴퓨터 비전 및 음성 인식 분야에서 강력한 표현 학습 능력을 입증했지만, 이를 RL에 적용하는 데는 근본적인 난관이 있었습니다:

• 지연되고 희소한 보상: 학습 신호는 스칼라 형태이며 노이즈가 많고, 행동으로부터 수천 타임스텝 떨어진 후에 주어집니다.
• Non-i.i.d. 관측값: 연속적인 환경 상태는 독립적인 샘플이 아니라 높은 상관관계를 갖는 시계열을 형성합니다.
• 비정상 분포(Non-stationary distributions): 데이터를 생성하는 정책이 학습 중에 지속적으로 변화하여, 비선형 함수 근사기를 발산하게 만들 수 있는 피드백 루프가 형성됩니다.

본 연구의 목표는 게임별 수정 없이 다양한 아타리 2600 게임 전반에서 고차원 시각 입력($210\times 160$ RGB 비디오)으로부터 제어 정책을 직접 학습할 수 있는 단일 알고리즘 및 신경망 아키텍처를 구축하는 것입니다.

핵심 아이디어

• 종단간(End-to-end) 감각 제어: 도메인 특화 비전 시스템이나 에뮬레이터 내부 정보에 대한 접근 없이 원시 픽셀을 행동 가치($Q$-값)로 직접 매핑합니다.
• 경험 재생 버퍼(Experience Replay Buffer): 에이전트의 상호작용 $e_t=(s_t,a_t,r_t,s_{t+1})$을 유한한 메모리 버퍼 $\mathcal{D}$에 저장합니다. 학습 시 이 메모리에서 균등 미니배치를 무작위로 추출합니다. 이는 샘플 간 상관관계를 깨뜨리고, 그래디언트 분산을 줄이며, 과거 정책 전반의 데이터 분포를 안정화합니다.
• 행동 가치 출력 매개변수화: 상태와 행동을 모두 입력으로 받아 단일 스칼라 $Q(s,a)$를 계산하는 대신, 네트워크는 상태 표현만을 입력으로 받고 한 번의 순전파로 가능한 모든 이산 행동에 대한 예측 $Q$-값을 포함하는 벡터를 출력합니다.
• 프레임 스태킹 및 다운샘플링: 단일 프레임은 지각적 에일리어싱(속도나 궤적을 추론할 수 없는 문제)을 겪기 때문에, 전처리된 4개의 연속 그레이스케일 프레임 기록을 $84\times 84\times 4$ 입력 텐서로 쌓아 사용합니다.

방법론 (핵심 수식 포함)

상태 시퀀스 $s_t=(x_1,a_1,\dots ,x_t)$는 전처리 함수 $\varphi$를 통해 $84\times 84\times 4$ 표현으로 매핑됩니다. 네트워크 파라미터 $\theta$는 각 반복 $i$에서 일련의 평균 제곱 벨만 오차 손실 함수를 사용하여 학습됩니다:

$$L_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[{\left(y_i-Q(s,a;{\theta }_i)\right)}^2\right]$$

여기서 타깃 $y_i$는 이전 반복의 파라미터 ${\theta }_{i-1}$을 사용하여 계산됩니다:

$$y_i=\{\begin{array}{ll}r& \text{종료 상태 }{s}^{\prime }\text{인 경우}\\ r+\gamma {\max }_{a^{\prime }}Q(s^{\prime },a^{\prime };{\theta }_{i-1})& \text{비종료 상태 }{s}^{\prime }\text{인 경우}\end{array}$$

${\theta }_i$에 대한 그래디언트는 다음과 같습니다:

$${\nabla }_{{\theta }_i}{L}_i({\theta }_i)={\mathbb{E}}_{(s,a,r,s^{\prime })}\left[\left(r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }_{i-1})-Q(s,a;{\theta }_i)\right){\nabla }_{{\theta }_i}Q(s,a;{\theta }_i)\right]$$

모델 아키텍처 및 학습 설정

• 입력: 다운샘플링된 그레이스케일 프레임을 크롭하여 생성한 $84\times 84\times 4$ 이미지.
• Conv 1: 크기 $8\times 8$, 스트라이드 4, 16개 필터, ReLU 활성화 함수.
• Conv 2: 크기 $4\times 4$, 스트라이드 2, 32개 필터, ReLU 활성화 함수.
• FC 1: 256개 완전 연결 ReLU 유닛.
• 출력: 4개에서 18개의 출력을 갖는 완전 연결 선형 레이어(유효한 행동당 하나씩).
• 옵티마이저: 배치 크기 32의 RMSProp.
• 탐험: $ϵ$-greedy 방식으로, $ϵ$은 첫 $10^6$ 프레임 동안 $1.0$에서 $0.1$까지 선형적으로 감소한 후 $0.1$로 고정.
• 보상 클리핑(Reward Clipping): 오차 스케일을 표준화하기 위해 양의 보상은 $+1$, 음의 보상은 $-1$, 중립 보상은 $0$으로 설정.
• 프레임 스킵(Frame skipping): 에이전트는 $k=4$ 프레임마다 관측하고 행동을 선택(선택된 행동 반복)하지만, 깜빡이는 레이저 스프라이트가 보이도록 유지해야 하는 Space Invaders의 경우 $k=3$ 적용.

결과 (핵심 수치 포함)

DQN은 $ϵ=0.05$인 $ϵ$-greedy 정책을 사용하여 7개의 아타리 2600 게임에서 평가되었습니다. 기존 선형 RL 베이스라인 및 인간 전문가와의 평균 점수 비교:

• DQN은 7개 게임 모두에서 기존 강화학습 방법(Sarsa 및 Contingency)보다 뛰어난 성능을 보였습니다.
• DQN은 3개 게임에서 인간 전문가 점수를 능가했습니다: Breakout (168 vs. 31), Enduro (470 vs. 368), Pong (20 vs. -3).
• 별도로 분리된 상태 세트에서 예측된 평균 최대 $Q$-값을 추적한 결과, 학습 중 단조로운 향상을 보이며 발산 없이 안정적임을 입증했습니다.

한계점 및 열린 질문

• 장기적 전략 계획(Long-horizon strategic planning): 지연되고 장기적인 신용 할당이 필요한 게임(예: Q*bert, Seaquest, Space Invaders)에서는 인간 점수에 크게 미치지 못했습니다.
• 보상 클리핑의 부작용: 모든 양의 보상을 $+1$로 정규화하면 가치가 높은 목표와 낮은 목표를 구별하지 못합니다.
• 균등 재생 메모리의 한계: 재생 버퍼는 용량이 고정되어($10^6$ 프레임) 오래된 데이터를 덮어쓰며, 중요도에 따라 전이에 가중치를 두지 않고 균등하게 샘플링합니다(우선순위 재생과 다름).
• 변화하는 타깃 값: 단일 그래디언트 스텝 동안 파라미터 ${\theta }_{i-1}$은 고정되지만, SGD 스텝에 걸쳐 지속적으로 업데이트됩니다(이후 후속 연구에서 천천히 업데이트되는 전용 타깃 네트워크가 도입되었습니다).