읽어볼 만한 논문
인기 논문과 고전 논문을 한국어로 짧게 해설합니다. 리더에서 열면 전문 번역, 해설, AI 대화를 이용할 수 있습니다.
고전 논문
- Attention Is All You Need순환과 합성곱을 멀티 헤드 셀프 어텐션으로 대체하여 더 빠르고 우수한 시퀀스 모델링을 구현한 Transformer를 제안합니다.
- BERT: 언어 이해를 위한 심층 양방향 Transformer 사전 학습 (BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT는 마스크 언어 모델링을 통해 심층 양방향 Transformer를 사전 학습하여 11개 NLP 작업에서 최고 성능을 달성했습니다.
- Deep Residual Learning for Image Recognition심층 잔차 네트워크는 항등 지름길 연결로 퇴화 문제를 해결하여 100개 이상의 층을 최고 수준의 정확도로 학습시킵니다.
- Language Models are Few-Shot Learners자기회귀 모델을 175B 파라미터로 확장하여 미세조정 없이 인컨텍스트 러닝만으로 경쟁력 있는 퓨샷 NLP 성능을 달성합니다.
- Generative Adversarial NetworksGenerative Adversarial Nets생성자와 판별자 간의 미니맥스 게임을 통해 마르코프 연쇄 없이 샘플을 생성하는 적대적 생성 신경망(GAN)을 소개합니다.
- 오토인코딩 변분 베이즈 (Auto-Encoding Variational Bayes)Auto-Encoding Variational Bayes연속 잠재 변수 모델의 확장 가능한 추론을 위한 재매개변수화 트릭과 Auto-Encoding Variational Bayes(AEVB)를 제안합니다.
- Denoising Diffusion Probabilistic Models단순화된 스코어 매칭 목적함수로 학습된 확산 확률 모델을 통해 고품질 이미지 생성을 입증한 논문입니다.
- Latent Diffusion Models를 활용한 고해상도 이미지 합성High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models는 확산 학습을 사전 학습된 오토인코더 잠재 공간으로 옮겨 연산량을 크게 줄이고 고해상도 합성을 실현합니다.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer(ViT)는 표준 트랜스포머를 이미지 패치에 직접 적용하여 대규모 사전 학습 시 CNN 이상의 성능을 달성합니다.
- 자연어 감독을 통한 전이 가능한 시각 모델 학습Learning Transferable Visual Models From Natural Language SupervisionCLIP은 4억 개의 웹 이미지-텍스트 쌍으로 대조 사전학습을 확장하여, 지도학습 모델 수준의 제로샷 이미지 분류 성능을 달성합니다.
- 인간 피드백을 통한 지시 준수 언어 모델 학습Training language models to follow instructions with human feedbackInstructGPT는 RLHF를 통해 GPT-3를 정렬하여, 환각과 독성을 줄이면서 1.3B 모델로 175B 수준의 성능을 달성합니다.
- LoRA: 대규모 언어 모델의 로우 랭크 적응 기법 (Low-Rank Adaptation of Large Language Models)LoRA: Low-Rank Adaptation of Large Language ModelsLoRA는 사전 학습된 LLM 가중치를 고정하고 학습 가능한 저순위 분해 행렬을 삽입하여, 지연 시간 없이 파라미터를 최대 10,000배 줄입니다.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought 프롬프팅은 단계별 예시를 제공하여 파인튜닝 없이 대규모 언어 모델의 다단계 추론 능력을 이끌어냅니다.
- LLaMA: 오픈형의 효율적인 파운데이션 언어 모델LLaMA: Open and Efficient Foundation Language ModelsMeta가 공개 데이터로 최대 1.4조 토큰을 학습한 최대 65B 파라미터 규모의 파운데이션 모델 제품군 LLaMA를 발표했습니다.
- Llama 2: 오픈 파운데이션 및 파인튜닝된 챗 모델Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta가 반복적 RLHF와 Ghost Attention으로 상용 모델과 견주는 사전 학습 및 대화형 정렬 LLM인 Llama 2(7B–70B)를 공개했습니다.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks사전 학습된 seq2seq 모델과 밀집 비모수적 검색을 결합하여 지식 집약적 NLP 태스크에서 SOTA를 달성했습니다.
- Adam: 확률적 최적화를 위한 방법Adam: A Method for Stochastic OptimizationAdam은 적응형 학습률과 모멘텀, 편향 수정 모멘트 추정을 결합하여 효율적이고 강건한 확률적 최적화를 달성합니다.
- Batch Normalization: 내부 공변량 변화 감소를 통한 심층 신경망 학습 가속화Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift배치 정규화는 내부 레이어 입력 분포를 안정화하여 빠른 학습, 높은 학습률, SOTA ImageNet 정확도를 가능하게 합니다.
- Scaling Laws for Neural Language Models실증적 멱법칙을 통해 언어 모델 손실이 연산량, 파라미터, 데이터에 따라 예측 가능하게 확장되며, 수렴까지 학습하기보다 큰 모델이 유리함을 보입니다.
- Training Compute-Optimal Large Language Models (연산 최적화된 거대 언어 모델 학습)Training Compute-Optimal Large Language Models기존 LLM의 학습량 부족을 규명하고, 연산 최적화를 위해 모델 파라미터와 학습 토큰을 동일한 비율로 확장해야 함을 밝힌 논문.
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention은 타일링과 재연산으로 $N \times N$ 어텐션 행렬의 GPU HBM 쓰기를 방지해 트랜스포머를 최대 3배 가속합니다.
- Direct Preference Optimization: 언어 모델은 사실 보상 모델이다Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO는 이진 크로스 엔트로피를 통해 인간 선호도 데이터로 언어 모델을 직접 정렬하여 명시적 보상 모델과 강화학습 미세 조정을 제거합니다.
- Mamba: 선택적 상태 공간을 활용한 선형 시간 시퀀스 모델링Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba는 하드웨어 인지 병렬 스캔을 갖춘 선택적 상태 공간 모델을 도입하여 선형적 확장성과 함께 트랜스포머급 성능을 달성합니다.
- ReAct: 언어 모델에서 추론과 행동의 시너지 창출하기ReAct: Synergizing Reasoning and Acting in Language ModelsReAct는 LLM의 언어적 추론과 환경 내 행동을 결합하여 환각 현상을 줄이고 의사결정 과업의 성능을 대폭 끌어올립니다.
- Segment AnythingSAM과 SA-1B(10억 개 마스크, 1100만 장 이미지)를 소개하며 제로샷 이미지 분할을 위한 프롬프트 지원 파운데이션 모델을 구축합니다.
- DeepSeek-V3 기술 보고서 (DeepSeek-V3 Technical Report)DeepSeek-V3 Technical ReportDeepSeek-V3는 6백만 달러 미만 비용으로 14.8T 토큰을 학습해 최고 수준의 폐쇄형 모델 성능에 필적하는 671B(활성 37B) 오픈 MoE LLM입니다.
- 근접 정책 최적화 알고리즘 (Proximal Policy Optimization Algorithms)Proximal Policy Optimization AlgorithmsPPO는 클리핑된 대리 목적 함수를 도입하여 신뢰 영역 방법을 단순화하는 동시에 샘플 효율성을 대폭 향상합니다.
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks는 경험 재생을 통해 아타리 2600 픽셀로부터 종단간 제어를 학습하여 3개 게임에서 인간 전문가를 능가했습니다.
- RoFormer: 회전식 위치 임베딩을 적용한 향상된 트랜스포머RoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer는 셀프 어텐션 내에서 직교 회전을 통해 상대적 토큰 위치를 인코딩하는 회전식 위치 임베딩(RoPE)을 제안합니다.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR는 특수 구조나 메모리 뱅크 없이 시각적 대조 학습을 단순화하여 ImageNet에서 지도학습 ResNet-50과 동등한 성능을 달성했습니다.
- NeRF: 시점 합성을 위한 신경 광선 필드 기반 장면 표현NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis미분 가능한 볼륨 렌더링으로 연속적인 5D 신경 광선 필드를 최적화하여 복잡한 3D 장면의 사실적인 새로운 시점을 합성합니다.
- U-Net: 생의학 영상 분할을 위한 합성곱 신경망 (U-Net: Convolutional Networks for Biomedical Image Segmentation)U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net은 스킵 연결을 갖춘 U자형 인코더-디코더 네트워크를 제안하여 소수의 주석 이미지로도 빠르고 정밀한 생의학 영상 분할을 달성합니다.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting은 비등방성 3D 가우시안과 타일 기반 래스터화를 통해 1080p에서 실시간 고품질 뷰 합성을 달성합니다.
- Neural Machine Translation by Jointly Learning to Align and Translate (정렬과 번역의 공동 학습을 통한 신경망 기계 번역)Neural Machine Translation by Jointly Learning to Align and Translate신경망 기계 번역에 소프트 어텐션 메커니즘을 도입하여, 디코더가 관련된 원문 단어에 동적으로 집중할 수 있도록 개선했습니다.
- 벡터 공간에서의 효율적인 단어 표현 추정 (Efficient Estimation of Word Representations in Vector Space)Efficient Estimation of Word Representations in Vector Space선형적 의미 및 문법 유추 관계를 보존하면서 수십억 단어에서 고품질 단어 벡터를 빠르게 학습하는 CBOW와 Skip-gram을 제안합니다.
- 엄청나게 거대한 신경망: 희소 게이팅 전문가 혼합 레이어 (Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer)Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer희소 게이팅 전문가 혼합 레이어로 신경망을 1,370억 파라미터까지 확장해 연산 비용을 줄이면서도 더 낮은 perplexity를 달성합니다.
- Mixtral of ExpertsMixtral 8x7B는 토큰당 13B 활성 파라미터를 사용하는 오픈 SMoE 모델로, Llama 2 70B를 능가하고 GPT-3.5 수준에 도달합니다.
- Llama 3 모델 제품군The Llama 3 Herd of ModelsMeta가 128K 컨텍스트, 다국어, 코딩, 추론, 도구 사용을 지원하는 최대 405B 파라미터의 오픈 파운데이션 모델 Llama 3를 공개했습니다.
- GPT-4 기술 보고서 (GPT-4 Technical Report)GPT-4 Technical ReportGPT-4는 인간 수준의 시험 성적, 예측 가능한 스케일링, RBRM 기반 안전성을 입증한 대규모 멀티모달 모델입니다.
- Constitutional AI: Harmlessness from AI Feedback헌법적 AI는 명문화된 원칙만을 바탕으로 비판, 수정, AI 피드백을 활용해 회피하지 않는 무해한 언어 어시스턴트를 학습시킵니다.
- Finetuned Language Models Are Zero-Shot Learners지시문 형식의 데이터셋으로 대규모 언어 모델을 파인튜닝하면 미학습 작업에 대한 제로샷 일반화 성능이 대폭 향상됩니다.