值得读的论文

Attention Is All You Need提出Transformer架构，摒弃循环和卷积，完全基于多头自注意力机制，实现更快且性能更优的序列建模。

BERT: 用于语言理解的深度双向 Transformer 预训练BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT 利用掩码语言模型预训练深度双向 Transformer 表示，在 11 项 NLP 任务上刷新了 SOTA。

用于图像识别的深度残差学习 (Deep Residual Learning for Image Recognition)Deep Residual Learning for Image Recognition深度残差网络利用恒等快捷连接解决了退化问题，成功训练超过100层的网络并达到前沿准确率。

Language Models are Few-Shot Learners将自回归模型扩展至1750亿参数，无需微调仅凭上下文学习即可实现极具竞争力的少样本NLP性能。

生成对抗网络 (Generative Adversarial Networks)Generative Adversarial Nets提出生成对抗网络（GAN），通过生成器与判别器之间的极小化极大博弈进行训练，生成采样无需马尔可夫链。

自编码变分贝叶斯 (Auto-Encoding Variational Bayes)Auto-Encoding Variational Bayes提出重参数化技巧与自编码变分贝叶斯（AEVB），用于在连续潜变量模型中进行可扩展的高效推断。

Denoising Diffusion Probabilistic Models (去噪扩散概率模型)Denoising Diffusion Probabilistic Models展示了通过简化的分数匹配目标训练的扩散概率模型实现的高质量图像生成。

High-Resolution Image Synthesis with Latent Diffusion Models潜在扩散模型将扩散训练转移到预训练自编码器的潜在空间，大幅降低计算量并实现高分辨率图像合成。

一张图像等价于 16x16 的词：用于大规模图像识别的 Transformer (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) 将标准 Transformer 直接应用于图像块，在大规模预训练下性能匹敌或超越 CNN。

Learning Transferable Visual Models From Natural Language SupervisionCLIP基于4亿网络图文对扩展对比预训练，无需标注即可实现媲美监督模型的零样本图像分类。

使用人类反馈训练语言模型以遵循指令Training language models to follow instructions with human feedbackInstructGPT利用RLHF对齐GPT-3与人类指令，使1.3B模型匹敌175B性能，并减少幻觉与毒性。

LoRA: 大语言模型的低秩自适应LoRA: Low-Rank Adaptation of Large Language ModelsLoRA冻结预训练LLM权重并注入可训练低秩分解矩阵，在保持零额外推理延迟的同时将可训练参数量减少多达10,000倍。

思维链提示激发大语言模型的推理能力Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思维链提示通过提供分步推理示例，无需微调即可解锁大语言模型的多步推理能力。

LLaMA：开源且高效的基础语言模型LLaMA: Open and Efficient Foundation Language ModelsMeta推出LLaMA系列基础模型，参数量最高达65B，仅使用公开文本并在多达1.4T token上完成训练。

Llama 2：开源基础与微调聊天模型 (Open Foundation and Fine-Tuned Chat Models)Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta发布Llama 2（7B–70B），通过迭代RLHF和Ghost Attention实现可匹敌闭源系统的开源预训练与对话微调模型。

用于知识密集型 NLP 任务的检索增强生成（Retrieval-Augmented Generation）Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks结合预训练参数化 seq2seq 模型与稠密非参数化检索，在知识密集型 NLP 任务上取得前沿成果。

Adam：一种随机优化方法Adam: A Method for Stochastic OptimizationAdam 结合自适应学习率与动量，并通过偏差校正矩估计，实现高效稳健的随机优化。

Batch Normalization: 通过减少内部协变量偏移加速深度网络训练Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization 稳定网络内部输入分布，支持更高学习率与更快训练，并在 ImageNet 上取得当时最先进的准确率。

神经语言模型的缩放定律 (Scaling Laws for Neural Language Models)Scaling Laws for Neural Language Models实证幂律表明语言模型损失随算力、参数和数据呈规律性缩放，相比训练至收敛更倾向于增大模型。

训练计算最优的大型语言模型Training Compute-Optimal Large Language Models研究表明当前大语言模型严重欠训练；实现计算最优扩展需要按相同比例同等扩展模型参数量与训练Token数。

FlashAttention：兼顾 IO 感知的高速显存高效精确注意力机制FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention 利用分块与重计算避免向显存写入 $N \times N$ 注意力矩阵，使 Transformer 提速高达 3 倍。

直接偏好优化：你的语言模型本质上就是奖励模型Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO通过二元交叉熵直接利用人类偏好数据对齐语言模型，省去了显式奖励模型和强化学习微调。

Mamba：基于选择性状态空间的线性时间序列建模Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba 引入结合硬件感知并行扫描的选择性状态空间模型，在实现线性序列扩展的同时达到 Transformer 级别的性能。

ReAct：在语言模型中协同推理与行动 (Synergizing Reasoning and Acting in Language Models)ReAct: Synergizing Reasoning and Acting in Language ModelsReAct 结合大语言模型的语言推理轨迹与环境行动，有效减少幻觉并大幅提升决策任务的表现。

Segment Anything提出 SAM 和 SA-1B（10亿掩码、1100万图像），构建了用于零样本图像分割的可提示基础模型。

DeepSeek-V3 技术报告DeepSeek-V3 Technical ReportDeepSeek-V3 是一款开源的 671B MoE LLM（37B 激活），在 14.8T token 上训练成本低于 600 万美元，性能比肩顶尖闭源模型。

近端策略优化算法（Proximal Policy Optimization Algorithms）Proximal Policy Optimization Algorithms近端策略优化引入截断替代目标，在简化信任域方法的同时显著提高了样本利用效率。

利用深度强化学习玩 Atari 游戏 (Playing Atari with Deep Reinforcement Learning)Playing Atari with Deep Reinforcement LearningDeep Q-Networks 利用经验回放直接从 Atari 2600 像素学习端到端控制，在三款游戏中超越了人类专家水平。

RoFormer：基于旋转位置嵌入的增强型 TransformerRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer 提出旋转位置嵌入（RoPE），在自注意力中通过正交旋转编码相对 token 位置。

SimCLR：视觉表征对比学习的简明框架A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR 简化了对比视觉表征学习，无需专门架构或内存库，在 ImageNet 上达到了与有监督 ResNet-50 相当的性能。

NeRF: 将场景表示为用于视图合成的神经辐射场NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis通过可微体渲染优化连续5D神经辐射场，合成复杂3D场景的高保真照片级新视图。

U-Net: 用于生物医学图像分割的卷积网络 (U-Net: Convolutional Networks for Biomedical Image Segmentation)U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net 提出了一种带有跳跃连接的 U 型编码器-解码器网络，仅需极少标注图像即可实现快速、精确的生物医学图像分割。

用于实时辐射场渲染的 3D Gaussian Splatting3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting 利用各向异性 3D 高斯和分块光栅化，在 1080p 分辨率下实现高质量的实时新视角合成。

Neural Machine Translation by Jointly Learning to Align and Translate提出在神经机器翻译中引入软注意力机制，使解码器能够动态聚焦于相关的源语言词汇。

向量空间中词表示的高效估计 (Efficient Estimation of Word Representations in Vector Space)Efficient Estimation of Word Representations in Vector Space提出 CBOW 与 Skip-gram 模型，能从数十亿词中快速学习高质量词向量，并保留线性语义与句法语义类比关系。

超大规模神经网络：稀疏门控混合专家层 (Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer)Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer稀疏门控混合专家层（MoE）将神经网络扩展至1370亿参数，以更低计算成本显著降低困惑度。

Mixtral of ExpertsMixtral 8x7B 推出开源稀疏混合专家模型，以每 token 13B 活跃参数超越 Llama 2 70B 并匹敌 GPT-3.5。

Llama 3 模型家族 (The Llama 3 Herd of Models)The Llama 3 Herd of ModelsMeta推出Llama 3开源基础模型，最高达405B参数，原生支持128K上下文、多语言、编程、推理及工具调用。

GPT-4 技术报告 (GPT-4 Technical Report)GPT-4 Technical ReportGPT-4 是大型多模态模型，展现出人类级考试水准、可预测缩放能力，并通过 RBRM 显著提升了安全性。

Constitutional AI: Harmlessness from AI FeedbackConstitutional AI仅凭书面原则，通过自我批评、修改与AI反馈，训练出不回避且无害的语言助手。

Finetuned Language Models Are Zero-Shot Learners在指令格式数据集上微调大语言模型，能显著提升其在未见任务上的零样本泛化能力。

值得读的论文

热门

经典