值得讀的論文
熱門
- OpenHands：以通用代理人形式打造 AI 軟體開發者的開源平台OpenHands: An Open Platform for AI Software Developers as Generalist AgentsOpenHands 是個開源平台，整合沙盒執行、網頁瀏覽、多代理人委派與 15 項基準測試，專為 AI 開發者打造。
- TradingAgents：多智慧體 LLM 金融交易框架TradingAgents: Multi-Agents LLM Financial Trading FrameworkTradingAgents 透過專業化 LLM 智慧體與多視角辯論模擬交易機構，實現卓越的風險調整後報酬。
- Harness^2：開放世界下的遞迴式代理架構調適Harness2: Recursive Agent Harnessing for an Open WorldHarness2 實現跨任務與元架構層級的開放世界遞迴式代理自我改進，無需基準真值驗證器。
- Unlimited OCR WorksUnlimited OCR Works: Welcome the Era of One-shot Long-horizon ParsingUnlimited OCR 提出參考滑動視窗注意力，實現常數 KV 快取解碼，支援單次前向傳遞長篇多頁文件轉錄。
- AgentScope 中的超大規模多智慧體模擬Very Large-Scale Multi-Agent Simulation in AgentScopeAgentScope 透過基於 Actor 的分散式機制、可配置多樣性與 Web 管理，將多智慧體模擬擴展至百萬 LLM 智慧體規模。
- AgentScope 1.0：以開發者為核心的代理應用程式建構框架AgentScope 1.0: A Developer-Centric Framework for Building Agentic ApplicationsAgentScope 1.0 提供模組化 ReAct 框架，支援平行工具調用、MCP 整合、視覺化追蹤與沙盒執行環境。
- Kronos：金融市場語言的基礎模型Kronos: A Foundation Model for the Language of Financial MarketsKronos 將金融 K 線資料離散化為階層式標記，並在橫跨多市場的 120 億筆記錄上進行自迴歸預訓練。
- Hy-Nomas：邁向自由形式的互動式世界生成Hy-Nomas: Towards Free-form Interactive World GenerationHy-Nomas 是 8B 影片世界模型，支援多輪互動中交錯的自由形式文字指令與連續相機控制。
- MOSS-Image 技術報告MOSS-Image Technical ReportMOSS-Image 結合 5B 擴散 Transformer 與代理提示詞增強器，能生成具備長篇雙語文字與複雜排版的圖形。
- 記憶體牆的另一半：透過訓練路由預測從 SSD 提供 35B MoE 服務The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing PredictionEdge0 在消費級硬體上透過超前 1 個 token 的路由預測與修復 LoRA，僅需 3 GiB RAM 即可從 SSD 以 20 tok/s 串流 35B MoE 權重。
- Prism：用於原生 2K 視訊-音訊聯合生成模型訓練的動態稀疏注意力機制Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model TrainingPrism 藉由視覺變異數與音訊交叉注意力範數引導的動態稀疏注意力，實現原生 2K 視訊-音訊聯合擴散模型訓練。
經典
- Attention Is All You Need提出 Transformer 架構，以多頭自注意力機制完全取代循環與卷積結構，實現更快速且達 SOTA 的序列建模。
- BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT 透過遮蔽語言模型預訓練深度雙向 Transformer 表徵，在 11 項 NLP 任務中刷新 SOTA 表現。
- 影像辨識的深度殘差學習 (Deep Residual Learning for Image Recognition)Deep Residual Learning for Image Recognition深度殘差網路使用恆等捷徑連接解決退化問題，成功訓練超過100層的網路並達到最先進的精準度。
- 語言模型是少樣本學習者 (Language Models are Few-Shot Learners)Language Models are Few-Shot Learners將自迴歸模型擴展至 175B 參數，無需微調即可純粹透過情境學習實現具競爭力的少樣本 NLP 表現。
- Generative Adversarial NetworksGenerative Adversarial Nets提出生成對抗網路（GAN），透過生成器與鑑別器間的極小化極大賽局進行訓練，採樣時完全無需依賴馬可夫鏈。
- Auto-Encoding Variational Bayes提出重參數化技巧與 AEVB，實現連續潛變數模型的大規模高效推論。
- Denoising Diffusion Probabilistic Models本研究透過簡化的分數匹配目標函數訓練擴散機率模型，展現了高品質的影像生成能力。
- 使用潛在擴散模型進行高解析度影像合成 (High-Resolution Image Synthesis with Latent Diffusion Models)High-Resolution Image Synthesis with Latent Diffusion Models潛在擴散模型將擴散訓練轉移至預訓練自動編碼器的潛在空間，大幅降低運算需求並實現高解析度合成。
- 一張圖片相當於 16x16 個文字：大規模圖像識別的 Transformer 模型 (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) 將標準 Transformer 直接應用於影像區塊，在大規模預訓練下能匹敵甚至超越 CNN。
- Learning Transferable Visual Models From Natural Language SupervisionCLIP 以 4 億圖文對擴大對比式預訓練，達成媲美監督學習模型的零樣本影像分類能力。
- 利用人類回饋訓練語言模型以遵循指令Training language models to follow instructions with human feedbackInstructGPT 透過 RLHF 將 GPT-3 與人類指令對齊，以 1.3B 模型匹敵 175B 效能，同時降低幻覺與毒性。
- LoRA: Large Language Models 的低秩適應LoRA: Low-Rank Adaptation of Large Language ModelsLoRA 凍結預訓練 LLM 權重並注入可訓練低秩分解矩陣，可減少高達 10,000 倍可訓練參數且零推論延遲。
- 思維鏈提示激發大型語言模型的推理能力 (Chain-of-Thought Prompting Elicits Reasoning in Large Language Models)Chain-of-Thought Prompting Elicits Reasoning in Large Language Models思維鏈提示提供逐步示範，無需微調即可釋放大型語言模型的多步驟推理能力。
- LLaMA：開放且高效的基礎語言模型LLaMA: Open and Efficient Foundation Language ModelsMeta 推出 LLaMA 基礎模型系列（最高達 65B 參數），僅使用高達 1.4T 的公開資料標記進行訓練。
- Llama 2：開源基底與微調對話模型Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta 發布 Llama 2（7B–70B），透過迭代式 RLHF 與 Ghost Attention，打造能匹敵閉源系統的對話對齊開源 LLM。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks結合預訓練參數化 seq2seq 模型與密集非參數化檢索，在知識密集型 NLP 任務中刷新 SOTA 表現。
- Adam: A Method for Stochastic OptimizationAdam 結合自適應學習率與動量，並透過偏差修正的動差估計，實現高效且穩健的隨機最佳化。
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization 穩定了網路內部層的輸入分佈，實現更快的訓練速度、更高的學習率，並在 ImageNet 達到頂尖準確率。
- 神經語言模型的縮放法則 (Scaling Laws for Neural Language Models)Scaling Laws for Neural Language Models實證冪律顯示語言模型損失隨運算量、參數量與資料量具規律縮放，且傾向採用大模型而非訓練至收斂。
- Training Compute-Optimal Large Language Models研究指出大型語言模型普遍訓練不足；運算最佳化擴展需以等比例同時增加模型參數量與訓練 token 量。
- FlashAttention：具備 IO 感知的高速且高記憶體效率精確注意力機制FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention 運用分塊與重計算技術，避免將 $N \times N$ 注意力矩陣寫入 GPU HBM，使 Transformer 速度提升達 3 倍。
- 直接偏好最佳化：你的語言模型骨子裡就是個獎勵模型 (Direct Preference Optimization: Your Language Model is Secretly a Reward Model)Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO 使用二元交叉熵直接根據人類偏好資料對齊語言模型，完全捨棄顯式獎勵模型與強化學習微調。
- Mamba：具選擇性狀態空間的線性時間序列塑模Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba 提出具硬體感知的選擇性狀態空間模型，以線性序列複雜度實現媲美 Transformer 的品質。
- ReAct：在語言模型中協同推理與行動ReAct: Synergizing Reasoning and Acting in Language ModelsReAct 結合 LLM 的語言推理軌跡與環境行動，大幅減少模型幻覺並顯著提升決策任務的表現。
- Segment Anything推出 SAM 與 SA-1B（10 億個遮罩、1100 萬張影像），建立可用於零樣本影像分割的可提示基礎模型。
- DeepSeek-V3 技術報告DeepSeek-V3 Technical ReportDeepSeek-V3 為開源 671B MoE LLM（活化 37B），以低於 600 萬美元在 14.8T token 上訓練完成，性能媲美頂尖閉源模型。
- Proximal Policy Optimization AlgorithmsPPO 提出截斷代理目標函數，在簡化信賴區間方法的同時提升樣本效率。
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks 利用經驗回放直接從 Atari 2600 像素學習端對端控制，在三款遊戲中超越人類專家表現。
- RoFormer：結合旋轉位置編碼的增強型 TransformerRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer 提出旋轉位置編碼（RoPE），透過自注意力機制中的正交旋轉來編碼 token 相對位置。
- 視覺表徵對比學習的簡易框架A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR 簡化了對比視覺表徵學習，無需特殊架構或記憶庫，在 ImageNet 上達到了與監督式 ResNet-50 相當的表現。
- NeRF：將場景表示為用於視角合成的神經輻射場NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis透過可微體積渲染最佳化連續 5D 神經輻射場，合成複雜 3D 場景的高逼真度新視角影像。
- U-Net：用於生物醫學影像分割的卷積網路 (U-Net: Convolutional Networks for Biomedical Image Segmentation)U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net 提出具跳躍連接的 U 型編碼-解碼器網路，能從極少量標註影像中實現快速且精確的生物醫學分割。
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting 結合非等向性 3D 高斯與圖塊光柵化，在 1080p 解析度下實現即時、高品質的新視角合成。
- Neural Machine Translation by Jointly Learning to Align and Translate本研究將軟性注意力機制引入神經機器翻譯，使解碼器能動態聚焦於相關的來源詞，顯著提升長句翻譯品質。
- Efficient Estimation of Word Representations in Vector Space提出 CBOW 與 Skip-gram，能從數十億詞彙中快速學習高品質詞向量，並保留線性語意與語法類比關係。
- 極大規模神經網路：稀疏門控專家混合層 (Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer)Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer稀疏門控專家混合層（MoE）將神經網路擴展至137B參數，以更低的運算成本實現更低的困惑度。
- Mixtral of ExpertsMixtral 8x7B 採用開源稀疏混合專家模型，每權記僅需 13B 活躍參數，效能超越 Llama 2 70B 並媲美 GPT-3.5。
- Llama 3 模型家族 (The Llama 3 Herd of Models)The Llama 3 Herd of ModelsMeta 推出 Llama 3 開源基礎模型，最高達 405B 參數，原生支援 128K 上下文、多語言、程式碼、推理與工具調用。
- GPT-4 技術報告GPT-4 Technical ReportGPT-4 是大型多模態模型，展現人類水準的考試表現、可預測的擴展性，並透過 RBRM 大幅提升安全性。
- Constitutional AI：源自 AI 反饋的無害性Constitutional AI: Harmlessness from AI FeedbackConstitutional AI 僅透過成文原則引導批判、修訂與 AI 反饋，訓練出不迴避問題且無害的語言助理。
- Finetuned Language Models Are Zero-Shot Learners透過指令格式資料集微調大型語言模型，能大幅增強其在未見任務上的零樣本泛化能力。