読むべき論文
話題の論文
- OpenHands: 汎用エージェントとしてのAIソフトウェア開発者のためのオープンなプラットフォームOpenHands: An Open Platform for AI Software Developers as Generalist AgentsOpenHandsはサンドボックス実行、ウェブ閲覧、マルチエージェント委譲、15のベンチマークを統合したAI開発者向けオープン基盤です。
- TradingAgents: マルチエージェントLLM金融トレーディングフレームワークTradingAgents: Multi-Agents LLM Financial Trading FrameworkTradingAgentsは専門化したLLMエージェントと多角的討論で取引会社を模擬し、優れたリスク調整後リターンを実現します。
- Harness^2: 開放型世界のための再帰的エージェントハーネス化Harness2: Recursive Agent Harnessing for an Open WorldHarness2は、正解検証器のないオープンワールドにおいて、タスクおよびメタハーネスの階層横断的な再帰的エージェント自己改善を実現します。
- Unlimited OCR WorksUnlimited OCR Works: Welcome the Era of One-shot Long-horizon ParsingUnlimited OCRは参照スライディングウィンドウアテンションを導入し、一定のKVキャッシュでのワンショット長文文書転記を実現します。
- AgentScopeにおける超大規模マルチエージェントシミュレーションVery Large-Scale Multi-Agent Simulation in AgentScopeAgentScopeはアクターベースの分散機構、設定可能な多様性、Web管理により100万規模のLLMエージェントシミュレーションを実現します。
- AgentScope 1.0: エージェントアプリケーション構築のための開発者中心フレームワークAgentScope 1.0: A Developer-Centric Framework for Building Agentic ApplicationsAgentScope 1.0は並行ツール呼出、MCP統合、Studio追跡、サンドボックスを備えたReAct基盤のモジュール型フレームワークです。
- Kronos: 金融市場の言語のための基盤モデルKronos: A Foundation Model for the Language of Financial MarketsKronosは金融ローソク足データを階層的トークンへと離散化し、45市場・120億件以上のデータで自己回帰事前学習を行う基盤モデルです。
- Hy-Nomas: 自由形式のインタラクティブな世界生成に向けてHy-Nomas: Towards Free-form Interactive World GenerationHy-Nomasは、複数ターンの対話にわたり自由形式のテキスト指示と連続的なカメラ制御の混在をサポートする8B動画世界モデルです。
- MOSS-Image テクニカルレポートMOSS-Image Technical ReportMOSS-Imageは5B DiTとエージェント型プロンプト拡張を組み合わせ、長文の二言語テキストや複雑なレイアウトの画像を生成します。
- メモリの壁のもう半分：学習済みルーティング予測を用いたSSDからの35B MoE推論The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing PredictionEdge0は、1トークン先予測と復元LoRAにより、民生用機器上で35B MoEを3GiB RAM・20 tok/sでSSDからストリーミングします。
- Prism: ネイティブ2K映像・音声同時生成モデルの学習に向けた動的スパースアテンションPrism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model TrainingPrismは視覚的特徴の分散と音声クロスアテンションノルムに導かれる動的スパースアテンションにより、ネイティブ2K映像・音声拡散モデルの学習を実現します。
定番の論文
- Attention Is All You Need再帰や畳み込みを排除しMulti-Head Self-Attentionを採用したTransformerを提案。高速かつ最高精度の系列モデリングを実現。
- BERT: 言語理解のための深層双方向Transformerの事前学習BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERTはマスク言語モデルにより深層双方向Transformer表現を事前学習し、11の自然言語処理タスクでSOTAを達成しました。
- Deep Residual Learning for Image Recognition恒等ショートカット接続を用いた残差学習により劣化問題を解決。100層以上の深層網の学習を可能にし、最高精度を達成したResNetの原著論文。
- Language Models are Few-Shot Learners自己回帰モデルを175Bパラメータにスケールすることで、ファインチューニングなしのインコンテキスト学習のみで競争力のあるfew-shot NLP性能を実現。
- 敵対的生成ネットワーク (Generative Adversarial Networks)Generative Adversarial Nets生成器と識別器のミニマックスゲームを通じて学習し、サンプリング時のマルコフ連鎖を不要にする敵対的生成ネットワーク（GAN）を提案。
- Auto-Encoding Variational Bayes再パラメータ化トリックとAEVBを提案し、連続潜在変数モデルにおけるスケーラブルな推論と学習を実現したVAEの原著論文。
- Denoising Diffusion Probabilistic Models簡略化されたスコアマッチング目的関数で訓練された拡散確率モデルにより、高品質な画像生成を実現。
- Latent Diffusion Modelsによる高解像度画像合成High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Modelsは事前学習済みAEの潜在空間で拡散モデルを学習し、計算コストを激減させつつ高解像度合成を可能にします。
- 画像は16x16の言葉に値する：大規模画像認識のためのTransformerAn Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer（ViT）は画像をパッチに分割し標準Transformerを直接適用。大規模事前学習でCNNと同等以上の性能を達成。
- Learning Transferable Visual Models From Natural Language SupervisionCLIPはWeb上の4億組の画像・テキスト対で対照学習を拡張し、教師ありモデルに匹敵するゼロショット画像分類を実現しました。
- 人間のフィードバックを用いた指示追従言語モデルの訓練Training language models to follow instructions with human feedbackInstructGPTはRLHFによりGPT-3を人間の指示に適合させ、1.3Bモデルで175B匹敵の性能を達成しつつ幻覚や毒性を低減。
- LoRA: 大規模言語モデルの低ランク適応（Low-Rank Adaptation of Large Language Models）LoRA: Low-Rank Adaptation of Large Language ModelsLoRAは事前学習済みLLMを凍結し低ランク分解行列を注入することで、推論遅延ゼロで学習対象パラメータを最大1万分の1に削減します。
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thoughtプロンプティングは段階的な推論例を提示し、ファインチューニングなしで大規模言語モデルのマルチステップ推論を引き出します。
- LLaMA: オープンかつ効率的な基盤言語モデルLLaMA: Open and Efficient Foundation Language ModelsMetaが最大65Bパラメータの基盤モデル群LLaMAを発表。公開テキスト最大1.4Tトークンで訓練され、高効率な推論と最高水準の性能を両立。
- Llama 2: オープンな基盤モデルおよびファインチューニング済みチャットモデルLlama 2: Open Foundation and Fine-Tuned Chat ModelsMetaがLlama 2（7B〜70B）を公開。反復的RLHFとGhost Attentionにより商用モデルに匹敵する対話アライメントを実現。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks事前学習済みパラメトリックseq2seqモデルと高密度ノンパラメトリック検索を統合し、知識集約型NLPタスクでSOTAを達成。
- Adam: 確率的最適化のための手法Adam: A Method for Stochastic OptimizationAdamは適応的学習率とモメンタム、バイアス補正されたモーメント推定を組み合わせ、効率的で堅牢な確率的最適化を実現します。
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalizationは層の入力分布を安定化させ、学習の高速化、学習率の向上、ImageNetでの最高精度を可能にします。
- ニューラル言語モデルのスケーリング則Scaling Laws for Neural Language Models言語モデルの損失は計算量・パラメータ数・データ量に対しべき乗則に従い予測可能にスケールし、収束までの学習より巨大モデルが有利です。
- 計算量的に最適な大規模言語モデルの訓練Training Compute-Optimal Large Language ModelsLLMの学習不足を実証。計算量最適スケーリングにはモデルパラメータと学習トークンを等しい比率で増やす必要があります。
- FlashAttention: IOを意識した高速かつメモリ効率の高い厳密なアテンションFlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttentionはタイリングと再計算により$N \times N$行列のHBM書き込みを回避し、Transformerを最大3倍高速化します。
- Direct Preference Optimization: 言語モデルは本質的に報酬モデルであるDirect Preference Optimization: Your Language Model is Secretly a Reward ModelDPOは二値交差エントロピーを用いて人間の選好データから直接言語モデルをアライメントし、明示的な報酬モデルや強化学習を不要にします。
- Mamba: 選択的状態空間による線形時間シーケンスモデリングMamba: Linear-Time Sequence Modeling with Selective State SpacesMambaは選択的状態空間モデルとハードウェア認識型並列スキャンを導入し、Transformer級の性能と線形計算量を両立します。
- ReAct: 大規模言語モデルにおける推論と行動の相乗効果ReAct: Synergizing Reasoning and Acting in Language ModelsReActはLLMの言語推論トレースと環境への行動を統合し、ハルシネーションを低減して意思決定性能を向上させます。
- Segment AnythingSAMとSA-1B（1100万枚の画像と10億個のマスク）を提案し、ゼロショット画像セグメンテーションのための基盤モデルを確立。
- DeepSeek-V3 テクニカルレポートDeepSeek-V3 Technical ReportDeepSeek-V3は総671B（活性37B）のオープンMoE LLM。14.8Tトークンを600万ドル未満で学習し、トップ商用モデルに匹敵。
- Proximal Policy Optimization AlgorithmsProximal Policy Optimizationは、クリップ付き代理目的関数により信頼領域法を簡素化し、サンプル効率を向上させます。
- Playing Atari with Deep Reinforcement LearningDeep Q-NetworksはExperience Replayを用いてAtari 2600のピクセルから直接エンドツーエンド制御を学習し、3つのゲームで人間の専門家を上回りました。
- RoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormerは自己注意内で直交回転を用いて相対位置をエンコードするRotary Position Embedding（RoPE）を導入します。
- 視覚表現の対照学習のためのシンプルなフレームワークA Simple Framework for Contrastive Learning of Visual RepresentationsSimCLRは特別な構造やメモリバンク不要で対照学習を簡素化し、ImageNetで教師ありResNet-50相当の精度を達成。
- NeRF: 視点合成のためのニューラル放射輝度場によるシーン表現NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis微分可能ボリュームレンダリングを用いて連続的な5Dニューラル放射輝度場を最適化し、複雑な3Dシーンの写実的な新規視点画像を合成。
- U-Net: 生体の画像セグメンテーションのための畳み込みネットワークU-Net: Convolutional Networks for Biomedical Image SegmentationU-Netはスキップ接続を持つU字型エンコーダ・デコーダ構造により、極めて少数のアノテーション画像から高速かつ高精度な医用画像セグメンテーションを実現します。
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splattingは異方性3Dガウスとタイルベースのラスタライゼーションを用い、1080pで高品質な実時間新規視点合成を実現。
- Neural Machine Translation by Jointly Learning to Align and Translateニューラル機械翻訳にソフトアテンション機構を導入。デコーダが関連する入力単語へ動的に着目できるようにした研究。
- ベクトル空間における単語表現の効率的な推定Efficient Estimation of Word Representations in Vector SpaceCBOWとSkip-gramを提案。数十億語から線形な意味・文法のアナロジーを保持した高品質な単語ベクトルを高速に学習。
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerスパースにゲート制御されるMoE層により、計算量を抑えつつNNを最大1370億パラメータまで拡張し、Perplexityを大幅に改善。
- Mixtral of ExpertsMixtral 8x7Bはトークン毎に13Bのアクティブパラメータを用いるオープンなSMoEモデルであり、Llama 2 70Bを凌駕しGPT-3.5に匹敵します。
- Llama 3モデル群：大規模言語モデルの新たな展開The Llama 3 Herd of ModelsMetaが最大405Bパラメータのオープン基盤モデルLlama 3を発表。128Kコンテキスト、多言語、コード、推論、ツール利用に対応します。
- GPT-4 Technical ReportGPT-4は、人間レベルの試験成績、予測可能なスケーリング、RBRMによる安全性強化を実現した大規模マルチモーダルモデルです。
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AIは、明文化された原則に基づく批判・修正とAIフィードバックにより、過度な拒絶をせず無害な対話モデルを訓練します。
- Finetuned Language Models Are Zero-Shot Learners指示形式のデータセットで大規模言語モデルをファインチューニングし、未知タスクへのゼロショット汎化性能を大幅に向上させた研究。