Articles à lire
Articles populaires et classiques avec un court résumé rédigé par IA. Ouvrez-les dans le lecteur pour une traduction complète, des explications et un chat.
Classiques
- Attention Is All You NeedLe Transformer remplace récurrence et convolutions par l'auto-attention multi-têtes pour modéliser des séquences plus vite et à l'état de l'art.
- BERT : Pré-entraînement de Transformers bidirectionnels profonds pour la compréhension du langageBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT pré-entraîne des représentations Transformer bidirectionnelles avec un modèle de langue masqué, établissant un nouvel état de l'art en TAL.
- Deep Residual Learning for Image RecognitionLes réseaux résiduels profonds résolvent le problème de dégradation via des connexions directes d'identité, entraînant plus de 100 couches avec succès.
- Language Models are Few-Shot LearnersPasser à 175 Mrd de paramètres offre de fortes performances few-shot en TAL grâce au in-context learning, sans aucun fine-tuning.
- Generative Adversarial NetworksGenerative Adversarial NetsIntroduction des réseaux antagonistes génératifs (GAN) via un jeu minimax entre générateur et discriminateur, évitant les chaînes de Markov.
- Auto-Encoding Variational BayesIntroduction de l'astuce de reparamétrisation et d'AEVB pour l'inférence à grande échelle dans les modèles à variables latentes continues.
- Denoising Diffusion Probabilistic ModelsGénération d'images de haute qualité via des modèles probabilistes de diffusion entraînés avec un objectif simplifié de score-matching.
- High-Resolution Image Synthesis with Latent Diffusion ModelsLes Latent Diffusion Models transposent la diffusion dans l'espace latent d'autoencodeurs, réduisant le calcul pour la haute résolution.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) applique un Transformer standard aux patchs d'images, égalant ou surpassant les CNN avec un pré-entraînement à large échelle.
- Learning Transferable Visual Models From Natural Language SupervisionCLIP pré-entraîne un modèle contrastif image-texte sur 400M de paires web, rivalisant en zero-shot avec des modèles supervisés.
- Entraîner des modèles de langage à suivre des instructions grâce aux retours humainsTraining language models to follow instructions with human feedbackInstructGPT aligne GPT-3 via le RLHF : un modèle de 1,3B égale un 175B tout en réduisant hallucinations et toxicité.
- LoRA: Low-Rank Adaptation of Large Language ModelsLoRA gèle les poids du LLM et injecte des matrices de décomposition de bas rang, réduisant les paramètres jusqu'à 10 000x sans latence.
- Le prompt de chaîne de pensée suscite le raisonnement dans les grands modèles de langageChain-of-Thought Prompting Elicits Reasoning in Large Language ModelsLe prompt de chaîne de pensée débloque le raisonnement complexe dans les grands modèles de langage grâce à des démonstrations étape par étape.
- LLaMA : Modèles de langage fondationnels ouverts et efficacesLLaMA: Open and Efficient Foundation Language ModelsMeta présente LLaMA, des modèles fondationnels jusqu'à 65B de paramètres entraînés sur 1,4T de tokens de données publiques.
- Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta publie Llama 2 (7B–70B), des LLM ouverts alignés pour le dialogue rivalisant avec les systèmes propriétaires grâce au RLHF itératif et à GAtt.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksAssocie seq2seq paramétrique et recherche dense non paramétrique pour atteindre l'état de l'art sur les tâches de TAL à forte intensité de savoir.
- Adam : Une méthode pour l'optimisation stochastiqueAdam: A Method for Stochastic OptimizationAdam associe taux d'apprentissage adaptatifs, momentum et correction de biais des moments pour une optimisation stochastique efficace.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization stabilise les entrées des couches, accélère l'entraînement, autorise des taux d'apprentissage élevés et améliore ImageNet.
- Scaling Laws for Neural Language ModelsDes lois de puissance montrent que la perte des modèles de langue dépend du calcul, des paramètres et des données, favorisant les grands modèles.
- Entraînement de grands modèles de langage optimaux en calculTraining Compute-Optimal Large Language ModelsLes LLM sont sous-entraînés : le scaling optimal en calcul exige d'augmenter paramètres et tokens d'entraînement dans des proportions égales.
- FlashAttention : Attention exacte rapide et économe en mémoire grâce à la prise en compte des E/SFlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention utilise le pavage et le recalcul pour éviter d'écrire la matrice d'attention en HBM, accélérant les Transformers jusqu'à 3x.
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO aligne directement les LLM sur les préférences humaines via une perte d'entropie croisée binaire, sans modèle de récompense explicite ni RL.
- Mamba : modélisation de séquences en temps linéaire avec des espaces d'états sélectifsMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba combine modèles d'espace d'états sélectifs et scan parallèle matériel, offrant la qualité des Transformers avec une mise à l'échelle linéaire.
- ReAct : Synergiser le raisonnement et l'action dans les modèles de langageReAct: Synergizing Reasoning and Acting in Language ModelsReAct combine traces de raisonnement et actions dans les LLM, réduisant les hallucinations et améliorant la prise de décision.
- Segment AnythingPrésentation de SAM et SA-1B (1Md de masques, 11M d'images), établissant des modèles fondations guidables pour la segmentation zero-shot.
- DeepSeek-V3 Technical ReportDeepSeek-V3 : LLM MoE ouvert de 671B (37B actifs) entraîné sur 14,8T tokens pour moins de 6M$, rivalisant avec les meilleurs modèles propriétaires.
- Proximal Policy Optimization AlgorithmsPPO introduit un objectif de substitution tronqué qui simplifie les méthodes de région de confiance tout en améliorant l'efficacité d'échantillonnage.
- Playing Atari with Deep Reinforcement LearningLes Deep Q-Networks apprennent le contrôle directement depuis les pixels Atari 2600 via l'experience replay, surpassant l'humain sur trois jeux.
- RoFormer : Transformer amélioré avec Rotary Position EmbeddingRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer introduit RoPE pour encoder les positions relatives des tokens via des rotations orthogonales dans l'auto-attention.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR simplifie l'apprentissage contrastif de représentations visuelles, égalant les performances d'un ResNet-50 supervisé sur ImageNet.
- NeRF : Représentation de scènes sous forme de champs de radiance neuronaux pour la synthèse de nouvelles vuesNeRF: Representing Scenes as Neural Radiance Fields for View SynthesisSynthèse de nouvelles vues photoréalistes de scènes 3D via l'optimisation de champs de radiance 5D continus par rendu volumique différentiable.
- U-Net : Réseaux convolutionnels pour la segmentation d'images biomédicalesU-Net: Convolutional Networks for Biomedical Image SegmentationU-Net introduit une architecture encodeur-décodeur en U avec connexions résiduelles pour une segmentation biomédicale rapide et précise avec peu d'images.
- 3D Gaussian Splatting pour le rendu de champs de radiance en temps réel3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting utilise des gaussiennes 3D anisotropes et une rastérisation par blocs pour un rendu haute qualité en temps réel à 1080p.
- Neural Machine Translation by Jointly Learning to Align and TranslateIntroduction de l'attention douce en traduction automatique neuronale, permettant au décodeur de cibler dynamiquement les mots sources pertinents.
- Estimation efficace de représentations de mots dans un espace vectorielEfficient Estimation of Word Representations in Vector SpaceCBOW et Skip-gram apprennent vite des vecteurs de mots sur des milliards de tokens, préservant analogies sémantiques et syntaxiques.
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerLes couches MoE à porte creuse étendent les réseaux à 137 Mrd de paramètres, réduisant la perplexité avec un coût de calcul amoindri.
- Mixtral of ExpertsMixtral 8x7B utilise un modèle SMoE ouvert à 13B paramètres actifs par jeton, surpassant Llama 2 70B et égalant GPT-3.5.
- The Llama 3 Herd of ModelsMeta dévoile Llama 3, des modèles ouverts jusqu'à 405B paramètres gérant 128K de contexte, le multilinguisme, le code et les outils.
- GPT-4 Technical ReportGPT-4 est un modèle multimodal atteignant des performances de niveau humain aux examens, un scaling prévisible et une sécurité accrue via RBRM.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI entraîne des assistants IA inoffensifs et non évasifs grâce à l'autocritique et au feedback IA guidés par des principes écrits.
- Finetuned Language Models Are Zero-Shot LearnersLe finetuning de LLM sur des tâches avec instructions améliore fortement la généralisation zero-shot sur de nouvelles tâches.