Lesenswerte Paper
Beliebte und klassische Paper mit einer kurzen KI-Übersicht. Im Reader geöffnet: vollständige Übersetzung, Erklärungen und Chat.
Klassiker
- Attention Is All You NeedFührt den Transformer ein: Ersetzt Rekurrenz und Faltung durch Multi-Head Self-Attention für schnellere State-of-the-Art-Sequenzmodellierung.
- BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT trainiert bidirektionale Transformer per Masked Language Modeling vor und setzt neue Bestmarken in 11 NLP-Aufgaben.
- Deep Residual Learning for Image RecognitionDeep Residual Networks nutzen Identitäts-Shortcuts gegen das Degradationsproblem und trainieren Netze mit über 100 Schichten zu State-of-the-Art-Genauigkeit.
- Language Models are Few-Shot LearnersAutoregressive 175B-Modelle erreichen via In-Context Learning ohne Fine-Tuning kompetitive Few-Shot-Leistungen in diversen NLP-Aufgaben.
- Generative Adversarial NetworksGenerative Adversarial NetsFührt Generative Adversarial Networks (GANs) als Minimax-Spiel zwischen Generator und Diskriminator ein – ohne Markov-Ketten beim Sampling.
- Auto-Encoding Variational BayesFührt den Reparameterization Trick und Auto-Encoding Variational Bayes (AEVB) für skalierbare Inferenz in Modellen mit kontinuierlichen Latenten ein.
- Denoising Diffusion Probabilistic ModelsErzeugt hochqualitative Bilder mittels Diffusionsmodellen, trainiert über ein vereinfachtes Score-Matching-Ziel.
- High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models verlagern das Training in Autoencoder-Latentrechnerräume, senken Rechenkosten drastisch und ermöglichen hochauflösende Synthese.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) wendet Transformer auf Bild-Patches an und erreicht oder übertrifft CNNs bei Vorab-Training auf großen Datensätzen.
- Learning Transferable Visual Models From Natural Language SupervisionCLIP skaliert kontrastives Bild-Text-Pre-Training auf 400M Web-Paaren und erreicht Zero-Shot-Klassifikation auf Niveau überwachter Modelle.
- Training language models to follow instructions with human feedbackInstructGPT aligniert GPT-3 via RLHF auf Instruktionen; ein 1,3B-Modell erreicht die 175B-Leistung bei weniger Halluzinationen und Toxizität.
- LoRA: Low-Rank Adaptation of Large Language ModelsLoRA friert LLM-Gewichte ein, nutzt trainierbare Rangzerlegungsmatrizen und senkt Parameter um das bis zu 10.000-Fache – bei null Inferenzlatenz.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-Thought-Prompting nutzt Zwischenschritte, um mehrschrittiges Schließen in großen Sprachmodellen ohne Fine-Tuning zu ermöglichen.
- LLaMA: Offene und effiziente Basis-SprachmodelleLLaMA: Open and Efficient Foundation Language ModelsMeta präsentiert LLaMA: Basismodelle bis 65B Parameter, trainiert auf bis zu 1,4T Tokens rein öffentlich zugänglicher Texte.
- Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta veröffentlicht Llama 2 (7B–70B): offene vortrainierte und Chat-LLMs, die dank RLHF und Ghost Attention mit proprietären Modellen konkurrieren.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksKombiniert parametrisches seq2seq mit dichtem non-parametrischem Retrieval für State-of-the-Art-Ergebnisse bei wissensintensiven NLP-Aufgaben.
- Adam: Eine Methode zur stochastischen OptimierungAdam: A Method for Stochastic OptimizationAdam kombiniert adaptive Lernraten und Momentum mit bias-korrigierten Momentschätzungen für effiziente, robuste stochastische Optimierung.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization stabilisiert Aktivierungsverteilungen und ermöglicht schnelleres Training, höhere Lernraten sowie SOTA-ImageNet-Genauigkeit.
- Scaling Laws for Neural Language ModelsPotenzgesetze zeigen: Der Sprachmodell-Loss skaliert vorhersagbar mit Rechenaufwand, Parametern und Daten – große Modelle schlagen Konvergenz.
- Training Compute-Optimal Large Language ModelsZeigt, dass LLMs untertrainiert sind: Rechenoptimales Skalieren erfordert die proportionale Erhöhung von Modellparametern und Trainings-Tokens.
- FlashAttention: Schnelle und speichereffiziente exakte Attention mit IO-BewusstseinFlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention nutzt Tiling und Recomputation, um das Schreiben der $N \times N$-Attention-Matrix ins HBM zu vermeiden; beschleunigt bis zu 3x.
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO aligniert Sprachmodelle direkt auf menschliche Präferenzdaten per binärer Kreuzentropie – ohne explizites Belohnungsmodell oder RL-Feintuning.
- Mamba: Lineare Sequenzmodellierung mit selektiven ZustandsräumenMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba führt selektive Zustandsraummodelle mit hardware-optimiertem parallelem Scan ein: Transformer-Qualität bei linearer Sequenzskalierung.
- ReAct: Synergizing Reasoning and Acting in Language ModelsReAct kombiniert verbale Argumentationsketten und Umwelt-Aktionen in LLMs, reduziert Halluzinationen und steigert die Performanz bei Entscheidungen.
- Segment AnythingFührt SAM und SA-1B (1 Mrd. Masken, 11 Mio. Bilder) ein und etabliert promptbare Basismodelle für Zero-Shot-Bildsegmentierung.
- DeepSeek-V3 Technischer BerichtDeepSeek-V3 Technical ReportDeepSeek-V3 ist ein offenes 671B-MoE-LLM (37B aktiv), trainiert auf 14,8T Tokens für unter 6 Mio. $, auf Augenhöhe mit führenden Closed-Source-Modellen.
- Proximal Policy Optimization AlgorithmsProximal Policy Optimization führt eine geclippte Surrogate-Zielfunktion ein, die Trust-Region-Methoden vereinfacht und effizienter macht.
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks lernen End-to-End-Steuerung aus Atari-2600-Pixeln via Experience Replay und schlagen menschliche Experten in drei Spielen.
- RoFormer: Erweiterter Transformer mit Rotary Position EmbeddingRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer führt Rotary Position Embedding (RoPE) ein, um relative Token-Positionen via orthogonaler Rotationen in der Self-Attention zu kodieren.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR vereinfacht kontrastives Repräsentationslernen ohne Spezialarchitekturen und erreicht auf ImageNet das Niveau überwachter ResNet-50.
- NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisSynthetisiert fotorealistische neue Ansichten komplexer 3D-Szenen durch Optimierung kontinuierlicher 5D-NeRFs mittels differenzierbarem Volumen-Rendering.
- U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net nutzt ein U-förmiges Netz mit Skip Connections für schnelle, präzise biomedizinische Segmentierung mit sehr wenigen Trainingsbildern.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting nutzt anisotrope 3D-Gauss-Funktionen und Kachel-Rasterisierung für neuartige Ansichten in Echtzeit bei 1080p.
- Neural Machine Translation by Jointly Learning to Align and TranslateFührt Soft-Attention in die neuronale Übersetzung ein, wodurch Decoder dynamisch auf relevante Quellwörter fokussieren können.
- Efficient Estimation of Word Representations in Vector SpaceFührt CBOW und Skip-gram ein, um hochwertige Wortvektoren aus Milliarden Wörtern schnell zu lernen und lineare Analogien zu bewahren.
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerSparsely-Gated Mixture-of-Experts-Layer skalieren Netze auf 137 Mrd. Parameter und senken Perplexität bei geringeren Rechenkosten.
- Mixtral of ExpertsMixtral 8x7B ist ein offenes SMoE-Modell, das mit 13B aktiven Parametern pro Token Llama 2 70B übertrifft und mit GPT-3.5 mithält.
- The Llama 3 Herd of ModelsMeta stellt Llama 3 vor: offene Basismodelle bis 405B Parameter mit 128K Kontext, Mehrsprachigkeit, Reasoning, Coding und Tool Use.
- GPT-4 Technical ReportGPT-4 ist ein multimodales Modell mit Prüfungsleistungen auf menschlichem Niveau, vorhersagbarer Skalierung und mehr Sicherheit durch RBRMs.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI trainiert unaufdringliche, harmlose Sprachassistenten mittels Kritik, Überarbeitung und KI-Feedback basierend auf Prinzipien.
- Finetuned Language Models Are Zero-Shot LearnersDas Fine-Tuning von LLMs auf instruktionsbasierten Datensätzen verbessert die Zero-Shot-Generalisierung auf ungesehene Aufgaben deutlich.