Makalah yang layak dibaca
Makalah populer dan klasik dengan ulasan singkat dari AI. Buka di pembaca untuk terjemahan lengkap, penjelasan, dan obrolan.
Klasik
- Attention Is All You NeedMemperkenalkan Transformer, mengganti rekursi dan konvolusi dengan multi-head self-attention untuk pemodelan sekuens yang lebih cepat dan SOTA.
- BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT melakukan pra-pelatihan representasi Transformer dua arah yang mendalam, mencetak rekor mutakhir baru di 11 tugas NLP.
- Deep Residual Learning for Image RecognitionDeep residual network memakai identity shortcut connection untuk mengatasi masalah degradasi, melatih jaringan >100 layer hingga akurasi SOTA.
- Language Models are Few-Shot LearnersSkalabilitas model autoregresif ke 175B parameter memungkinkan performa NLP few-shot kompetitif murni via in-context learning tanpa fine-tuning.
- Generative Adversarial NetworksGenerative Adversarial NetsMemperkenalkan Generative Adversarial Networks (GAN) lewat permainan minimax antara generator dan diskriminator, tanpa rantai Markov.
- Auto-Encoding Variational BayesMemperkenalkan reparameterization trick dan Auto-Encoding Variational Bayes (AEVB) untuk inferensi terukur pada model variabel laten kontinu.
- Denoising Diffusion Probabilistic ModelsMenunjukkan pembuatan gambar berkualitas tinggi menggunakan model probabilitas difusi yang dilatih via objektif score-matching yang disederhanakan.
- High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Model memindahkan pelatihan difusi ke ruang laten autoencoder, memangkas komputasi dan mendukung sintesis resolusi tinggi.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) menerapkan Transformer langsung pada patch gambar, menandingi atau mengungguli CNN saat di-pre-train pada skala besar.
- Learning Transferable Visual Models From Natural Language SupervisionCLIP melatih pra-latih kontrasif gambar-teks pada 400 juta data web, meraih klasifikasi zero-shot yang kompetitif dengan model tersupervisi.
- Melatih model bahasa untuk mengikuti instruksi dengan umpan balik manusiaTraining language models to follow instructions with human feedbackInstructGPT menyelaraskan GPT-3 via RLHF, menyamai model 175B dengan 1,3B parameter serta memangkas halusinasi dan toksisitas.
- LoRA: Low-Rank Adaptation of Large Language ModelsLoRA membekukan bobot LLM dan menyisipkan matriks dekomposisi rank, memangkas parameter latih hingga 10.000x tanpa latensi tambahan.
- Chain-of-Thought Prompting Memunculkan Kemampuan Penalaran pada Model Bahasa BesarChain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought prompting mendemonstrasikan penalaran bertahap, membuka penalaran multi-langkah pada LLM tanpa fine-tuning.
- LLaMA: Open and Efficient Foundation Language ModelsMeta merilis LLaMA, model fondasi hingga 65B parameter yang dilatih pada 1,4T token teks publik untuk efisiensi inferensi.
- Llama 2: Model Obrolan Fondasi Terbuka dan Hasil Fine-TuningLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta merilis Llama 2 (7B–70B), LLM terbuka yang disejajarkan untuk dialog, menyaingi sistem tertutup via RLHF iteratif dan Ghost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksMenggabungkan model seq2seq parametrik dan retrieval non-parametrik padat untuk meraih hasil SOTA pada tugas NLP padat pengetahuan.
- Adam: A Method for Stochastic OptimizationAdam memadukan adaptive learning rate dan momentum dengan koreksi bias momen untuk optimasi stokastik yang efisien dan tangguh.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization menstabilkan distribusi input layer, mempercepat pelatihan, menaikkan learning rate, dan meraih akurasi terbaik ImageNet.
- Scaling Laws for Neural Language ModelsHukum daya empiris menunjukkan loss model bahasa berskala terprediksi dengan komputasi, parameter, dan data, lebih mengunggulkan model besar.
- Training Compute-Optimal Large Language ModelsMenunjukkan bahwa LLM kurang terlatih; penskalaan komputasi optimal menuntut parameter model dan token pelatihan diskalakan secara seimbang.
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention memakai tiling & komputasi ulang tanpa menulis matriks perhatian $N \times N$ ke HBM GPU, mempercepat Transformer hingga 3x.
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO menyelaraskan model bahasa langsung dengan data preferensi via binary cross-entropy, tanpa reward model eksplisit atau fine-tuning RL.
- Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba memperkenalkan selective state space model dengan parallel scan sadar perangkat keras, setara Transformer dengan penskalaan linear.
- ReAct: Menyinergikan Penalaran dan Tindakan dalam Model BahasaReAct: Synergizing Reasoning and Acting in Language ModelsReAct memadukan jejak penalaran dan tindakan lingkungan di LLM, memangkas halusinasi serta meningkatkan performa pengambilan keputusan.
- Segment AnythingMemperkenalkan SAM dan SA-1B (1M mask, 11M gambar), membangun foundation model berbasis prompt untuk segmentasi gambar zero-shot.
- Laporan Teknis DeepSeek-V3DeepSeek-V3 Technical ReportDeepSeek-V3 adalah MoE LLM terbuka 671B (37B aktif), dilatih pada 14,8T token seharga <$6 juta, menyamai model tertutup terdepan.
- Proximal Policy Optimization AlgorithmsProximal Policy Optimization memakai clipped surrogate objective guna menyederhanakan trust region method dan meningkatkan efisiensi sampel.
- Bermain Atari dengan Deep Reinforcement LearningPlaying Atari with Deep Reinforcement LearningDeep Q-Networks mempelajari kontrol end-to-end langsung dari piksel Atari 2600 menggunakan experience replay, melampaui performa ahli manusia.
- RoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer memperkenalkan RoPE untuk mengenkode posisi token relatif melalui rotasi ortogonal dalam self-attention.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR menyederhanakan contrastive visual representation learning tanpa arsitektur khusus atau memory bank, menyamai ResNet-50 pada ImageNet.
- NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisSintesis sudut pandang baru fotorealistis dari pemandangan 3D kompleks dengan mengoptimalkan neural radiance field 5D kontinu via volume rendering.
- U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net menghadirkan jaringan encoder-decoder berbentuk U dengan skip connection untuk segmentasi biomedis yang cepat dan presisi dari sedikit citra.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting memakai Gaussian 3D anisotropik dan rasterisasi berbasis tile untuk sintesis pandangan baru 1080p real-time berkualitas tinggi.
- Neural Machine Translation by Jointly Learning to Align and TranslateMemperkenalkan mekanisme soft-attention pada NMT, memungkinkan decoder berfokus secara dinamis pada kata-kata sumber yang relevan.
- Efficient Estimation of Word Representations in Vector SpaceCBOW dan Skip-gram melatih vektor kata berkualitas tinggi dari miliaran kata secara cepat sambil mempertahankan analogi semantik dan sintaktis linier.
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerLayer Mixture-of-Experts dengan sparse-gating menskalakan model hingga 137B parameter, meraih perplexity lebih rendah dan komputasi hemat.
- Mixtral of ExpertsMixtral 8x7B: model SMoE terbuka dengan 13B parameter aktif per token, mengungguli Llama 2 70B dan menyaingi GPT-3.5.
- The Llama 3 Herd of ModelsMeta merilis Llama 3, model fondasi terbuka hingga 405B parameter yang mendukung konteks 128K, multibahasa, koding, penalaran, dan penggunaan alat.
- Laporan Teknis GPT-4GPT-4 Technical ReportGPT-4 adalah model multimodal besar dengan performa ujian setara manusia, penskalaan terprediksi, dan keamanan lebih baik via RBRM.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI melatih asisten bahasa yang tidak mengelak dan tidak berbahaya menggunakan kritik, revisi, dan umpan balik AI berbasis prinsip.
- Finetuned Language Models Are Zero-Shot LearnersFinetuning LLM pada dataset berformat instruksi meningkatkan generalisasi zero-shot secara substansial pada tugas baru yang belum pernah dilihat.