पढ़ने लायक शोध पत्र
लोकप्रिय और क्लासिक शोध पत्र, AI के छोटे सारांश के साथ। रीडर में खोलकर पूरा अनुवाद, व्याख्या और चैट पाएँ।
क्लासिक
- Attention Is All You NeedTransformer पेश किया गया है, जो तेज़ और अत्याधुनिक अनुक्रम मॉडलिंग के लिए पुनरावृत्ति और कनवल्शन को मल्टी-हेड सेल्फ-अटेंशन से बदलता है।
- BERT: भाषा की समझ के लिए डीप बाईडायरेक्शनल ट्रांसफॉर्मर्स की प्री-ट्रेनिंगBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT मास्क्ड लैंग्वेज मॉडलिंग से डीप बाईडायरेक्शनल ट्रांसफॉर्मर को प्री-ट्रेन कर 11 NLP कार्यों में नए रिकॉर्ड स्थापित करता है।
- Deep Residual Learning for Image Recognitionडीप रेजिड्यूअल नेटवर्क्स आइडेंटिटी शॉर्टकट का उपयोग कर डिग्रेडेशन समस्या सुलझाते हैं और 100+ लेयर्स को उच्चतम सटीकता पर प्रशिक्षित करते हैं।
- Language Models are Few-Shot Learners175B पैरामीटर्स तक ऑटोरेग्रेसिव मॉडल्स का विस्तार बिना फाइन-ट्यूनिंग के इन-कॉन्टेक्स्ट लर्निंग से प्रतिस्पर्धी फ़्यू-शॉट NLP प्रदर्शन देता है।
- Generative Adversarial NetworksGenerative Adversarial Netsजनरेटर और डिस्क्रिमिनेटर के बीच मिनिमैक्स गेम द्वारा GANs का परिचय, जिसमें सैंपलिंग के दौरान मार्कोव चेन की आवश्यकता नहीं होती।
- Auto-Encoding Variational Bayesकंटीन्यूअस लेटेंट वेरिएबल मॉडल्स में स्केलेबल इन्फरेंस के लिए reparameterization trick और AEVB प्रस्तुत करता है।
- Denoising Diffusion Probabilistic Modelsसरलीकृत स्कोर-मैचिंग उद्देश्य से प्रशिक्षित डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स द्वारा उच्च-गुणवत्ता इमेज जनरेशन का प्रदर्शन।
- High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models डिफ्यूजन ट्रेनिंग को प्री-ट्रेन्ड लेटेंट स्पेस में शिफ्ट कर कम्प्यूट घटाते हैं और हाई-रेज़ोल्यूशन सिंथेसिस सक्षम करते हैं।
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) सीधे इमेज पैच पर काम करता है और बड़े पैमाने पर प्री-ट्रेनिंग के बाद CNNs को पीछे छोड़ देता है।
- Learning Transferable Visual Models From Natural Language SupervisionCLIP ने 400M वेब जोड़ियों पर कॉन्ट्रास्टिव प्री-ट्रेनिंग को स्केल किया, जिससे सुपरवाइज्ड मॉडल जितनी जीरो-शॉट इमेज क्लासिफिकेशन क्षमता मिली।
- मानव फीडबैक के माध्यम से निर्देशों का पालन करने के लिए लैंग्वेज मॉडल्स को प्रशिक्षित करनाTraining language models to follow instructions with human feedbackInstructGPT ने RLHF का उपयोग कर GPT-3 को अलाइन किया, जिससे 1.3B मॉडल ने 175B के प्रदर्शन की बराबरी की और भ्रांतियों को कम किया।
- LoRA: लार्ज लैंग्वेज मॉडल्स का लो-रैंक अडैप्टेशन (Low-Rank Adaptation)LoRA: Low-Rank Adaptation of Large Language ModelsLoRA प्री-ट्रेन्ड LLM वेट्स को फ्रीज कर ट्रेनेबल रैंक डिकंपोज़िशन मैट्रिसेस जोड़ता है, जिससे ट्रेनेबल पैरामीटर्स 10,000 गुना तक घटते हैं।
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought प्रॉम्प्टिंग चरणबद्ध उदाहरण देकर बिना फ़ाइन-ट्यूनिंग बड़े लैंग्वेज मॉडल्स में बहु-चरणीय रीज़निंग को सक्षम बनाती है।
- LLaMA: ओपन और कुशल फाउंडेशन लैंग्वेज मॉडल्सLLaMA: Open and Efficient Foundation Language ModelsMeta ने LLaMA पेश किया, 65B पैरामीटर्स तक के फाउंडेशन मॉडल्स जो 1.4T तक सार्वजनिक टोकन्स पर प्रशिक्षित हैं।
- Llama 2: ओपन फाउंडेशन और फाइन-ट्यून किए गए चैट मॉडल्सLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta ने Llama 2 (7B–70B) जारी किया; RLHF और Ghost Attention से लैस ओपन LLMs जो क्लोज्ड सिस्टम्स को कड़ी टक्कर देते हैं।
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksपैरामीट्रिक seq2seq और नॉन-पैरामीट्रिक रीट्रिवल को जोड़कर नॉलेज-इंटेंसिव NLP टास्क में अत्याधुनिक परिणाम प्राप्त करता है।
- Adam: A Method for Stochastic OptimizationAdam कुशल और मजबूत स्टोकेस्टिक ऑप्टिमाइज़ेशन के लिए एडेप्टिव लर्निंग रेट्स और मोमेंटम को बायस-करेक्टेड मोमेंट अनुमानों के साथ जोड़ता है।
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization लेयर इनपुट वितरण को स्थिर करता है, जिससे तेज़ ट्रेनिंग, उच्च लर्निंग रेट और बेहतर ImageNet सटीकता संभव होती है।
- Scaling Laws for Neural Language Modelsप्रयोगसिद्ध पावर लॉ दिखाते हैं कि कंप्यूट, पैरामीटर और डेटा के साथ लॉस का अनुमान संभव है; बड़े मॉडल कन्वर्जेंस की तुलना में बेहतर हैं।
- कंप्यूट-इष्टतम बड़े भाषा मॉडलों का प्रशिक्षण (Training Compute-Optimal Large Language Models)Training Compute-Optimal Large Language Modelsदर्शाता है कि LLMs अंडरट्रेंड हैं; कंप्यूट-ऑप्टिमल स्केलिंग के लिए मॉडल पैरामीटर्स और ट्रेनिंग टोकन्स को समान अनुपात में स्केल करना आवश्यक है।
- FlashAttention: IO-अवेयरनेस के साथ तेज़ और मेमोरी-सक्षम सटीक अटेंशन (Fast and Memory-Efficient Exact Attention with IO-Awareness)FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention टाइलिंग और पुनर्गणना का उपयोग कर HBM पर $N \times N$ मैट्रिक्स लिखे बिना Transformers को 3x तक तेज़ करता है।
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO बाइनरी क्रॉस-एंट्रॉपी से LMs को मानवीय प्राथमिकताओं पर संरेखित करता है, जिससे स्पष्ट रिवॉर्ड मॉडल और RL की जरूरत खत्म होती है।
- Mamba: सेलेक्टिव स्टेट स्पेसेज के साथ लीनियर-टाइम सीक्वेंस मॉडलिंगMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba हार्डवेयर-अवेयर पैरेलल स्कैन के साथ सेलेक्टिव स्टेट स्पेस मॉडल्स पेश करता है, जो लीनियर स्केलिंग के साथ Transformer-स्तर की गुणवत्ता देता है।
- ReAct: भाषा मॉडलों में रीजनिंग और एक्टिंग का समन्वय (Synergizing Reasoning and Acting in Language Models)ReAct: Synergizing Reasoning and Acting in Language ModelsReAct एलएलएम में रीजनिंग और एक्शन को जोड़कर हैल्यूसिनेशन घटाता है और निर्णय लेने वाले कार्यों में प्रदर्शन को बेहतर बनाता है।
- Segment AnythingSAM और SA-1B पेश कर, ज़ीरो-शॉट इमेज सेगमेंटेशन के लिए प्रॉम्प्टेबल फाउंडेशन मॉडल स्थापित करता है।
- DeepSeek-V3 Technical ReportDeepSeek-V3 एक 671B MoE LLM (37B सक्रिय) है, जिसे $6M से कम में 14.8T टोकन पर प्रशिक्षित किया गया, जो शीर्ष मॉडलों को टक्कर देता है।
- Proximal Policy Optimization AlgorithmsProximal Policy Optimization एक क्लिप्ड सरोगेट ऑब्जेक्टिव प्रस्तुत करता है, जो ट्रस्ट रीजन विधियों को सरल बनाकर सैंपल दक्षता बढ़ाता है।
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks ने experience replay की मदद से Atari 2600 पिक्सल से एंड-टू-एंड कंट्रोल सीखा और तीन गेम्स में इंसानों को पीछे छोड़ दिया।
- RoFormer: Rotary Position Embedding के साथ संवर्धित TransformerRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer ने self-attention में ऑर्थोगोनल रोटेशन के माध्यम से रिलेटिव टोकन पोजीशन को एनकोड करने के लिए RoPE पेश किया।
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR बिना विशेष आर्किटेक्चर के कंट्रास्टिव लर्निंग को सरल बनाता है और ImageNet पर सुपरवाइज़्ड ResNet-50 की बराबरी करता है।
- NeRF: व्यू सिंथेसिस के लिए न्यूरल रेडिएंस फील्ड्स के रूप में दृश्यों का निरूपणNeRF: Representing Scenes as Neural Radiance Fields for View Synthesisडिफरेंशियल वॉल्यूम रेंडरिंग और 5D न्यूरल रेडिएंस फील्ड्स के ज़रिए जटिल 3D दृश्यों के फ़ोटोरेअलिस्टिक नए व्यूज़ तैयार करता है।
- U-Net: बायोमेडिकल इमेज सेगमेंटेशन के लिए कनवोल्यूशनल नेटवर्क्सU-Net: Convolutional Networks for Biomedical Image SegmentationU-Net बहुत कम एनोटेट की गई छवियों से सटीक बायोमेडिकल सेगमेंटेशन के लिए स्किप कनेक्शन युक्त u-आकार का नेटवर्क प्रस्तुत करता है।
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting एनिसोट्रोपिक 3D Gaussians और टाइल-आधारित रेखांकन से 1080p पर रीयल-टाइम, उच्च-गुणवत्ता नोवेल-व्यू सिंथेसिस प्राप्त करता है।
- Neural Machine Translation by Jointly Learning to Align and TranslateNMT में सॉफ्ट-अटेंशन का परिचय, जिससे डिकोडर अनुवाद के दौरान प्रासंगिक स्रोत शब्दों पर गतिशील रूप से ध्यान केंद्रित कर सकता है।
- वेक्टर स्पेस में वर्ड रिप्रेजेंटेशन्स का कुशल अनुमान (Efficient Estimation of Word Representations in Vector Space)Efficient Estimation of Word Representations in Vector SpaceCBOW और Skip-gram की मदद से अरबों शब्दों से उच्च-गुणवत्ता वाले वर्ड वेक्टर्स तेज़ी से सीखें और रेखीय समानताएं सुरक्षित रखें।
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerSparsely-gated MoE लेयर्स ने न्यूरल नेटवर्क को 137B पैरामीटर्स तक स्केल किया, जिससे कम कंप्यूटेशनल लागत पर बेहतर perplexity हासिल हुई।
- Mixtral of ExpertsMixtral 8x7B एक ओपन SMoE मॉडल है, जो 13B सक्रिय पैरामीटर्स के साथ Llama 2 70B को पछाड़ता है और GPT-3.5 की बराबरी करता है।
- The Llama 3 Herd of ModelsMeta ने Llama 3 पेश किया: 405B पैरामीटर्स तक के ओपन फाउंडेशन मॉडल्स, जो 128K कॉन्टेक्स्ट, बहुभाषी, कोडिंग और रीज़निंग का समर्थन करते हैं।
- GPT-4 Technical ReportGPT-4 एक लार्ज मल्टीमॉडल मॉडल है जो मानव-स्तरीय परीक्षा प्रदर्शन, प्रेडिक्टेबल स्केलिंग और RBRMs द्वारा बेहतर सुरक्षा प्रदर्शित करता है।
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI केवल लिखित सिद्धांतों के आधार पर आलोचना, संशोधन और AI फीडबैक का उपयोग करके हानिरहित लैंग्वेज असिस्टेंट्स को प्रशिक्षित करता है।
- Finetuned Language Models Are Zero-Shot Learnersनिर्देश-प्रारूप वाले डेटासेट्स पर बड़े भाषा मॉडल्स की फाइन-ट्यूनिंग अनदेखे कार्यों में ज़ीरो-शॉट जनरलाइजेशन को काफी बेहतर बनाती है।