أوراق تستحق القراءة
الأكثر رواجًا
- OpenHands: منصة مفتوحة لمطوري البرمجيات القائمين على الذكاء الاصطناعي كوكلاء متعددي المهامOpenHands: An Open Platform for AI Software Developers as Generalist Agentsمنصة مفتوحة المصدر تجمع بين التنفيذ المعزول، تصفح الويب، تفويض الوكلاء، و15 معيار تقييم لمطوري الذكاء الاصطناعي.
- TradingAgents: إطار تداول مالي متعدد الوكلاء باستخدام النماذج اللغوية الكبيرةTradingAgents: Multi-Agents LLM Financial Trading Frameworkيحاكي TradingAgents شركة تداول بوكلاء LLM متخصصين ومناظرات متعددة الرؤى، محققاً عوائد متفوقة معدلة حسب المخاطر.
- Harness^2: تسخير الوكلاء التكراري لعالم مفتوحHarness2: Recursive Agent Harnessing for an Open Worldيتيح Harness2 تحسين الوكلاء تكراريًا عبر المهام ومستويات التسخير الفوقية في العالم المفتوح، دون الحاجة لمدققات الحقيقة الأرضية.
- Unlimited OCR WorksUnlimited OCR Works: Welcome the Era of One-shot Long-horizon Parsingيقدم Unlimited OCR آلية R-SWA لتمكين فك ترميز بذاكرة KV ثابتة لنسخ المستندات الطويلة دفعة واحدة.
- محاكاة متعددة الوكلاء فائقة النطاق في AgentScopeVery Large-Scale Multi-Agent Simulation in AgentScopeيرفع AgentScope محاكاة الوكلاء المتعددين لمليون وكيل LLM عبر آلية موزعة قائمة على الفاعل، وتنوع قابل للتهيئة، وإدارة بالويب.
- AgentScope 1.0: إطار عمل موجه للمطورين لبناء تطبيقات الوكلاء الذكيةAgentScope 1.0: A Developer-Centric Framework for Building Agentic Applicationsيقدم AgentScope 1.0 إطارًا تركيبيًا قائمًا على ReAct مع استدعاء موازٍ للأدوات وتكامل MCP وتتبع عبر استوديو مرئي وبيئات معزولة.
- Kronos: نموذج أساس للغة الأسواق الماليةKronos: A Foundation Model for the Language of Financial Marketsيحول Kronos بيانات الشموع المالية إلى رموز هرمية للتدريب المسبق التوليدي التلقائي عبر 12 مليار سجل متعدد الأسواق.
- Hy-Nomas: نحو توليد حر وتفاعلي للعوالم الافتراضيةHy-Nomas: Towards Free-form Interactive World GenerationHy-Nomas هو نموذج عالم فيديو بحجم 8B يدعم تعليمات نصية حرة والتحكم المستمر بالكاميرا عبر تفاعلات متعددة الجولات.
- التقرير التقني لـ MOSS-ImageMOSS-Image Technical Reportيجمع MOSS-Image بين محول انتشار بحجم 5B ومُحسِّن أوامر وكيلي لتوليد تصميمات معقدة ذات تخطيط غني ونصوص ثنائية اللغة طويلة.
- النصف الآخر من جدار الذاكرة: تشغيل نماذج MoE بحجم 35B من أقراص SSD عبر التنبؤ بالتوجيه المُدرَّبThe Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Predictionينقل Edge0 أوزان نماذج MoE بحجم 35B من SSD بسرعة 20 رمزا/ث وذاكرة 3 GiB عبر التنبؤ بالتوجيه واستعادة الدقة بـ LoRA.
- Prism: انتباه متفرق ديناميكي لتدريب نماذج التوليد المشترك للفيديو والصوت بدقة 2K أصليةPrism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model Trainingيتيح Prism تدريب انتشار الفيديو والصوت بدقة 2K عبر انتباه متفرق ديناميكي يسترشد بالتباين البصري ومعايير الانتباه التبادلي للصوت.
أوراق كلاسيكية
- Attention Is All You Needيقدم معمارية Transformer مستبدلاً التكرار والالتفاف بالانتباه الذاتي متعدد الرؤوس لنمذجة متتابعات أسرع وأكثر تقدماً.
- BERT: تدريب مسبق للمحولات ثنائية الاتجاه العميقة لفهم اللغةBERT: Pre-training of Deep Bidirectional Transformers for Language Understandingيقوم BERT بتدريب تمثيلات Transformer ثنائية الاتجاه عبر نمذجة اللغة المقنعة، محققاً تفوقاً في 11 مهمة معالجة لغة طبيعية.
- التعلم المتبقي العميق للتعرف على الصور (Deep Residual Learning for Image Recognition)Deep Residual Learning for Image Recognitionتستخدم الشبكات المتبقية العميقة اتصالات تطابق فرعية لحل مشكلة التدهور، وتدرب شبكات تفوق 100 طبقة بدقة رائدة.
- النماذج اللغوية هي متعلمات بأمثلة قليلةLanguage Models are Few-Shot Learnersتوسيع النماذج ذاتية الانحدار إلى 175 مليار معامل يتيح أداءً تنافسياً في معالجة اللغات الطبيعية عبر التعلم داخل السياق دون ضبط دقيق.
- Generative Adversarial NetworksGenerative Adversarial Netsيقدم شبكات خصومة توليدية (GANs) عبر لعبة minimax بين مولد ومميز، متجنباً سلاسل ماركوف أثناء التوليد.
- Auto-Encoding Variational Bayesيقدم حيلة إعادة التوصيف وAEVB للاستدلال القابل للتوسع في نماذج المتغيرات الكامنة المستمرة.
- Denoising Diffusion Probabilistic Modelsتوليد صور عالية الجودة بنماذج الانتشار الاحتمالية عبر دالة هدف مبسطة لمطابقة درجات التشتت.
- توليد صور عالية الدقة باستخدام نماذج الانتشار الكامنHigh-Resolution Image Synthesis with Latent Diffusion Modelsتنقل نماذج الانتشار الكامن التدريب إلى فضاء كامن لمشفر تلقائي مدرب مسبقاً، مما يخفض الحوسبة ويتيح توليد صور عالية الدقة.
- الصورة تساوي 16×16 كلمة: محولات للتعرف على الصور على نطاق واسعAn Image is Worth 16x16 Words: Transformers for Image Recognition at Scaleيطبق Vision Transformer نموذج Transformer القياسي مباشرة على رقع الصور، متفوقا على شبكات CNN عند التدريب المسبق الضخم.
- تعلّم نماذج بصرية قابلة للنقل انطلاقاً من إشراف اللغة الطبيعيةLearning Transferable Visual Models From Natural Language Supervisionيوسع CLIP التدريب التبايني المسبق لصور ونصوص الويب، محققاً تصنيفاً صفري النقل ينافس النماذج الخاضعة للإشراف.
- تدريب نماذج اللغة على اتباع التعليمات باستخدام التغذية الراجعة البشريةTraining language models to follow instructions with human feedbackيعمل InstructGPT على مواءمة GPT-3 مع التعليمات البشرية عبر RLHF، مما يضاهي أداء 175B بنموذج 1.3B ويقلل الهلوسة والسمية.
- LoRA: التكيف منخفض الرتبة للنماذج اللغوية الكبيرةLoRA: Low-Rank Adaptation of Large Language Modelsيجمد LoRA أوزان النماذج اللغوية ويحقن مصفوفات منخفضة الرتبة قابلة للتدريب، مما يقلل المعلمات 10,000 مرة دون تأخير إضافي.
- الحث بسلسلة الأفكار يستثير قدرات الاستدلال في النماذج اللغوية الكبيرةChain-of-Thought Prompting Elicits Reasoning in Large Language Modelsيوفر الحث بسلسلة الأفكار أمثلة تدريجية تطلق قدرات الاستدلال متعدد الخطوات في النماذج اللغوية الكبيرة دون ضبط دقيق.
- LLaMA: نماذج لغوية تأسيسية مفتوحة وفعالةLLaMA: Open and Efficient Foundation Language Modelsتقدم Meta عائلة LLaMA لنماذج تأسيسية حتى 65B معلماً، مدربة على ما يصل إلى 1.4T رمز من نصوص متاحة للعموم.
- Llama 2: نماذج تأسيسية ونماذج محادثة مضبوطة دقيقة ومفتوحةLlama 2: Open Foundation and Fine-Tuned Chat Modelsتطلق Meta نماذج Llama 2 (7B–70B) المفتوحة والمحاذاة للحوار، لتنافس الأنظمة المغلقة عبر RLHF التكراري وGhost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksدمج نماذج seq2seq البارامترية مع الاسترجاع الكثيف اللابارامتري لتحقيق نتائج رائدة في مهام معالجة اللغات الطبيعية الكثيفة المعرفة.
- Adam: طريقة للتحسين العشوائيAdam: A Method for Stochastic Optimizationيجمع Adam بين معدلات التعلم التكيفية والزخم مع تصحيح انحياز العزوم لتحقيق تحسين عشوائي فعال وقوي.
- Batch Normalization: تسريع تدريب الشبكات العميقة عن طريق تقليل Internal Covariate ShiftBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shiftتثبت Batch Normalization توزيعات المدخلات للطبقات، مما يسرع التدريب، ويسمح بمعدلات تعلم أعلى، ويحقق دقة رائدة على ImageNet.
- قوانين التوسيع للنماذج اللغوية العصبية (Scaling Laws for Neural Language Models)Scaling Laws for Neural Language Modelsتُظهر قوانين القوة التجريبية أن دالة خسارة نماذج اللغة تتوسع بدقة مع الحوسبة والمعلمات والبيانات، مفضلة النماذج الكبيرة على التدريب حتى التقارب.
- تدريب نماذج لغوية كبيرة مثالية حسابيًاTraining Compute-Optimal Large Language Modelsيوضح البحث نقص تدريب النماذج اللغوية؛ ويتطلب التوسع الأمثل حسابيًا زيادة المعلمات ورموز التدريب بنسب متساوية.
- FlashAttention: انتباه تام سريع وعالي الكفاءة في استخدام الذاكرة مع مراعاة عمليات الإدخال والإخراج (IO-Awareness)FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awarenessتستخدم FlashAttention التبليط وإعادة الحساب لتجنب كتابة مصفوفة الانتباه في HBM، مسرعةً الـ Transformers حتى 3 أضعاف.
- التحسين المباشر للتفضيلات: نموذجك اللغوي هو نموذج مكافأة خفيDirect Preference Optimization: Your Language Model is Secretly a Reward Modelتوائم خوارزمية DPO النماذج اللغوية مباشرة مع تفضيلات البشر عبر الإنتروبيا المتقاطعة الثنائية، مستغنية عن نماذج المكافأة والتعلم المعزز.
- Mamba: Linear-Time Sequence Modeling with Selective State Spacesيقدم Mamba نماذج فضاء الحالة الانتقائية بمسح متوازٍ يراعي العتاد، محققاً كفاءة مماثلة لـ Transformer وتوسعاً خطياً مع طول التسلسل.
- ReAct: التآزر بين الاستدلال والتنفيذ في النماذج اللغويةReAct: Synergizing Reasoning and Acting in Language Modelsيجمع ReAct بين مسارات الاستدلال اللفظي والإجراءات البيئية في النماذج اللغوية، مما يقلل الهلوسة ويعزز أداء مهام اتخاذ القرار.
- Segment Anythingيقدم SAM وSA-1B (مليار قناع، 11 مليون صورة)، مؤسساً نماذج أساسية قابلة للتوجيه لتجزئة الصور بالتعلم دون تدريب مسبق.
- التقرير التقني لـ DeepSeek-V3DeepSeek-V3 Technical Reportنموذج DeepSeek-V3 هو نموذج MoE مفتوح بـ 671B معلَمة (37B نشطة) دُرِّب بأقل من 6 ملايين دولار، منافسًا أفضل النماذج المغلقة.
- خوارزميات Proximal Policy OptimizationProximal Policy Optimization Algorithmsتقدم خوارزمية PPO دالة هدف بديلة ومقصوصة تُبسط أساليب منطقة الثقة مع تحسين كفاءة استخدام العينات.
- لعب ألعاب Atari باستخدام التعلم التعزيزي العميقPlaying Atari with Deep Reinforcement Learningتتعلم شبكات Deep Q-Networks التحكم المباشر من بكسلات Atari 2600 عبر experience replay، متفوقة على أداء الخبراء في 3 ألعاب.
- RoFormer: محول معزز بتضمين الموضع الدوراني (RoPE)RoFormer: Enhanced Transformer with Rotary Position Embeddingيقدم RoFormer تضمين الموضع الدوراني (RoPE) لترميز المواضع النسبية للرموز عبر دورانات متعامدة داخل الانتباه الذاتي.
- إطار عمل بسيط للتعلم التبايني للتمثيلات البصريةA Simple Framework for Contrastive Learning of Visual Representationsيبسط SimCLR التعلم التبايني للتمثيلات البصرية دون معماريات مخصصة أو بنوك ذاكرة، ليضاهي ResNet-50 الخاضع للإشراف على ImageNet.
- NeRF: تمثيل المشاهد كحقول إشعاع عصبية لتوليف المشاهد الجديدةNeRF: Representing Scenes as Neural Radiance Fields for View Synthesisتوليف مناظر واقعية جديدة لمشاهد ثلاثية الأبعاد معقدة عبر تحسين حقول إشعاع عصبية خماسية الأبعاد مستمرة باستخدام تصيير حجمي قابل للاشتقاق.
- U-Net: شبكات تلافيفية لتجزئة الصور الطبية الحيويةU-Net: Convolutional Networks for Biomedical Image Segmentationتقدم U-Net بنية مشفر-مفكك تشفير على شكل حرف U مع وصلات تخطي لتجزئة طبية حيوية سريعة ودقيقة من صور موسومة قليلة جداً.
- 3D Gaussian Splatting لتصيير حقول الإشعاع في الوقت الفعلي3D Gaussian Splatting for Real-Time Radiance Field Renderingتستخدم 3D Gaussian Splatting تقنية التلوين النقطي القائم على الألواح لتقديم تركيب مشاهد فائقة الجودة في الوقت الفعلي بدقة 1080p.
- الترجمة الآلية العصبية عبر التعلم المشترك للمحاذاة والترجمةNeural Machine Translation by Jointly Learning to Align and Translateإدخال آليات الانتباه المرن في الترجمة الآلية العصبية لتمكين أجهزة فك الترميز من التركيز ديناميكيًا على كلمات المصدر ذات الصلة.
- التقدير الفعال لتمثيلات الكلمات في الفضاء المتجهيEfficient Estimation of Word Representations in Vector Spaceتقديم نموذجي CBOW وSkip-gram لتعلم متجهات كلمات عالية الجودة من مليارات الكلمات بسرعة مع الحفاظ على التناظرات الخطية دلاليًا وتركيبياً.
- الشبكات العصبية فائقة الضخامة: طبقة خليط الخبراء ذات البوابات المتناثرةOutrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerتوسع طبقات MoE ذات البوابات المتناثرة الشبكات حتى 137 مليار معامل، محققة حيرة أقل وبتكلفة حسابية منخفضة.
- Mixtral of Expertsيقدم Mixtral 8x7B نموذج SMoE مفتوحاً بـ 13B معاملاً نشطاً لكل رمز، ليتفوق على Llama 2 70B ويضاهي GPT-3.5.
- مجموعة نماذج Llama 3The Llama 3 Herd of Modelsتقدم Meta نماذج Llama 3 المفتوحة حتى 405B معلمات، وتدعم سياق 128K، وتعدد اللغات، والبرمجة، والاستدلال، واستخدام الأدوات.
- التقرير التقني لـ GPT-4GPT-4 Technical Reportنموذج GPT-4 هو نموذج متعدد الوسائط يُظهر أداءً بمستوى بشري في الامتحانات، وتوسعًا متوقعًا، وأمانًا معززًا عبر RBRMs.
- الذكاء الاصطناعي الدستوري: السلامة الناتجة عن التغذية الراجعة من الذكاء الاصطناعيConstitutional AI: Harmlessness from AI Feedbackيدرب الذكاء الاصطناعي الدستوري مساعدين لغويين غير متهربين وغير ضارين عبر النقد والمراجعة وتغذية راجعة موجهة بمبادئ مكتوبة.
- النماذج اللغوية المضبوطة بدقة هي متعلّمة من الصفر (Zero-Shot Learners)Finetuned Language Models Are Zero-Shot Learnersالضبط الدقيق للنماذج اللغوية الكبيرة على مجموعات بيانات مصاغة كتعليمات يعزز بشكل كبير التعميم من الصفر عبر المهام غير المرئية.