งานวิจัยที่ควรอ่าน
กำลังมาแรง
- OpenHands: แพลตฟอร์มเปิดสำหรับนักพัฒนาซอฟต์แวร์ AI ในฐานะเอเจนต์แบบเอนกประสงค์OpenHands: An Open Platform for AI Software Developers as Generalist AgentsOpenHands คือแพลตฟอร์มโอเพนซอร์สที่รวมแซนด์บ็อกซ์ การท่องเว็บ มัลติเอเจนต์ และ 15 เบนช์มาร์กสำหรับนักพัฒนา AI
- TradingAgents: เฟรมเวิร์กการซื้อขายทางการเงินแบบหลายเอเจนต์ด้วย LLMTradingAgents: Multi-Agents LLM Financial Trading FrameworkTradingAgents จำลองบริษัทเทรดด้วยเอเจนต์ LLM เฉพาะทางและการดีเบตหลายมุมมอง ให้ผลตอบแทนปรับด้วยความเสี่ยงที่เหนือกว่า
- Harness^2: การควบคุมเอเจนต์แบบเรียกซ้ำสำหรับโลกความจริงแบบเปิดHarness2: Recursive Agent Harnessing for an Open WorldHarness2 ช่วยพัฒนาเอเจนต์แบบเรียกซ้ำในโลกเปิดข้ามงานและระดับ meta-harnessing ได้โดยไม่ต้องพึ่งพา ground-truth verifier
- Unlimited OCR WorksUnlimited OCR Works: Welcome the Era of One-shot Long-horizon ParsingUnlimited OCR นำเสนอ Reference Sliding Window Attention เพื่อถอดรหัสเอกสารขนาดยาวแบบ One-shot ด้วย KV-cache คงที่
- Very Large-Scale Multi-Agent Simulation in AgentScopeAgentScope ขยายการจำลอง multi-agent สู่ 1 ล้าน LLM agents ด้วยกลไก actor แบบกระจายศูนย์ ความหลากหลายที่ปรับแต่งได้ และการจัดการผ่านเว็บ
- AgentScope 1.0: เฟรมเวิร์กที่เน้นนักพัฒนาสำหรับการสร้างแอปพลิเคชัน AgenticAgentScope 1.0: A Developer-Centric Framework for Building Agentic ApplicationsAgentScope 1.0 เฟรมเวิร์ก ReAct แบบโมดูลาร์ รองรับการเรียกใช้เครื่องมือแบบขนาน บูรณาการ MCP การติดตามด้วย Visual Studio และแซนด์บ็อกซ์
- Kronos: โมเดลพื้นฐานสำหรับภาษาของตลาดการเงินKronos: A Foundation Model for the Language of Financial MarketsKronos แปลงข้อมูลกราฟแท่งเทียนการเงินเป็นโทเคนแบบลำดับขั้น เพื่อการเทรนล่วงหน้าแบบ autoregressive บนข้อมูล 1.2 หมื่นล้านเรคคอร์ด
- Hy-Nomas: สู่การสร้างโลกเชิงโต้ตอบแบบอิสระHy-Nomas: Towards Free-form Interactive World GenerationHy-Nomas คือโมเดลโลกวิดีโอ 8B ที่รองรับทั้งคำสั่งข้อความอิสระและการควบคุมกล้องต่อเนื่องข้ามการโต้ตอบหลายรอบ
- รายงานทางเทคนิค MOSS-ImageMOSS-Image Technical ReportMOSS-Image ผสาน DiT 5B เข้ากับระบบขยายพรอมต์แบบเอเจนต์ เพื่อสร้างภาพกราฟิกที่มีเลย์เอาต์ซับซ้อนพร้อมข้อความสองภาษายาวๆ
- อีกฟากหนึ่งของ Memory Wall: การรัน MoE ขนาด 35B จาก SSD ด้วยการทำนายเส้นทางที่ผ่านการเทรนThe Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing PredictionEdge0 สตรีมน้ำหนัก MoE 35B จาก SSD ที่ความเร็ว 20 tok/s ใน RAM 3 GiB บนฮาร์ดแวร์ทั่วไปด้วยการทำนายเส้นทางล่วงหน้า 1 โทเค็นและ recovery LoRA
- Prism: Dynamic Sparse Attention สำหรับการเทรนโมเดลสร้างวิดีโอพร้อมเสียงระดับ Native 2KPrism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Generation Model TrainingPrism ช่วยเทรนโมเดลร่วมวิดีโอ-เสียงระดับ 2K แท้ด้วย dynamic sparse attention ที่ชี้นำโดยความแปรปรวนของภาพและนอร์ม cross-attention ของเสียง
งานวิจัยคลาสสิก
- Attention Is All You Needนำเสนอ Transformer สถาปัตยกรรมที่ใช้ Multi-Head Self-Attention แทน Recurrence และ Convolution สำหรับการแปลงลำดับข้อมูล
- BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT พรีเทรนตัวแทน Transformer แบบสองทิศทางเชิงลึกด้วย masked language modeling ยกระดับ state-of-the-art ใน 11 งาน NLP
- Deep Residual Learning for Image RecognitionDeep residual networks ใช้ identity shortcut connections แก้ปัญหา degradation ทำให้เทรนโครงข่ายลึกกว่า 100 ชั้นจนได้ความแม่นยำระดับ state-of-the-art
- Language Models are Few-Shot Learnersการขยายโมเดล autoregressive สู่ 175B พารามิเตอร์ ช่วยให้ทำงาน NLP แบบ few-shot ได้อย่างมีประสิทธิภาพผ่าน in-context learning โดยไม่ต้องไฟน์จูน
- Generative Adversarial NetworksGenerative Adversarial Netsนำเสนอ Generative Adversarial Networks (GANs) ผ่านเกมมินิแมกซ์ระหว่างตัวกำเนิดและตัวแยกแยะ โดยไม่ต้องพึ่งพา Markov chains ในการสุ่มตัวอย่าง
- Auto-Encoding Variational Bayesนำเสนอ reparameterization trick และ Auto-Encoding Variational Bayes (AEVB) สำหรับการอนุมานที่ปรับขยายได้ในโมเดลตัวแปรแฝงแบบต่อเนื่อง
- Denoising Diffusion Probabilistic Modelsแสดงการสร้างภาพคุณภาพสูงด้วยโมเดล diffusion probabilistic ที่เทรนผ่านฟังก์ชันเป้าหมาย score-matching แบบปรับให้ง่ายขึ้น
- High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models ย้ายการเทรน diffusion สู่ latent space ของ autoencoder ช่วยลดการคำนวณมหาศาลและสร้างภาพความละเอียดสูงได้ดีเยี่ยม
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) ใช้ Transformer กับแพตช์ภาพโดยตรง ทำงานทัดเทียมหรือชนะ CNNs เมื่อพรีเทรนระดับสเกลใหญ่
- Learning Transferable Visual Models From Natural Language SupervisionCLIP ขยายการเทรนแบบ contrastive บนคู่ภาพ-ข้อความ 400M คู่ ทำ zero-shot จำแนกภาพได้เทียบเท่าโมเดล supervised
- การฝึกโมเดลภาษาให้ปฏิบัติตามคำสั่งด้วยข้อเสนอแนะจากมนุษย์Training language models to follow instructions with human feedbackInstructGPT ปรับ GPT-3 ให้ทำตามคำสั่งด้วย RLHF โดยโมเดล 1.3B ทำงานเทียบเท่า 175B ทั้งยังลดการสร้างข้อมูลเท็จและความเป็นพิษลงได้
- LoRA: การปรับขนาดอันดับต่ำของแบบจำลองภาษาขนาดใหญ่ (Low-Rank Adaptation of Large Language Models)LoRA: Low-Rank Adaptation of Large Language ModelsLoRA แช่แข็งค่าน้ำหนัก LLM และแทรกเมทริกซ์แยกย่อยอันดับต่ำ ช่วยลดพารามิเตอร์เทรนได้ถึง 10,000 เท่า โดยไม่เพิ่มเวลาแฝง
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought prompting ใช้ตัวอย่างการคิดทีละขั้น ปลดล็อกการให้เหตุผลหลายขั้นตอนในโมเดลภาษาขนาดใหญ่โดยไม่ต้อง fine-tune
- LLaMA: แบบจำลองภาษาพื้นฐานแบบเปิดและมีประสิทธิภาพสูงLLaMA: Open and Efficient Foundation Language ModelsMeta เปิดตัว LLaMA โมเดลภาษาพื้นฐานขนาดสูงสุด 65B พารามิเตอร์ ซึ่งเทรนด้วยข้อมูลสาธารณะมากถึง 1.4T โทเค็น
- Llama 2: Open Foundation and Fine-Tuned Chat ModelsMeta เปิดตัว Llama 2 (7B–70B) โอเพนซอร์ส LLM ที่ปรับแต่งการสนทนาด้วย RLHF และ Ghost Attention จนเทียบชั้นโมเดลแบบปิด
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasksผสานโมเดลพารามิเตอร์ seq2seq กับการสืบค้นแบบนอนพารามิเตอร์เวกเตอร์หนาแน่น สร้างผลลัพธ์ SOTA ในงาน NLP ที่ต้องใช้ความรู้เข้มข้น
- Adam: วิธีการสำหรับการหาค่าเหมาะที่สุดแบบเฟ้นสุ่มAdam: A Method for Stochastic OptimizationAdam ผสาน adaptive learning rate และโมเมนตัมเข้ากับการแก้ความเอนเอียงของโมเมนต์ เพื่อการออปติไมซ์แบบสโตแคสติกที่มีประสิทธิภาพสูง
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization ปรับการแจกแจงอินพุตของแต่ละชั้นให้เสถียร ช่วยให้เทรนเร็วขึ้น ใช้ learning rate สูงขึ้น และได้ความแม่นยำระดับ SOTA บน ImageNet
- Scaling Laws for Neural Language Modelsกฎกำลังเชิงประจักษ์เผย loss ของโมเดลภาษาลดลงอย่างคาดเดาได้ตามการคำนวณ พารามิเตอร์ และข้อมูล โดยเน้นการใช้โมเดลใหญ่มากกว่าเทรนจนลู่เข้า
- Training Compute-Optimal Large Language Modelsชี้ว่า LLM ยังเทรนไม่พอ การสเกลแบบ compute-optimal ต้องเพิ่มพารามิเตอร์และโทเคนในสัดส่วนที่เท่ากัน
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention ใช้ tiling และคำนวณซ้ำเพื่อเลี่ยงเขียนเมทริกซ์ $N \times N$ ลง GPU HBM เร่งความเร็ว Transformer สูงสุด 3 เท่า
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO ปรับจูนโมเดลภาษาตามความชอบของมนุษย์ด้วย binary cross-entropy โดยตรง โดยไม่ต้องใช้โมเดลการให้รางวัลหรือ RL
- Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba นำเสนอโมเดล selective state space พร้อม parallel scan ที่คำนึงถึงฮาร์ดแวร์ ให้คุณภาพระดับ Transformer ด้วยการสเกลตามความยาวแบบเชิงเส้น
- ReAct: การผสานพลังระหว่างการให้เหตุผลและการลงมือกระทำในโมเดลภาษาReAct: Synergizing Reasoning and Acting in Language ModelsReAct ผสานการคิดหาเหตุผลกับการลงมือทำใน LLMs ช่วยลดการคิดหลอน (hallucination) และยกระดับการตัดสินใจแก้ปัญหา
- Segment Anythingเปิดตัว SAM และ SA-1B (1 พันล้านมาสก์ บน 11 ล้านภาพ) สร้างโมเดลพื้นฐานแบบใช้ prompt สำหรับการแบ่งส่วนภาพแบบ zero-shot
- รายงานเชิงเทคนิคของ DeepSeek-V3DeepSeek-V3 Technical ReportDeepSeek-V3 เป็นโอเพนซอร์ส MoE LLM ขนาด 671B (แอกทีฟ 37B) เทรนบน 14.8T โทเคนด้วยงบไม่ถึง $6M มีประสิทธิภาพเทียบเท่าโมเดลปิดแถวหน้า
- อัลกอริทึม Proximal Policy OptimizationProximal Policy Optimization AlgorithmsProximal Policy Optimization นำเสนอ clipped surrogate objective ที่ลดความซับซ้อนของ trust region methods และเพิ่มประสิทธิภาพการใช้ข้อมูล
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks เรียนรู้การควบคุมแบบ end-to-end จากพิกเซล Atari 2600 โดยใช้ experience replay และทำคะแนนชนะผู้เล่นระดับมนุษย์ได้สามเกม
- RoFormer: โมเดล Transformer ที่ได้รับการพัฒนาด้วย Rotary Position EmbeddingRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer นำเสนอ RoPE เพื่อเข้ารหัสตำแหน่งสัมพัทธ์ของโทเคนผ่านการหมุนแบบเชิงตั้งฉากภายในกลไก Self-Attention
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR ลดความซับซ้อนของ contrastive learning สำหรับภาพ โดยไม่ต้องใช้สถาปัตยกรรมพิเศษหรือ memory bank และเทียบเท่า ResNet-50 แบบ supervised
- NeRF: การแทนฉากด้วยฟิลด์การแผ่รังสีเชิงประสาทสำหรับการสังเคราะห์มุมมองใหม่NeRF: Representing Scenes as Neural Radiance Fields for View Synthesisสังเคราะห์มุมมองใหม่ของฉาก 3 มิติที่ซับซ้อนให้สมจริง ด้วยการปรับค่าฟิลด์การแผ่รังสีเชิงประสาท 5 มิติแบบต่อเนื่องร่วมกับ differentiable volume rendering
- U-Net: Convolutional Networks for Biomedical Image SegmentationU-Net นำเสนอสถาปัตยกรรมรูปตัว U พร้อม skip connection สำหรับการแบ่งส่วนภาพทางการแพทย์ที่รวดเร็วและแม่นยำสูง แม้มีข้อมูลกำกับปริมาณน้อยมาก
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting ใช้ 3D Gaussians แบบแอนไอโซทรอปิกและการแรสเตอร์ระดับไทล์ เพื่อสร้างมุมมองใหม่แบบเรียลไทม์คุณภาพสูงที่ 1080p
- การแปลภาษาด้วยระบบประสาทเทียมผ่านการเรียนรู้ร่วมกันเพื่อจับคู่ตำแหน่งและแปลภาษา (Neural Machine Translation by Jointly Learning to Align and Translate)Neural Machine Translation by Jointly Learning to Align and Translateนำเสนอกลไก Soft-attention ในการแปลภาษาด้วยโครงข่ายประสาทเทียม ช่วยให้ตัวถอดรหัสโฟกัสคำในประโยคต้นทางที่เกี่ยวข้องได้แบบไดนามิก
- การประมาณค่าตัวแทนคำในปริภูมิเวกเตอร์อย่างมีประสิทธิภาพEfficient Estimation of Word Representations in Vector Spaceนำเสนอ CBOW และ Skip-gram เพื่อเรียนรู้เวกเตอร์คำคุณภาพสูงจากคลังข้อมูลระดับพันล้านคำได้อย่างรวดเร็ว โดยยังคงความสัมพันธ์เชิงความหมายและไวยากรณ์
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layerเลเยอร์ Sparsely-gated MoE ขยายโครงข่ายประสาทสู่ 137B พารามิเตอร์ ลดค่า perplexity โดยใช้ต้นทุนการคำนวณน้อยลง
- Mixtral of ExpertsMixtral 8x7B โมเดล Sparse Mixture of Experts แบบเปิด ใช้ 13B พารามิเตอร์ต่อโทเคน ให้ประสิทธิภาพเหนือกว่า Llama 2 70B และเทียบเท่า GPT-3.5
- The Llama 3 Herd of ModelsMeta เปิดตัว Llama 3 โมเดลพื้นฐานแบบเปิดขนาดสูงสุด 405B รองรับบริบท 128K ความหลากหลายทางภาษา การเขียนโค้ด การใช้เหตุผล และเครื่องมือ
- รายงานทางเทคนิคของ GPT-4 (GPT-4 Technical Report)GPT-4 Technical ReportGPT-4 เป็นโมเดลต่อเนื่องหลายรูปแบบขนาดใหญ่ที่มีความสามารถระดับมนุษย์ในการสอบ ทำนายสเกลได้ล่วงหน้า และปลอดภัยยิ่งขึ้นด้วย RBRM
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI ฝึกผู้ช่วยภาษาที่ไม่หลบเลี่ยงและไม่เป็นอันตราย โดยใช้การวิจารณ์ การแก้ไข และฟีดแบ็กจาก AI ภายใต้หลักการที่เป็นลายลักษณ์อักษร
- Finetuned Language Models Are Zero-Shot Learnersการปรับจูนโมเดลภาษาขนาดใหญ่ด้วยชุดข้อมูลแบบคำสั่ง ช่วยเพิ่มขีดความสามารถการวางนัยทั่วไปแบบ zero-shot ในงานใหม่ๆ ได้อย่างมีนัยสำคัญ