Bài báo đáng đọc
Các bài báo nổi bật và kinh điển kèm phần tóm tắt ngắn của AI. Mở trong trình đọc để dịch toàn văn, giải thích và trò chuyện.
Kinh điển
- Attention Is All You NeedGiới thiệu Transformer: thay thế hồi quy và tích chập bằng multi-head self-attention, giúp mô hình hóa chuỗi nhanh hơn và đạt SOTA.
- BERT: Tiền huấn luyện Transformer hai chiều sâu cho hiểu ngôn ngữBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT tiền huấn luyện biểu diễn Transformer hai chiều sâu bằng mô hình hóa ngôn ngữ có che, đạt bước tiến SOTA trên 11 tác vụ NLP.
- Deep Residual Learning for Image RecognitionMạng phần dư sâu dùng kết nối tắt đồng nhất giải quyết vấn đề suy thoái, huấn luyện mạng hơn 100 tầng đạt độ chính xác hàng đầu.
- Language Models are Few-Shot LearnersMở rộng mô hình tự hồi quy lên 175B tham số mang lại hiệu năng few-shot ấn tượng qua in-context learning mà không cần tinh chỉnh.
- Generative Adversarial Networks (Mạng đối nghịch tạo sinh)Generative Adversarial NetsGiới thiệu GANs dựa trên trò chơi minimax giữa mạng tạo sinh và phân biệt, loại bỏ chuỗi Markov khi lấy mẫu.
- Auto-Encoding Variational BayesGiới thiệu reparameterization trick và Auto-Encoding Variational Bayes (AEVB) giúp suy luận khả dịch quy mô lớn cho mô hình biến ẩn liên tục.
- Denoising Diffusion Probabilistic ModelsTạo ảnh chất lượng cao bằng diffusion probabilistic models với hàm mục tiêu score-matching đơn giản hóa.
- Tổng hợp hình ảnh độ phân giải cao bằng Latent Diffusion ModelsHigh-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models chuyển việc huấn luyện sang không gian ẩn của autoencoder, giảm mạnh chi phí tính toán khi tạo ảnh độ phân giải cao.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) áp dụng trực tiếp Transformer chuẩn lên các patch ảnh, đạt hiệu năng ngang ngửa hoặc vượt CNNs khi tiền huấn luyện quy mô lớn.
- Học các mô hình thị giác có khả năng chuyển giao từ sự giám sát của ngôn ngữ tự nhiênLearning Transferable Visual Models From Natural Language SupervisionCLIP mở rộng tiền huấn luyện đối chiếu ảnh-văn bản trên 400 triệu cặp web, đạt phân loại ảnh zero-shot cạnh tranh với mô hình có giám sát.
- Huấn luyện mô hình ngôn ngữ tuân theo chỉ dẫn bằng phản hồi từ con ngườiTraining language models to follow instructions with human feedbackInstructGPT căn chỉnh GPT-3 theo chỉ dẫn bằng RLHF, giúp mô hình 1.3B đạt hiệu năng tương đương 175B và giảm ảo tưởng lẫn độc hại.
- LoRA: Thích ứng Hạng Thấp cho các Mô hình Ngôn ngữ LớnLoRA: Low-Rank Adaptation of Large Language ModelsLoRA đóng băng trọng số LLM, chèn ma trận phân rã hạng thấp, giảm tới 10.000 lần tham số huấn luyện mà không tăng độ trễ.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought prompting cung cấp các ví dụ từng bước, mở khóa khả năng suy luận nhiều bước ở mô hình ngôn ngữ lớn mà không cần fine-tuning.
- LLaMA: Các mô hình ngôn ngữ nền tảng mở và hiệu quảLLaMA: Open and Efficient Foundation Language ModelsMeta giới thiệu LLaMA, bộ mô hình nền tảng tới 65B tham số được huấn luyện trên 1,4T token văn bản công khai.
- Llama 2: Các mô hình nền tảng mở và mô hình hội thoại tinh chỉnhLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta ra mắt Llama 2 (7B–70B), các LLM nguồn mở cạnh tranh sòng phẳng với hệ thống đóng nhờ RLHF lặp và Ghost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksKết hợp seq2seq tham số hóa với truy xuất phi tham số dày đặc, đạt kết quả SOTA trên các tác vụ NLP thâm dụng tri thức.
- Adam: Phương pháp tối ưu hóa ngẫu nhiênAdam: A Method for Stochastic OptimizationAdam kết hợp tốc độ học thích ứng, momentum và hiệu chỉnh độ chệch của các moment để tối ưu hóa ngẫu nhiên hiệu quả, mạnh mẽ.
- Batch Normalization: Tăng tốc huấn luyện mạng sâu bằng cách giảm Internal Covariate ShiftBatch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization ổn định phân phối đầu vào từng tầng, giúp huấn luyện nhanh hơn, dùng learning rate cao hơn và đạt độ chính xác SOTA trên ImageNet.
- Scaling Laws for Neural Language ModelsQuy luật lũy thừa thực nghiệm chỉ ra loss của mô hình ngôn ngữ tỉ lệ dự đoán được theo compute, tham số và dữ liệu, ưu tiên mô hình lớn.
- Training Compute-Optimal Large Language ModelsChứng minh LLM chưa được huấn luyện đủ; mở rộng tối ưu tính toán đòi hỏi tăng số tham số và token huấn luyện theo tỷ lệ ngang nhau.
- FlashAttention: Cơ chế Attention chính xác, nhanh và tối ưu bộ nhớ với nhận thức IO (IO-Awareness)FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention dùng tiling và tính toán lại để tránh ghi ma trận $N \times N$ vào HBM của GPU, giúp tăng tốc Transformer lên tới 3 lần.
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO căn chỉnh mô hình ngôn ngữ trực tiếp từ dữ liệu sở thích qua hàm mất mát binary cross-entropy, loại bỏ mô hình phần thưởng và RL.
- Mamba: Mô hình hóa chuỗi thời gian tuyến tính với không gian trạng thái chọn lọcMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba giới thiệu SSM chọn lọc với parallel scan tối ưu phần cứng, đạt chất lượng tương đương Transformer nhưng mở rộng tuyến tính theo độ dài chuỗi.
- ReAct: Kết hợp suy luận và hành động trong các mô hình ngôn ngữReAct: Synergizing Reasoning and Acting in Language ModelsReAct kết hợp chuỗi suy luận bằng lời và hành động môi trường trong LLM, giúp giảm ảo tưởng và nâng cao hiệu năng thực hiện tác vụ ra quyết định.
- Segment AnythingGiới thiệu SAM và SA-1B (1 tỷ mask, 11 triệu ảnh), xây dựng foundation model có khả năng nhận prompt cho phân vùng ảnh zero-shot.
- Báo cáo Kỹ thuật DeepSeek-V3DeepSeek-V3 Technical ReportDeepSeek-V3 là LLM MoE mở 671B (kích hoạt 37B) huấn luyện trên 14,8T token với chi phí dưới 6 triệu USD, sánh ngang các mô hình đóng hàng đầu.
- Proximal Policy Optimization AlgorithmsProximal Policy Optimization giới thiệu hàm mục tiêu đại diện dạng cắt, giúp đơn giản hóa trust region và tăng hiệu quả sử dụng mẫu.
- Chơi Atari với Học tăng cường sâu (Deep Reinforcement Learning)Playing Atari with Deep Reinforcement LearningDeep Q-Networks học điều khiển đầu-cuối từ pixel Atari 2600 dùng experience replay, vượt hiệu suất chuyên gia ở 3 trò chơi.
- RoFormer: Mô hình Transformer cải tiến với Rotary Position EmbeddingRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer giới thiệu Rotary Position Embedding (RoPE) để mã hóa vị trí token tương đối qua phép quay trực giao trong self-attention.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR đơn giản hóa học biểu diễn tương phản thị giác, đạt hiệu năng tương đương ResNet-50 có giám sát trên ImageNet mà không cần kiến trúc đặc thù.
- NeRF: Biểu diễn cảnh dưới dạng trường bức xạ thần kinh cho tổng hợp góc nhìn mớiNeRF: Representing Scenes as Neural Radiance Fields for View SynthesisTổng hợp góc nhìn mới chân thực của cảnh 3D phức tạp bằng cách tối ưu hóa neural radiance fields 5D liên tục với volume rendering khả vi.
- U-Net: Mạng nơ-ron tích chập cho phân đoạn ảnh y sinhU-Net: Convolutional Networks for Biomedical Image SegmentationU-Net giới thiệu mạng encoder-decoder chữ U với skip connection giúp phân đoạn ảnh y sinh nhanh, chính xác từ tập dữ liệu gán nhãn rất nhỏ.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting dùng 3D Gaussian dị hướng và rasterization theo tile để tổng hợp góc nhìn mới chất lượng cao theo thời gian thực ở 1080p.
- Neural Machine Translation by Jointly Learning to Align and TranslateĐưa cơ chế soft-attention vào dịch máy nơ-ron, giúp decoder tập trung động vào các từ nguồn liên quan.
- Ước lượng Hiệu quả Biểu diễn Từ trong Không gian VectorEfficient Estimation of Word Representations in Vector SpaceGiới thiệu CBOW và Skip-gram giúp học word vector chất lượng cao từ hàng tỷ từ nhanh chóng, bảo toàn quan hệ loại suy ngữ nghĩa và cú pháp tuyến tính.
- Mạng nơ-ron cực lớn: Lớp Mixture-of-Experts định tuyến thưa (Sparsely-Gated Mixture-of-Experts Layer)Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerLớp MoE định tuyến thưa mở rộng mạng nơ-ron lên 137 tỷ tham số, đạt perplexity thấp hơn với chi phí tính toán giảm đáng kể.
- Mixtral of ExpertsMixtral 8x7B là mô hình SMoE mã nguồn mở, dùng 13B tham số kích hoạt mỗi token để vượt qua Llama 2 70B và sánh ngang GPT-3.5.
- Họ mô hình Llama 3The Llama 3 Herd of ModelsMeta giới thiệu Llama 3: các mô hình nền tảng mở tới 405B tham số, hỗ trợ ngữ cảnh 128K, đa ngôn ngữ, lập trình, suy luận và sử dụng công cụ.
- Báo cáo kỹ thuật GPT-4GPT-4 Technical ReportGPT-4 là mô hình đa phương thức lớn đạt kết quả thi chuẩn hóa ngang con người, mở rộng quy mô có thể dự đoán và nâng cao an toàn qua RBRM.
- Constitutional AI: Sự vô hại từ phản hồi của AIConstitutional AI: Harmlessness from AI FeedbackConstitutional AI huấn luyện trợ lý ngôn ngữ vô hại, không né tránh bằng cách phê bình, chỉnh sửa và phản hồi từ AI dựa trên nguyên tắc bằng văn bản.
- Finetuned Language Models Are Zero-Shot LearnersFinetuning mô hình ngôn ngữ lớn trên tập dữ liệu dạng chỉ dẫn giúp tăng cường đáng kể khả năng khái quát hóa zero-shot trên tác vụ mới.