Статьи, которые стоит прочитать
Популярные и классические статьи с кратким обзором от ИИ. Откройте любую в читалке для полного перевода, объяснений и чата.
Классика
- Attention Is All You NeedПредставлен Transformer: замена рекуррентности и сверток multi-head self-attention для быстрого и передового моделирования последовательностей.
- BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT предварительно обучает глубокие двунаправленные представления Transformer с помощью MLM, улучшая SOTA в 11 задачах NLP.
- Глубокое остаточное обучение для распознавания изображенийDeep Residual Learning for Image RecognitionResNet решает проблему деградации с помощью identity shortcut, позволяя обучать сети из более чем 100 слоев до SOTA-точности.
- Language Models are Few-Shot LearnersМасштабирование авторегрессионных моделей до 175B параметров обеспечивает сильный few-shot NLP через in-context learning без файнтюнинга.
- Generative Adversarial NetworksGenerative Adversarial NetsПредставлены генеративно-состязательные сети (GAN) на основе минимаксной игры между генератором и дискриминатором без цепей Маркова.
- Auto-Encoding Variational BayesТрюк с репараметризацией и метод AEVB для масштабируемого вывода в моделях с непрерывными скрытыми переменными.
- Denoising Diffusion Probabilistic ModelsГенерация изображений высокого качества с помощью диффузионных вероятностных моделей и упрощенной функции потерь score-matching.
- High-Resolution Image Synthesis with Latent Diffusion ModelsLatent Diffusion Models переносят диффузию в латентное пространство автоэнкодера, снижая затраты и обеспечивая высокое разрешение.
- An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) применяет стандартный Transformer к патчам изображений, не уступая CNN при масштабном претрейне.
- Learning Transferable Visual Models From Natural Language SupervisionCLIP масштабирует контрастивное обучение на 400 млн пар изображение-текст, обеспечивая zero-shot классификацию на уровне моделей с учителем.
- Обучение языковых моделей следованию инструкциям с помощью обратной связи от человекаTraining language models to follow instructions with human feedbackInstructGPT выравнивает GPT-3 с помощью RLHF: модель на 1.3B параметров не уступает 175B, снижая уровень галлюцинаций и токсичности.
- LoRA: низкоранговая адаптация больших языковых моделейLoRA: Low-Rank Adaptation of Large Language ModelsLoRA замораживает веса LLM и внедряет матрицы низкого ранга, сокращая число обучаемых параметров до 10 000 раз без задержки.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsChain-of-thought prompting задает пошаговые примеры, раскрывая сложное рассуждение в больших языковых моделях без дообучения.
- LLaMA: открытые и эффективные базовые языковые моделиLLaMA: Open and Efficient Foundation Language ModelsMeta представляет LLaMA: базовые модели до 65B параметров, обученные на общедоступных текстах объемом до 1.4T токенов.
- Llama 2: Открытые базовые и дообученные диалоговые моделиLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta выпустила Llama 2 (7B–70B): открытые LLM, конкурирующие с закрытыми системами за счет итеративного RLHF и Ghost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksОбъединение параметрических seq2seq-моделей и плотного поиска для достижения SOTA в наукоемких задачах NLP.
- Adam: Метод стохастической оптимизацииAdam: A Method for Stochastic OptimizationAdam сочетает адаптивные скорости обучения, моментум и коррекцию смещения моментов для эффективной стохастической оптимизации.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization стабилизирует входы слоев, ускоряет обучение, позволяет повысить learning rate и достигает SOTA-точности на ImageNet.
- Scaling Laws for Neural Language ModelsСтепенные законы показывают предсказуемое масштабирование потерь языковых моделей от вычислений и параметров, отдавая приоритет крупным моделям.
- Обучение вычислительно-оптимальных больших языковых моделейTraining Compute-Optimal Large Language ModelsLLM недообучены: оптимальное масштабирование требует пропорционального увеличения числа параметров модели и токенов данных.
- FlashAttention: быстрый и эффективный по памяти точный механизм внимания с учетом IOFlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention устраняет запись матрицы внимания $N \times N$ в HBM GPU за счет тайлинга и перевычислений, ускоряя трансформеры до 3 раз.
- Direct Preference Optimization: Ваша языковая модель на самом деле является моделью вознагражденияDirect Preference Optimization: Your Language Model is Secretly a Reward ModelDPO выравнивает языковые модели на предпочтениях людей через бинарную кросс-энтропию, устраняя модели вознаграждения и RL-файн-тюнинг.
- Mamba: Linear-Time Sequence Modeling with Selective State SpacesMamba представляет селективные модели пространства состояний с линейной сложностью, достигая качества трансформеров при масштабировании.
- ReAct: объединение рассуждений и действий в языковых моделяхReAct: Synergizing Reasoning and Acting in Language ModelsReAct объединяет рассуждения и действия LLM во внешней среде, снижая галлюцинации и повышая качество принятия решений.
- Segment AnythingSAM и SA-1B (1 млрд масок, 11 млн изображений): интерактивные базовые модели сегментации изображений для zero-shot переноса.
- Технический отчет DeepSeek-V3DeepSeek-V3 Technical ReportDeepSeek-V3 — открытая MoE LLM на 671B параметров (37B активных), обученная на 14.8T токенов менее чем за $6M на уровне лучших закрытых моделей.
- Proximal Policy Optimization AlgorithmsPPO упрощает методы доверительной области с помощью клиппированного суррогатного лосса, повышая эффективность по выборке.
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks обучаются сквозному управлению напрямую по пикселям Atari 2600, превосходя экспертов-людей в трех играх.
- RoFormer: улучшенный Transformer с ротационным позиционным эмбеддингомRoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer внедряет Rotary Position Embedding (RoPE) для кодирования относительных позиций через ортогональные вращения в self-attention.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR упрощает контрастивное обучение визуальных представлений без сложных архитектур, достигая уровня supervised ResNet-50 на ImageNet.
- NeRF: Представление сцен в виде нейронных полей сияния для синтеза новых ракурсовNeRF: Representing Scenes as Neural Radiance Fields for View SynthesisСинтез фотореалистичных видов сложных 3D-сцен путем оптимизации непрерывных 5D нейронных полей сияния с дифференцируемым рендерингом.
- U-Net: Сверточные сети для сегментации биомедицинских изображенийU-Net: Convolutional Networks for Biomedical Image SegmentationU-Net: U-образная сеть с пропускными связями для быстрой и точной сегментации биомедицинских данных на малых обучающих выборках.
- 3D Gaussian Splatting для рендеринга полей излучения в реальном времени3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting использует анизотропные 3D-гауссианы и тайловую растеризацию для качественного синтеза ракурсов в 1080p в реальном времени.
- Нейронный машинный перевод путем совместного обучения выравниванию и переводуNeural Machine Translation by Jointly Learning to Align and TranslateВнедрение механизма мягкого внимания в нейронный машинный перевод для динамической фокусировки на словах источника.
- Efficient Estimation of Word Representations in Vector SpaceМодели CBOW и Skip-gram: быстрое обучение векторных представлений слов на миллиардах токенов с сохранением линейных семантических аналогий.
- Невероятно большие нейронные сети: слой Mixture-of-Experts с разреженным гейтингомOutrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerСлои Mixture-of-Experts с разреженным гейтингом масштабируют сети до 137 млрд параметров, снижая перплексию при меньших затратах.
- Mixtral of ExpertsMixtral 8x7B: открытая SMoE-модель с 13B активных параметров на токен, опережающая Llama 2 70B и сопоставимая с GPT-3.5.
- Семейство моделей Llama 3The Llama 3 Herd of ModelsMeta представила Llama 3: открытые базовые модели до 405B параметров с контекстом 128K, поддержкой мультиязычности, рассуждений и работы с кодом.
- Технический отчет по GPT-4 (GPT-4 Technical Report)GPT-4 Technical ReportGPT-4 — мультимодальная модель с человеческим уровнем сдачи экзаменов, предсказуемым масштабированием и безопасностью на базе RBRM.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI обучает полезных и безобидных ассистентов с помощью критики, правок и обратной связи от ИИ на основе свода принципов.
- Finetuned Language Models Are Zero-Shot LearnersТюнинг больших языковых моделей на инструкциях существенно улучшает zero-shot обобщение на неизвестные задачи.