Artigos que valem a leitura
Artigos populares e clássicos com um breve resumo feito por IA. Abra no leitor para tradução completa, explicações e chat.
Clássicos
- Attention Is All You NeedApresenta o Transformer, trocando recorrência e convoluções por multi-head self-attention para modelagem de sequências mais rápida e no estado da arte.
- BERT: Pré-treinamento de Transformers Bidirecionais Profundos para Compreensão de LinguagemBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingO BERT pré-treina representações profundas bidirecionais com Transformers e MLM, superando o estado da arte em 11 tarefas de PLN.
- Deep Residual Learning for Image RecognitionRedes residuais profundas usam conexões de atalho de identidade contra a degradação, treinando redes de mais de 100 camadas com precisão de ponta.
- Language Models are Few-Shot LearnersModelos autorregressivos com 175B de parâmetros alcançam desempenho competitivo em few-shot via in-context learning, sem fine-tuning.
- Generative Adversarial NetworksGenerative Adversarial NetsApresenta as GANs via um jogo minimax entre gerador e discriminador, eliminando cadeias de Markov durante a amostragem de dados.
- Auto-Encoding Variational BayesApresenta o truque da reparametrização e o AEVB para inferência escalável em modelos de variáveis latentes contínuas.
- Denoising Diffusion Probabilistic ModelsGeração de imagens de alta qualidade usando modelos probabilísticos de difusão treinados com um objetivo simplificado de score matching.
- High-Resolution Image Synthesis with Latent Diffusion ModelsModelos de difusão latente transferem o treino para o espaço latente de autoencoders, cortando custos computacionais e gerando alta resolução.
- Uma Imagem Vale Mais que 16x16 Palavras: Transformers para Reconhecimento de Imagens em EscalaAn Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleO Vision Transformer (ViT) aplica um Transformer padrão a patches de imagem, igualando ou superando CNNs quando pré-treinado em escala.
- Learning Transferable Visual Models From Natural Language SupervisionO CLIP escala o pré-treinamento contrastivo em 400M de pares imagem-texto, alcançando classificação zero-shot comparável a modelos supervisionados.
- Training language models to follow instructions with human feedbackInstructGPT alinha o GPT-3 a instruções humanas via RLHF, igualando o modelo de 175B com apenas 1.3B e reduzindo alucinações e toxicidade.
- LoRA: Low-Rank Adaptation of Large Language ModelsO LoRA congela pesos de LLMs e injeta matrizes de decomposição de baixo posto, reduzindo parâmetros em até 10.000x com latência zero.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsO chain-of-thought prompting usa exemplos passo a passo para destravar o raciocínio em múltiplos passos em LLMs sem fine-tuning.
- LLaMA: Modelos de Linguagem Fundamentais Abertos e EficientesLLaMA: Open and Efficient Foundation Language ModelsA Meta apresenta o LLaMA, modelos fundamentais de até 65B parâmetros treinados em até 1,4T de tokens de textos públicos.
- Llama 2: Modelos Fundacionais e de Chat Ajustados AbertosLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta lança Llama 2 (7B–70B), LLMs abertos e alinhados para diálogo que rivalizam sistemas fechados via RLHF iterativo e Ghost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksCombina modelos seq2seq paramétricos pré-treinados com recuperação densa não paramétrica, atingindo o estado da arte em tarefas de NLP.
- Adam: A Method for Stochastic OptimizationAdam une taxas de aprendizado adaptativas e momentum com correção de viés para uma otimização estocástica eficiente e robusta.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization estabiliza ativações internas, acelerando o treino com taxas de aprendizado maiores e obtendo acurácia SOTA no ImageNet.
- Scaling Laws for Neural Language ModelsLeis de potência empíricas mostram que a perda de LMs escala com computação, parâmetros e dados, favorecendo modelos grandes antes da convergência.
- Treinamento de Grandes Modelos de Linguagem Otimizados por ComputaçãoTraining Compute-Optimal Large Language ModelsMostra que LLMs são subtreinados; a otimização por computação exige escalar parâmetros e tokens de treino em proporções iguais.
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention usa tiling e recomputação para não gravar a matriz $N \times N$ na HBM da GPU, acelerando Transformers em até 3x.
- Direct Preference Optimization: Seu Modelo de Linguagem é Secretamente um Modelo de RecompensaDirect Preference Optimization: Your Language Model is Secretly a Reward ModelO DPO alinha modelos de linguagem diretamente com dados de preferência humana via entropia cruzada binária, eliminando modelos de recompensa e RL.
- Mamba: Modelagem de Sequências em Tempo Linear com Espaços de Estados SeletivosMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba introduz modelos de espaço de estados seletivos com scan paralelo ciente do hardware, obtendo qualidade de Transformer e escala linear.
- ReAct: Sinergia entre Raciocínio e Ação em Modelos de LinguagemReAct: Synergizing Reasoning and Acting in Language ModelsReAct combina rastros de raciocínio verbal e ações no ambiente em LLMs, reduzindo alucinações e elevando o desempenho em tomadas de decisão.
- Segment AnythingApresenta o SAM e o SA-1B (1B de máscaras, 11M de imagens), estabelecendo modelos de base com prompts para segmentação de imagens zero-shot.
- DeepSeek-V3 Technical ReportDeepSeek-V3 é um LLM MoE aberto de 671B (37B ativos) treinado em 14,8T tokens por menos de US$ 6M, igualando modelos de ponta.
- Proximal Policy Optimization AlgorithmsO Proximal Policy Optimization usa um objetivo substituto truncado que simplifica métodos de região de confiança e melhora a eficiência amostral.
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks aprendem controle ponta a ponta dos pixels do Atari 2600 com experience replay, superando especialistas humanos em três jogos.
- RoFormer: Enhanced Transformer with Rotary Position EmbeddingO RoFormer introduz o Rotary Position Embedding (RoPE) para codificar posições relativas de tokens via rotações ortogonais na autoatenção.
- A Simple Framework for Contrastive Learning of Visual RepresentationsO SimCLR simplifica o aprendizado contrastivo sem arquiteturas complexas ou memory banks, igualando a ResNet-50 supervisionada no ImageNet.
- NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisSintetiza novas visões fotorrealistas de cenas 3D complexas otimizando campos de radiância neurais 5D contínuos com renderização volumétrica.
- U-Net: Redes Convolucionais para Segmentação de Imagens BiomédicasU-Net: Convolutional Networks for Biomedical Image SegmentationA U-Net introduz uma rede encoder-decoder em U com skip connections para segmentação biomédica rápida e precisa com poucas imagens.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting usa gaussianas 3D anisotrópicas e rasterização por blocos para síntese de novas vistas em tempo real e alta qualidade a 1080p.
- Neural Machine Translation by Jointly Learning to Align and TranslateIntroduz mecanismos de soft-attention na tradução automática neural, permitindo que decodificadores foquem dinamicamente em palavras relevantes da fonte.
- Efficient Estimation of Word Representations in Vector SpaceApresenta o CBOW e o Skip-gram para aprender vetores de palavras de alta qualidade rapidamente, preservando analogias semânticas e sintáticas.
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerCamadas Sparsely-gated Mixture-of-Experts escalam redes neurais até 137B de parâmetros, reduzindo a perplexidade com menor custo computacional.
- Mixtral of ExpertsO Mixtral 8x7B introduz um modelo aberto SMoE com 13B parâmetros ativos por token que supera o Llama 2 70B e se iguala ao GPT-3.5.
- A Família de Modelos Llama 3The Llama 3 Herd of ModelsMeta apresenta Llama 3: modelos abertos de até 405B parâmetros com contexto de 128K, suporte multilíngue, código, raciocínio e uso de ferramentas.
- GPT-4 Technical ReportGPT-4 é um modelo multimodal amplo com desempenho de nível humano em exames, escalonamento previsível e segurança aprimorada via RBRMs.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI treina assistentes inofensivos e não evasivos usando crítica, revisão e feedback de IA guiados apenas por princípios escritos.
- Finetuned Language Models Are Zero-Shot LearnersO ajuste fino com instruções melhora substancialmente a generalização zero-shot de modelos de linguagem em tarefas não vistas.