Artículos que vale la pena leer
Artículos populares y clásicos con un breve resumen hecho por IA. Ábralos en el lector para traducirlos completos, pedir explicaciones y conversar.
Clásicos
- Attention Is All You NeedPresenta el Transformer, que reemplaza recurrencia y convoluciones con autoatención multi-cabeza para un modelado de secuencias más rápido y puntero.
- BERT: Pre-entrenamiento de Transformers bidireccionales profundos para la comprensión del lenguajeBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT pre-entrena representaciones bidireccionales profundas con Transformers mediante MLM, logrando el estado del arte en 11 tareas de PLN.
- Deep Residual Learning for Image RecognitionLas redes residuales usan atajos de identidad para resolver la degradación, entrenando más de 100 capas con precisión de vanguardia.
- Language Models are Few-Shot LearnersEscalar modelos autorregresivos a 175B parámetros logra un rendimiento few-shot competitivo en PLN mediante in-context learning sin fine-tuning.
- Generative Adversarial NetworksGenerative Adversarial NetsPresenta las Generative Adversarial Networks (GANs) mediante un juego minimax entre generador y discriminador, evitando cadenas de Markov al muestrear.
- Auto-Encoding Variational BayesIntroduce el truco de reparametrización y AEVB para inferencia escalable en modelos con variables latentes continuas.
- Denoising Diffusion Probabilistic ModelsGeneración de imágenes de alta calidad con modelos probabilísticos de difusión entrenados mediante un objetivo simplificado de score matching.
- Síntesis de imágenes de alta resolución con Latent Diffusion ModelsHigh-Resolution Image Synthesis with Latent Diffusion ModelsLos Latent Diffusion Models trasladan la difusión al espacio latente de autoencoders, reduciendo el cómputo y logrando síntesis de alta resolución.
- Una imagen vale más que 16x16 palabras: Transformers para el reconocimiento de imágenes a escalaAn Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleVision Transformer (ViT) aplica un Transformer a parches de imagen, igualando o superando a las CNN cuando se preentrena a gran escala.
- Learning Transferable Visual Models From Natural Language SupervisionCLIP escala el preentrenamiento contrastivo imagen-texto con 400M de pares web, logrando clasificación zero-shot competitiva con modelos supervisados.
- Entrenar modelos de lenguaje para seguir instrucciones mediante retroalimentación humanaTraining language models to follow instructions with human feedbackInstructGPT alinea GPT-3 con instrucciones humanas usando RLHF, igualando el rendimiento de 175B con 1.3B y reduciendo alucinaciones y toxicidad.
- LoRA: Low-Rank Adaptation of Large Language ModelsLoRA congela los pesos del LLM y añade matrices de bajo rango entrenables, reduciendo parámetros hasta 10.000x sin latencia extra.
- Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsEl chain-of-thought prompting aporta ejemplos paso a paso, desbloqueando el razonamiento multietapa en LLMs sin necesidad de fine-tuning.
- LLaMA: Modelos de Lenguaje Fundacionales Abiertos y EficientesLLaMA: Open and Efficient Foundation Language ModelsMeta presenta LLaMA, modelos fundacionales de hasta 65B de parámetros entrenados con hasta 1.4T de tokens de texto de acceso público.
- Llama 2: Modelos base y de chat abiertos y ajustadosLlama 2: Open Foundation and Fine-Tuned Chat ModelsMeta publica Llama 2 (7B–70B), LLMs abiertos alineados para diálogo que compiten con sistemas cerrados mediante RLHF iterativo y Ghost Attention.
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksCombina modelos seq2seq paramétricos con recuperación densa no paramétrica para lograr resultados punteros en tareas de PLN de conocimiento intensivo.
- Adam: A Method for Stochastic OptimizationAdam combina tasas de aprendizaje adaptativas y momentum con corrección de sesgo para una optimización estocástica eficiente y robusta.
- Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftBatch Normalization estabiliza distribuciones internas de entrada, acelerando el entrenamiento, con mayores tasas de aprendizaje y precisión SOTA.
- Scaling Laws for Neural Language ModelsLeyes de potencia empíricas muestran que la pérdida escala de forma predecible con cómputo, parámetros y datos, favoreciendo modelos grandes.
- Training Compute-Optimal Large Language ModelsDemuestra que los LLM están subentrenados; el escalado óptimo requiere aumentar parámetros y tokens en proporciones iguales.
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention usa particionado y recomputación para evitar escribir la matriz de atención en HBM, acelerando los Transformers hasta 3x.
- Direct Preference Optimization: Your Language Model is Secretly a Reward ModelDPO alinea modelos de lenguaje con datos de preferencia humana mediante entropía cruzada binaria, eliminando modelos de recompensa y RL.
- Mamba: Modelado de secuencias en tiempo lineal con espacios de estados selectivosMamba: Linear-Time Sequence Modeling with Selective State SpacesMamba introduce modelos de espacio de estados selectivos con escaneo paralelo eficiente en hardware, igualando a los Transformers con escala lineal.
- ReAct: Sinergia entre razonamiento y acción en modelos de lenguajeReAct: Synergizing Reasoning and Acting in Language ModelsReAct combina trazas de razonamiento y acciones en LLMs, reduciendo alucinaciones y mejorando la toma de decisiones.
- Segment AnythingPresenta SAM y SA-1B (1B máscaras, 11M imágenes), creando modelos fundacionales con prompts para segmentación zero-shot.
- Informe técnico de DeepSeek-V3DeepSeek-V3 Technical ReportDeepSeek-V3 es un LLM MoE abierto de 671B (37B activos) entrenado con 14.8T tokens por menos de $6M, igualando a modelos cerrados punteros.
- Proximal Policy Optimization AlgorithmsPPO introduce un objetivo subrogado recortado que simplifica los métodos de región de confianza y mejora la eficiencia de muestreo.
- Playing Atari with Deep Reinforcement LearningDeep Q-Networks aprenden control end-to-end desde píxeles de Atari 2600 usando experience replay, superando a humanos expertos en tres juegos.
- RoFormer: Enhanced Transformer with Rotary Position EmbeddingRoFormer introduce Rotary Position Embedding (RoPE) para codificar posiciones relativas mediante rotaciones ortogonales en self-attention.
- A Simple Framework for Contrastive Learning of Visual RepresentationsSimCLR simplifica el aprendizaje contrastivo de representaciones visuales sin arquitecturas complejas, igualando a ResNet-50 supervisado en ImageNet.
- NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisSintetiza vistas novedosas fotorrealistas de escenas 3D complejas optimizando campos de radiancia neuronales 5D continuos con renderizado volumétrico.
- U-Net: Redes convolucionales para la segmentación de imágenes biomédicasU-Net: Convolutional Networks for Biomedical Image SegmentationU-Net introduce una red encoder-decoder en forma de U con skip connections para segmentación biomédica rápida y precisa con muy pocas imágenes.
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering3D Gaussian Splatting usa gaussianas 3D y rasterización por teselas para lograr síntesis de vistas en tiempo real y alta calidad a 1080p.
- Neural Machine Translation by Jointly Learning to Align and TranslateIntroduce mecanismos de atención blanda en traducción automática neuronal, permitiendo a los decodificadores enfocarse en palabras fuente relevantes.
- Efficient Estimation of Word Representations in Vector SpaceIntroduce CBOW y Skip-gram para aprender vectores de palabras de alta calidad rápidamente a partir de miles de millones de palabras.
- Redes neuronales descomunalmente grandes: la capa Mixture-of-Experts con compuertas dispersasOutrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts LayerLas capas Mixture-of-Experts con compuertas dispersas escalan redes a 137B de parámetros, bajando la perplejidad con menor costo computacional.
- Mixtral of ExpertsMixtral 8x7B es un modelo Sparse Mixture of Experts que usa 13B parámetros activos por token para superar a Llama 2 70B e igualar a GPT-3.5.
- La familia de modelos Llama 3The Llama 3 Herd of ModelsMeta presenta Llama 3: modelos base abiertos de hasta 405B parámetros con contexto de 128K, soporte multilingüe, código, razonamiento y herramientas.
- GPT-4 Technical ReportGPT-4 es un modelo multimodal con rendimiento humano en exámenes, escalado predecible y mayor seguridad mediante RBRMs.
- Constitutional AI: Harmlessness from AI FeedbackConstitutional AI entrena asistentes no evasivos e inofensivos mediante crítica, revisión y feedback de IA guiados solo por principios escritos.
- Finetuned Language Models Are Zero-Shot LearnersEl ajuste de LLMs con instrucciones mejora sustancialmente la generalización zero-shot en tareas nunca vistas.