BERT: enseñar a una máquina a leer en las dos direcciones a la vez
BERT enseñó al Transformer a leer en ambas direcciones a la vez. Este artículo revisa el paper de 2018, su preentrenamiento con Masked Language Model, el papel de NSP, sus resultados en comprensión del lenguaje y el legado que dejó en modelos posteriores como RoBERTa, ALBERT y DistilBERT.
Word2Vec: cómo las máquinas aprendieron a representar palabras
En 2013, el paper Efficient Estimation of Word Representations in Vector Space presentó Word2Vec y demostró que las palabras podían representarse como vectores capaces de capturar similitudes, relaciones y analogías. Este artículo revisa cómo CBOW y Skip-gram convirtieron el significado en geometría computable, por qué aquella simplificación permitió escalar el PLN moderno y qué limitaciones abrieron el camino hacia embeddings contextuales, Transformers y modelos generativos
Attention Is All You Need: el paper que cambió la inteligencia artificial moderna
En 2017, Attention Is All You Need presentó el Transformer, una arquitectura basada en atención que cambió la IA moderna. Este artículo explica el paper, sus ideas clave —self-attention, queries, keys, values y multi-head attention— y por qué una propuesta nacida para traducción automática terminó siendo la base de GPT, BERT y la IA generativa actual.
Mind Your Tone: cuando ser más educado con una IA no mejora la respuesta
¿Importa el tono al interactuar con un LLM? Este paper analiza cómo la cortesía en los prompts afecta a la precisión… y encuentra un resultado inesperado: los tonos más directos obtienen mejores resultados. Un análisis claro sobre prompting y comportamiento de modelos.
