BERT: enseñar a una máquina a leer en las dos direcciones a la vez
BERT enseñó al Transformer a leer en ambas direcciones a la vez. Este artículo revisa el paper de 2018, su preentrenamiento con Masked Language Model, el papel de NSP, sus resultados en comprensión del lenguaje y el legado que dejó en modelos posteriores como RoBERTa, ALBERT y DistilBERT.
Word2Vec: cómo las máquinas aprendieron a representar palabras
En 2013, el paper Efficient Estimation of Word Representations in Vector Space presentó Word2Vec y demostró que las palabras podían representarse como vectores capaces de capturar similitudes, relaciones y analogías. Este artículo revisa cómo CBOW y Skip-gram convirtieron el significado en geometría computable, por qué aquella simplificación permitió escalar el PLN moderno y qué limitaciones abrieron el camino hacia embeddings contextuales, Transformers y modelos generativos
