BERT: enseñar a una máquina a leer en las dos direcciones a la vez
BERT enseñó al Transformer a leer en ambas direcciones a la vez. Este artículo revisa el paper de 2018, su preentrenamiento con Masked Language Model, el papel de NSP, sus resultados en comprensión del lenguaje y el legado que dejó en modelos posteriores como RoBERTa, ALBERT y DistilBERT.
