BERT: Model, Analysis and Modifications, part 2 [in Russian]

Описание

Slides: https://bayesgroup.github.io/bmml_sem/2020/Lobacheva_BERT_part2.pdf

Chat: https://drive.google.com/file/d/11BUv2qoEt5mD-owpGd4wStppH7o8n3zO/view?usp=sharing

В современном NLP при решении многих задач используются контекстуальные эмбеддинги, предобученные на большом объеме неразмеченных данных. В данном докладе мы поговорим о том, что такое контекстуальные эмбеддинги, и обсудим подробно наиболее базовую и часто используемую модель - BERT. Мы посмотрим на некоторые варианты анализа того, что происходит внутри этой модели, а также познакомимся с ее более поздними модификациями: RoBERTa, ALBERT и другими.