Михаил Селезнёв - Как работает attention

Описание

Расскажу про главный компонент трансформеров — механизм внимания: какая за ним интуиция, как он реализуется с помощью матриц и почему там много голов.
Лекция про механизм внимания от замечательной Лены Войты https://lena-voita.github.io/nlp_course/seq2seq_and_attention.html
Оригинальная статья про внимание (не первая, а самая известная) https://arxiv.org/abs/1706.03762