Лекция №10 "Трансформеры"

Описание

Десятое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения.
Преподаватель: Артем Васильев
Дата: 11.12.2024

00:00 Заставка
00:44 Классический seq2seq
02:32 Cross-Attention
05:35 RNN + Cross-Attention
17:34 Разновидности функций сходства
29:34 Self-Attention
33:01 Архитектура сети Transformer
35:13 Кодировщик
50:35 Подготовка данных
53:13 Hugging Face
01:08:22 BERT
01:33:32 Декодировщик
01:38:05 GPT
01:42:17 Методы Генерации текста
01:51:27 Файнтюнинг
01:57:30 Большие языковые модели (LLM)
01:58:04 LLaMA
02:06:04 LoRa
02:09:46 NLP метрики
02:10:42 BERTScore
02:13:27 Self Attention (ViT 2020)

Материалы лекции:
Открыть в Colab: https://colab.research.google.com/drive/1HzZCBM8iCSRU5fr-h-tLpCqXSzRMZVEz#scrollTo=dw4c5ssg67MR
Открыть в HTML-формате: https://msu.ai/transformers_notebook_new

Сайт: https://msu.ai
VK: https://vk.com/msu_ai
Telegram: https://t.me/msu_ai_channel
Лекция на Rutube: https://rutube.ru/video/e43159ccaf15570159bf2667355ffacf/?r=wd
Лекция в VK видео: https://vk.com/video-204135333_456239595

#MSU_AI#Фонд_Интеллект