Лекция №8 "Архитектуры нейронных сетей"

Описание

Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для восьмого потока обучения.
Преподаватель: Виктор Немченко
Дата: 28.11.2024

00:00 Заставка
00:38 Базовые компоненты свёрточных сетей
03:42 ImageNet
07:28 Baseline (AlexNet 2012)
15:36 Базовый блок (VGGNet 2014)
18:26 Вычислительные ресурсы
26:13 Inception module (GoogLeNet 2014)
36:06 BatchNorm
36:55 Skip connection (ResNet 2015)
38:29 Архитектура ResNet
39:57 BasicBlock в PyTorch
41:36 Bottleneck layer
42:16 Stage ratio
42:47 Обучение ResNet
44:13 Grouped Convolution
47:33 Grouped Convolution in PyTorch
48:16 ResNeXt
49:21 Обзор сети MobileNet (2017 г.)
52:31 Сравнение моделей
54:14 Много skip connection (DenseNet 2016)
54:52 Ширина вместо глубины (WideResNet 2016)
55:16 Squeeze-and-Excitation (SENet 2017)
56:50 Поиск хорошей архитектуры
57:17 Обзор сети EfficientNet (2019 г.)
59:28 Трансформеры
01:01:24 ConvNext (2022)
01:03:27 Transfer learning
01:07:47 Torch Image Models (timm)
01:11:55 Custom feature extractor
01:14:03 Дистилляция
01:15:44 Soft targets

Материалы лекции:
Открыть в Colab: https://colab.research.google.com/drive/1dwAwQyQYXc83uqZQcJMlZLht2I4oQZUE

Открыть в HTML-формате: https://msu.ai/nn_architectures_notebook_new

Сайт: https://msu.ai
VK: https://vk.com/msu_ai
Telegram: https://t.me/msu_ai_channel

#MSU_AI#Фонд_Интеллект