Diffusion Models in Latent Space [in Russian]
Описание
Speaker: Tingir Badmaev, Higher School of Economics
Slides: https://github.com/bayesgroup/bayesgroup.github.io/blob/master/bmml_sem/2022/Badmaev_Diffusion_models_in_latent_space_02_12_22.pdf
За последние пару лет диффузионные модели продемонстрировали отличное качество генерации, сопоставимое с sota-алгоритмами на основе GAN и VAE. Однако зачастую процесс диффузии происходит в пространстве данных, которые имеют большую размерность. Значит, вдобавок к итеративной схеме, мы получаем очень долгий процесс генерации.
На спецсеминаре мы подробно разберем модель на основе VAE и cont. DDPM. Latent Score Generative Model использует процесс диффузии в латентном пространстве VAE, что упрощает обучение для DDPM, поскольку теперь DDPM необходимо моделировать не сложное распределение многомерных данных, а распределение близкое к праеру в VAE. Второй плюс - исходное пространство может иметь дискретную структуру. Score Based GM на основе диффузии с гауссовскими распределениями не умеют моделировать дискретные данные. Вторым примером использования диффузии в латентных переменных, мы рассмотрим Stable Diffusion.
Рекомендуемые видео
