МФК «Нейронные сети и их применение в научных исследованиях». Лекция 6: Трансформеры (часть 1)

Шестое занятие на МФК-курсе «Нейронные сети и их применение в научных исследованиях» для студентов МГУ. Преподаватель: Виктор Немченко 00:00 Заставка 00:07 Приветствие 00:12 Трансформеры 00:33 В предыдущих сериях 01:59 Seq2Seq 02:30 Энкодер и Декодер 04:29 Модуль внимания 07:05 Энкодер и Декодер 07:52 Transformer 08:24 Пример 10:33 Ответы на вопросы 13:13 Часть 2 13:14 Как работает поиск 14:17 Контекст и похожесть 16:25 Как разместить весь интернет? 18:34 Self-supervised learning 21:49 Пример работы маски предсказания слов 23:54 BERT 24:43 Предварительное обучение (Pre-training) 24:46 Заморозка весов 26:04 Пример 32:06 Трансформеры работают с картинками 33:21 Visual Transformer (ViT) 35:54 Self-Supervised для картинок 37:07 DINO 39:25 Трансформеры работают с речью 41:16 wav2vec 2.0 42:20 Часть 3 42:31 Ответы на вопросы 43:13 Научные примеры Ссылка на лекцию: #slide= Сайт: VK: Telegram: Образовательный курс «Нейронные сети и их применение в научных исследованиях» разработан специально для магистрантов, аспирантов и научных сотрудников ВСЕХ факультетов МГУ имени М. В. Ломоносова. А также для выпускников МГУ, которые продолжают обучение в аспирантуре других вузов, лабораторий и НИИ. Ссылка на анкету для поступления на основной курс :