Пятнадцатое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС224. Преподаватель: Александр Пославский
00:00:07:00 Обучение с учителем
00:01:16:21 Обучение без учителя
00:02:26:25 Обучение с подкреплением
00:03:28:24 Терминология: агент, функция награды, состояние среды
00:04:51:09 Отличие от supervised learning
00:07:46:14 Классические примеры задач RL
00:14:33:19 Особенности и сложности RL. Низкая скорость обучения (sample efficiency)
00:14:35:14 Низкая скорость обучения (sample efficiency)
00:17:02:10 Сложное проектирование функции награды
00:21:08:10 Невоспроизводимость обучения
00:22:59:08 Датасеты
00:23:13:24 Gym
00:25:27:03 Пространства действий и наблюдений
00:29:10:28 Взаимодействие со средой
00:29:56:13 Создание своей среды
00:42:42:21 Markov property
00:44:45:26 Markov process
00:50:08:11 Определение
00:50:12:23 Матрица состояний
00:50:39:14 Награда (Reward)
00:53:51:09 Суммарная награда (Return)
00:58:04:14 Дисконтирование (discounting)
01:04:31:29 Марковский процесс принятия решений
01:06:58:18 Формальное описание MDP
01:08:11:25 Пример
01:11:22:10 Нахождение лучшей последовательности переходов
01:13:10:20 Value function
01:15:12:21 Определение Value Function
01:15:33:05 Уравнение Беллмана
01:15:34:10 Определение Optimal Value Function
01:15:40:01 Bellman equation
01:17:47:09 Нахождение оптимальной политики Беллмана
01:17:50:13 Политика не обязана быть оптимальной
01:21:51:14 Policy iteration
01:27:19:02 Value Iteration
01:42:28:08 Temporal difference (TD) learning
01:44:54:25 Q-Learning
01:50:16:15 Deep Q-Learning
02:01:55:16 Loss
02:01:57:27 Approximate Q-learning
02:01:58:05 Алгоритм обучения
02:02:11:17 Experience replay
02:09:35:14 Terget network
02:12:42:01 Пример c CartPole DQN
02:13:53:28 Building a network
02:15:42:05 Experience Replay Buffer and Target Networks
02:15:53:22 TD-Loss
02:15:57:04 Main loop
02:20:06:24 Дальнейшие идеи
02:21:39:05 Другие улучшения DQN
02:22:42:10 Double DQN
02:23:59:09 Альтернативные подходы
Ссылка на лекцию:
VK:
Telegram:
Сайт:
11 views
10
1
5 days ago 00:17:05 1
Мой топ синтезаторов 2024
7 days ago 00:24:25 1
Это опасное растение захватило уже все континенты, кроме Антарктиды. И остановить его невозможно
2 weeks ago 00:26:59 1
Мелирование на темные русые волосы дома | Окрашивание волос | Уроки окрашивания волос
2 weeks ago 00:15:33 6
Spotlight 2 класс (Спотлайт 2) Английский в фокусе 2кл./ Урок 15 “In the Bath!“ 3b стр. 36 - 38
3 weeks ago 00:56:32 1
Графический дизайн с нуля за 1 час! (уроки для начинающих)
3 weeks ago 00:30:44 1
🔥Как паять? Большой урок по пайке электроники
3 weeks ago 00:46:57 1
Как НЕ Завалить Собеседование в Яндекс: советы QA Team Lead Яндекса | Подкаст «Так можно было»
4 weeks ago 01:06:31 1
Жизнь в Нью Джерси: Как мы отмечаем Хеллоуин. Специальный магазин, традиции, украшения, тыква, парад
4 weeks ago 00:11:22 1
Делай ЭТО 8 Минут и Сожешь Жир! Убойная летняя жиросжигающая тренировка 2021
4 weeks ago 00:53:44 2
Идеальная осанка: основы. Как исправить осанку в домашних условиях | Лекция Доктора Тиграна
4 weeks ago 00:08:40 1
Михаил Мишустин встретился с главой Росмолодежи Григорием Гуровым
4 weeks ago 00:21:34 1
Как нарисовать ПОРТРЕТ сухой пастелью и пастельными карандашами. ПОДРОБНЫЙ урок.
1 month ago 00:19:16 1
Мой прогресс в музыке ЗА 5 ЛЕТ!(а есть ли он?)
1 month ago 00:54:04 4
Банк жуликов: Как BCCI стал главным банком по отмыванию денег / Уроки истории @MINAEVLIVE
1 month ago 00:10:02 3
Татьяна Поль: Секреты общения с ребенком. Практические шаги к тому, чтобы ребенок понимал и доверял
1 month ago 00:49:31 1
☦️СИЛОВОЙ ЗАХВАТ храма в Черкассах. Цена власти Зе. Дмитрук: весной РФ сотрет Сумы и дойдёт до КИЕВА
1 month ago 00:07:11 1
Как восстановить зрение при глаукоме, катаракте и макулодистрофии в течении месяца. Glaucoma
1 month ago 00:31:10 1
Вспомнить Всё о Прошлых Жизнях с Эффективными Практическими Упражнениями | 5 Медитативных Приёмов
1 month ago 00:28:19 6
Развитие ясновидения методом реинкарнационного самопознания I Наталья Бехтерева
1 month ago 00:56:43 1
Как проиграла революция в России. Быков, Обломов, Шац и другие об уроках Болотной
1 month ago 01:12:04 1
Отмена крепостного права в России: причины и последствия / Уроки истории / @MINAEVLIVE
1 month ago 00:15:48 8
Тренировка ОФП дома
1 month ago 00:33:22 1
ТРЕНИРОВКА ДЛЯ ПЛОСКОГО ЖИВОТА И УЛУЧШЕНИЯ ОСАНКИ | УБИРАЕМ ДОМИК И АКТИВИРУЕМ “КОР“
1 month ago 00:24:07 4
Всего два секрета и это упражнение быстро избавит от глаукомы. Glaucoma