Обратное распространение ошибки

Одним из ключевых этапов обучения нейронной сети является применение алгоритма обратного распространения ошибки, или backpropagation. Целью этого алгоритма является поиск градиента ошибки по всем обучаемым параметрам нашей модели. Без понимания того, как он работает, нам будет тяжело написать свой собственный алгоритм обучения нейросети. Давайте разбираться. В этом видео мы самостоятельно выведем все необходимые формулы для реализации алгоритма обучения нейронной сети с нуля. Для обучения нейросети можно использовать градиентный спуск, а для его работы нам потребуется градиент функции потерь по всем параметрам модели (весам нейросети). В основе метода обратного распространения ошибки лежит цепное правило (chain rule) из матанализа. Еще это называют правило дифференцирования сложной функции: В некоторых случаях нам потребуется правило дифференцирования сложной функции нескольких переменных: Меня зовут Дмитрий Коробченко, и на моём канале будет много чего ин