Neural Kernel Methods

Что будет если обучать бесконечно широкую нейронную сеть? В статье “Wide Neural Networks of Any Depth“ утверждается, что результат будет точно такой же, как и обучение линейной модели градиентным спуском. Чтобы работать с бесконечно широкими сетями, в статье вводят ядро NTK (neural tangent kernel), решают диффуры и так далее. Получается, что обучение бесконечно широких сетей -- это *ядерный метод*. На семинаре планируется следующее: - рассказ про Kernel Regression - рассказ про обучение бесконечно широк