Эффективные трансформеры для длинных последовательностей, Валерий Лихошерстов

Последние годы трансформеры показывают очень хорошие результаты в различных задачах, включая анализ естественных языков, компьютерное зрение, моделирование протеинов, и т д. К сожалению, сложность вычисления трансформеров растет квадратично (O(L^2)) с ростом длины последовательности L. В данной презентации, мы обсудили зоопарк недавно предложенных методов для уменьшения вычислительной сложности трансформеров по времени и памяти вплоть до O(L) и даже O(1). Спикер: Валерий Лихошерстов, Кембриджский университет, Кембридж, Великобритания; рисерч Google Презентация: Чтобы не пропустить анонсы следующих научно-технических вебинаров, присоединяйтесь к нам в Telegram: Сайт организатора: