BERT: Влияние архитектуры и процесса обучения на свойства векторных представлений модели

Спикер: Максим Подкорытов, Университет штата Флорида, Таллахасси, Флорида, США. Модель BERT в свое время показала наилучший результат в нескольких задачах обработки естественного языка. Однако, причины эффективности этой модели недостаточно исследованы. В нашей работе мы устанавливаем, как архитектура и процесс обучения (а именно, моделирование языка с восстановлением случайно испорченных слов) влияют на геометрические свойства векторных представлений модели, и исследуем пригодность промежуточных представлений для задач классификации. Материалы: Про дрифт векторных представлений - формальное описание эффекта есть в section 3.3 статьи Презентация: Чтобы не пропустить анонсы следующих научно-технических вебинаров, присоединяйтесь к нам в Telegram: Сайт организатора: