Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)

Ссылка на презентацию: !AlnN0aqNwShslRdcd7-WsY9oUm50 Мой телеграм канал: Список всех моих образовательных материалов, статей, лекций итд: В этой вводной лекции о трансформерах мы рассмотрим базовые понятия, алгоритмы и методы, используемые в современных языковых моделях. Мы начнем с базовых знаний о NLP, поговорим про концепцию векторов и эмбеддингов, их смысле. Затем подробно обсудим ткокенизацию и то, почему она столь важна. Мы разберем архитектуру трансформера, включая FeedForward, SelfAttention, CrossAttetntion, а еще постараемся понять роль позиционного кодирования в моедели и разных регуляризаторов и оптимизаций. Мы также подробно рассмотрим декодер и маскированный Attention и процедуру обучения таких моделей. Лекция была прочитана онлайн для сообщества Singularis, и по ходу было сделано 5 пауз для Q&A секиций - вполне возможно, что вопрос, появившийся у вас, будет отвечен в лекции! Подпишитесь на наш канал, чтобы не пропустить новые видео о машинном обучении и искусственном интеллекте. Не забудьте поставить лайк и поделиться этим видео с друзьями, если оно вам понравилось. Если у вас возникнут вопросы или предложения, оставляйте их в комментариях! Timeline: 0:00 - 4:10 - Intro 4:10 - 11:41 - NLP 101 (intro for ML Engineers), W2V, Embeddings 11:41 - 15:55 - Tokenization Intuition 15:55 - 23:08 - Tokenization Details and how to build a Vocabulary 23:08 - 28:55 - Why Tokenization matters 28:55 - 36:10 - 1st Q&A 36:10 - 39:58 - Transformer: a 10’000 foot view 39:58 - 45:06 - FeedForward layer 45:06 - 49:19 - 2nd Q&A 49:19 - 1:08:01 - Self-Attention Mechanism in Detail 1:08:01 - 1:14:05 - 3rd Q&A 1:14:05 - 1:20:59 - Multi Head Self-Attention & its Matrix form 1:20:59 - 1:26:55 - Positional Encodings 1:26:55 - 1:32:11 - Transformer Optimizations & Regularizers: LayerNorm, Skip-Connection 1:32:11 - 1:36:31 - 4th Q&A 1:36:31 - 1:43:50 - Decoder & Cross-Attention 1:43:50 - 1:50:30 - Masked Self-Attention & Training Procedure 1:50:30 - 1:53:48 - 5th Q&A 1:53:48 - 2:04:50 - BERT Training: MLM, NSP 2:05:50 - 2:14:19 - Outro: why are Transformers THAT good? 2:14:19 - 2:17:09 - 6th and final Q&A ---- #Трансформеры #Машинноеобучение #Искусственныйинтеллект #NLP #DeepLearning #AI #NeuralNetworks #BERT #AttentionMechanism #NaturalLanguageProcessing #Tokenization #MachineLearningAlgorithms #DataScience #LanguageModels #ML #GPT #OpenAI #MLengineers #WordEmbeddings #PositionalEncoding #LayerNormalization #SkipConnection #CrossAttention #MLM #NSP #chatgpt #attention #attentionisallyouneed