Ivan Komarov: Mastering Causal - Causal Inference in ML Track 2020

Data Fest Online 2020 Causal Inference in ML Track - Mastering Causal По следам классической книги Mastering ’Metrics. Подводка и примеры будут из жизни нашего отдела. Причинно-следственные связи становятся важны, когда бизнес хочет понимать устойчивость признаков или как работает система. Естественно, хотелось бы четко выделить эффект от какого-то маркетингового или продуктового воздействия. Идеальная и единственная система без дополнительных предположений - это система тестирования. В иных случаях должно или повезти (естественный эксперимент) или нужно учитывать все возможные факторы. Вывод для практиков машинного обучения — если вам задали задачу на причинно-следственную связь, на “посчитать эффект“, думайте над дизайном А/Б эксперимента. Данные скорее всего (даже большие) вам не помогут. В презентации разберем почему работает А/Б тестирование, почему иногда лучше не заморачиваться, а иногда нужно, как многорукие бандиты позволяют ускорить получение результатов, как контекстные бандиты / upllift могут дать (автоматическую) модель реагирования, а не просто посчитать средний эффект. Ну и по классической книге ’Mastering Metrics разберем, что еще применяют экономисты и насколько это полезно для практического машинного обучения. I want to introduce a great, popular, and classical book “Mastering ’Metrics“. Examples and introduction of the presentation will be based on what we have ecountered in our work. Casuality is important when business wants to understand stability of features in a model, or want to underastand how a system works. Naturally, ones needs to understand a clean effect from some marketing or product innovation. Ideal and the only way without any additional assumptions is a system of A/B testing. In other cases, we either have to be lucky (with natural experiments) or we have to take into account all possible factors (and thus have a theoretical framework). Conclusion for practitioners of machine learning — if you have a task related to causality, realted to “calculate the effect“, think about design of an experiment. Usually, data, even big, will not help you. In this presentation we will talk why A/B testing works, why sometimes you do not have to do testing, why sometimes you really need to struggle, how bandits can help to speed up getting of results, how contextual bandits / uplift can (automatically) give you a model, not just an average effect. And we will look at “Mastering Metrics“ to see what economists have been using and how it can be used in partical machine learning. Посмотреть эфир и список треков и организаторов Зарегистрироваться на фест и получить доступ к трекам Вступить в сообщество Соцсети Data Fest: