Теоретический подход к выбору метрик качества в задачах классификации и кластеризации

Спикерка: Людмила Прохоренкова, Яндекс, Москва, Россия. Для сравнения алгоритмов обычно используются метрики качества. Например, в задаче классификации можно использовать точность, F-меру и другие метрики. Возникает вопрос – как выбрать метрику качества для данной задачи? Другими словами, можем ли мы как-то сравнивать между собой метрики? Мы подходим к этому вопросу с теоретической точки зрения – формируем список свойств, которыми должна обладать хорошая метрика, и теоретически проверяем эти свойства для популярных метрик. Помимо этого, мы получаем ряд интересных результатов. Например, мы доказываем, что не может существовать метрики, которая удовлетворяет всем свойствам сразу. Но если отказаться от одного из свойств, то можно предложить целое семейство метрик, которые удовлетворяют всем оставшимся свойствам. Доклад основан на статьях «Systematic analysis of cluster similarity indices: How to validate validation measures» (ICML 2021) и «Good Classification Measures and How to Find Them» (NeurIPS 2021).