Математика - - практика по Байесу + конспект от YandexGPT

Математика - - практика по Байесу конспект от YandexGPT 00:43 Введение в машинное обучение • Обсуждение задачи классификации объектов на основе признаков и условных вероятностей. • Упоминание о том, что объекты могут быть описаны набором признаков, таких как размер зарплаты, наличие других кредитов и долгов, стоимость недвижимости. 07:21 Оценка условных вероятностей • Обсуждение оценки условных вероятностей классов на основе априорных вероятностей и данных из обучающей выборки. • Упоминание о том, что условные вероятности могут быть оценены с помощью условных плотностей вероятностей. 10:56 Пример классификации текстов • Пример классификации текстов на основе наличия характерных слов и составления признаков описания текста. • Обсуждение использования словаря для определения характерных слов и их оценки в контексте классификации текстов. 21:22 Введение в логистическую регрессию • Видео объясняет, что такое логистическая регрессия и как она работает. • Рассматриваются признаки и описания текста, а также вероятности появления определенных слов в спаме и хаме. 33:55 Пример использования логистической регрессии • Демонстрируется, как использовать логистическую регрессию для определения класса текста (спам или не спам). • Рассматриваются различные слова и их вероятности появления в спаме и хаме. • Обсуждается, как использовать логистическую регрессию для определения класса текста. 42:34 Решение задачи классификации • Преподаватель объясняет, как решить задачу классификации, используя вероятности и математические формулы. • Он объясняет, что для решения задачи необходимо определить вероятность появления слова “лотерея“ в нормальных сообщениях и возвести ее в первую степень. 51:50 Обучение классификатора • Преподаватель переходит к шестой главе книги “Обработка естественного языка“ и объясняет процесс обучения классификатора. • Он объясняет, что классификатор сначала проходит через экстрактор, который формирует набор признаков из текста, а затем подает его алгоритму машинного обучения для формирования классификационной модели. • Затем новый текст подается в классификатор для сравнения с меткой, полученной ранее. 01:02:23 Генерация списков и обучение классификатора • В видео обсуждается использование генераторов списков для создания списков из имен и их разбиение на мужские и женские. • Затем создается классификатор с использованием наивного байесовского классификатора из библиотеки ЛТК. 01:11:02 Анализ признаков описания имен • Анализируются признаки описания имен, такие как последняя буква имени и наличие определенных букв в конце имени. • Выявляются наиболее информативные признаки, такие как наличие буквы “а“ в конце имени. 01:14:35 Работа с корпусом отзывов на фильмы • В видео рассматривается работа с корпусом отзывов на фильмы, где каждый отзыв имеет категорию “положительный“ или “отрицательный“. • Создается список всех файлов, содержащих негативные отзывы, и список всех слов из этих файлов. 01:21:51 Обработка естественного языка • Автор обсуждает использование альфа-метода для проверки текста на наличие ошибок. • Он объясняет, что этот метод проверяет, состоит ли текст из букв, а не цифр, так как номера страниц не интересуют его. 01:24:38 Формирование признаков описания текста • Автор объясняет, как формируется признак описания текста, который представляет собой вектор из чисел, где каждый компонент представляет, сколько раз встречается слово в данном тексте. • Он также обсуждает, как этот вектор может быть использован для обучения наивного байесовского классификатора. 01:30:20 Применение формулы • Автор объясняет, как использовать формулу для вычисления вероятности появления определенного слова в тексте. • Он приводит пример задачи, где рассматривается слово “математика“, и объясняет, как можно использовать эту формулу для решения этой задачи. 01:39:08 Заключение • Автор благодарит зрителей за просмотр и желает им успешной сессии и счастливого Нового года. Весь плейлист: