Автоматизация МО - - практика + конспект от YandexGPT
Автоматизация МО - - практика конспект от YandexGPT
00:57 Обзор инструментов для автоматизации
• В видео обсуждается использование различных инструментов для автоматизации работы с большими данными и дата продуктами.
• Рассматриваются такие инструменты, как Airflow, DVC, Git, GitHub, Team City и другие.
05:16 Архитектура Airflow
• В видео подробно рассматривается архитектура Airflow, которая состоит из потоков расчетов, операторов, сенсоров, тасков и переменных.
• Обсуждаются различные компоненты, необходимые для работы с Airflow, включая веб-сервер, базу данных, шедулер и плагины.
14:29 Распределенная архитектура Airflow
• В видео также рассматривается распределенная архитектура Airflow, которая включает в себя три машины: с триггерами, с шедулером и с веб-сервером.
• Обсуждаются различные роли пользователей и системы, которые могут быть использованы в распределенной архитектуре.
15:56 Запуск и настройка Docker Compose
• В видео объясняется, как запустить и настроить Docker Compose для работы с Airflow.
• Демонстрируется, как создать Docker Compose файл, который включает в себя несколько сервисов, включая базу данных, веб-сервер и другие.
22:09 Создание и запуск Дага
• В видео показано, как создать и запустить Даг в Docker Compose.
• Демонстрируется, как использовать Docker Compose для создания и запуска Дага, который включает в себя несколько операторов, включая Bash, DAG и другие.
27:05 Тестирование и мониторинг Дага
• В видео демонстрируется, как проверить работу Дага, используя Docker Compose.
• Показано, как использовать Docker Compose для мониторинга работы Дага, включая просмотр графиков, аудит и другие функции.
33:26 Тестирование Docker Compose
• Автор демонстрирует выполнение команды в Docker Compose, которая выводит логи и ссылки на файлы.
• Затем он запускает команду еще раз, но уже без паузы, и отмечает, что она выполняется быстрее.
35:31 Настройка Docker Compose
• Автор показывает, как можно изменить имя файла скрипта и как настроить доступ для операторов.
• Он также демонстрирует, как можно использовать Docker Compose для изучения примеров использования Airflow.
44:00 Docker Compose и Airflow
• Автор объясняет, что Docker Compose может быть использован для автоматизации процессов и разработки платформенных решений, но для более сложных проектов потребуется Kubernetes.
• Он также упоминает, что Docker Compose - это игрушка для локального тестирования и настройки, а для продуктовых решений используется Kubernetes.
49:52 Домашнее задание
• Автор предлагает посмотреть на домашнюю работу по Airflow, но отмечает, что в прошлом году не давал домашних заданий по этой теме.
• Он предлагает закончить занятие и предлагает задавать вопросы, если они есть.
18 views
1003
247
4 weeks ago 00:06:21 1
СКОЛЬКО ПРИХОДИТ НОВИЧКОВ В КОМАНДУ
4 weeks ago 00:01:18 1
⚠ КАКИЕ СПОСОБЫ ЗАРАБОТКА ЕСТЬ В ИНТЕРНЕТЕ ⚠ МОМЕНТАЛЬНЫЙ ЗАРАБОТОК С ВЫВОДОМ ДЕНЕГ ⭐
4 weeks ago 00:01:18 1
🔥 КАК НАДО ЗАРАБАТЫВАТЬ В ИНТЕРНЕТЕ НОВОСТИ ИГРЫ ❕ РАБОТА НА ДОМУ ТУЛА БЕЗ ВЛОЖЕНИЙ
4 weeks ago 00:01:18 1
1500 заработок 💣 Интернет доход россия 🔴
4 weeks ago 00:01:18 3
🚀 Яндекс толока сколько можно заработать за день 🔥 Как на халяву получить деньги на карту 🔴
4 weeks ago 00:01:05 1
Технологии будущего: Битрикс24 как ваш бизнес-партнер!
4 weeks ago 00:01:18 1
Заработать через телефон 🔥 Заработок самому на компьютере
4 weeks ago 00:01:18 1
💯 Открыть бизнес в интернете идеи ⚪ Как зарабатывать удаленно по интернету 🚫
4 weeks ago 00:01:18 1
💶 ЗАРАБОТОК НА УСТАНОВКЕ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ НА ANDROID 🔔
4 weeks ago 00:01:18 2
💷 Зарабатывать через программу
4 weeks ago 00:01:18 1
Android лотерея заработок в интернете без вложений
4 weeks ago 00:01:18 1
Удаленная работа в ставрополе свежие вакансии
4 weeks ago 00:01:02 6.2K
История нашего питомника
1 month ago 00:51:47 1
VK для бизнеса, фрилансеров, экспертов: разбор инструментов и возможностей. Стоит ли это того?
1 month ago 00:01:18 4
💱 ХОББИ ДЛЯ МУЖЧИН ПРИНОСЯЩЕЕ ДОХОД 🔴 ЗАРАБОТАТЬ 100 ДОЛЛАРОВ БЕЗ ВЛОЖЕНИЙ ☑
1 month ago 00:01:18 3
Как зарабатывать в интернете 11 лет ❕ Платформы для заработка денег без вложений
1 month ago 00:01:18 5
💵 Заработок на буксах отзывы ✔ Как начать зарабатывать онлайн без вложений 🚫
1 month ago 00:01:18 1
💸 Сайт где зарабатывают на текстах 👀
1 month ago 00:01:18 1
🎁 Как заработать на 1 сентября ⚡ Надомная работа в крыму ⛔
1 month ago 03:30:42 3
[man smart-home] Рассказываю про умный дом, помогаю подписчикам и отвечаю на ваши вопросы
1 month ago 00:15:50 59
Профи (НЕ) работают в CAPCUT, и вот почему
1 month ago 00:36:01 41
Вот почему CAPCUT тупо ЛУЧШЕ других программ (на примере DAVINCI RESOLVE)
1 month ago 00:27:17 14
По душам о Тестировании | Поиск работы. Опыт. Тренды
1 month ago 00:01:18 1
🎯 САЙТЫ НА КОТОРЫХ МОЖНО ЗАРАБОТАТЬ С 12 ЛЕТ 🔵 РАБОТА В ИНТЕРНЕТЕ ПЕРМЬ ⚫