MapReduce: алгоритм обработки больших данных // Демо-занятие курса «DataOps Engineer»
Подробно разберем универсальный алгоритм, с помощью которого обрабатываются большие данные на распределённых системах без общего хранилища (Hadoop, Spark). Поговорим об «узких местах» и потенциальных операционных проблемах. Посмотрим, как это выглядит на практике в Яндекс.Облаке
«DataOps Engineer» -
Преподаватель: Александра Чащина - с 2018 года специализируется на больших данных , работает со стриминговой обработкой (Kafka), а также внедряет практики DataOps (Gitlab CI/CD, Kubernetes, Liquibase, Airflow)
Подключайтесь к обсуждению в чате -
Пройдите опрос по итогам мероприятия -
Следите за новостями проекта:
- Telegram:
- ВКонтакте:
- LinkedIn:
- Хабр:
20 views
74
14
2 months ago 00:46:56 1
Как мы считали трафик на Вертике / Николай Голов (Avito)
2 months ago 00:11:03 1
41 - You Should Be Using Spark, Not MapReduce | Systems Design Interview 0 to 1 With Ex-Google SWE
2 months ago 00:09:19 1
39 - WTF is MapReduce?? [Batch Processing] | Systems Design Interview 0 to 1 with Ex-Google SWE
5 months ago 01:32:28 20
MapReduce: алгоритм обработки больших данных // Демо-занятие курса «DataOps Engineer»
1 year ago 00:10:52 8.4K
Дженерики в Golang
2 years ago 02:55:53 31
П.В. Голубцов - От последовательной к распределенной параллельной обработке данных
5 years ago 00:15:48 81.8K
Интервью с Максимом Бабенко — преподавателем ШАД Яндекса и руководителем YT
6 years ago 01:45:53 3
Hadoop. MapReduce (графы)
6 years ago 01:39:57 2
Hadoop. MapReduce (алгоритмы)
8 years ago 00:57:12 26
Alexey Zinoviev - Hadoop Jungle: The world of wild algorithms and poisonous (Ru)
8 years ago 00:55:09 19
Алексей Зиновьев — Джунгли Hadoop: мир диких алгоритмов и ядовитых JVM