Андрей Серебрянский: Big Data Streaming

Андрей - Platform Owner в Райффайзен банк. Он занимается разработкой платформы обработки данных в реальном времени. Это очень технически сложное и интересное направление в IT. Подобные платформы позволяют делать приложения быстрыми для пользователей и безопасным с точки зрения компаний. Мы обсудили как работает стриминг данных, какие у него преимущества, затронули тему обучения и поиска работы в подобных сервисах. Андрей рассказал о выступлении на конференциях в Лондоне и Москве. Получилось технически нагружено и интересно! Андрей в LinkedIn / andrey-serebryanskiy Упомянутые в видео ресурсы можно найти под таймкодами. 00:00:00 Начало 00:00:12 Заставка 00:00:15 Приветствие 00:00:47 Об Андрее в Твит (почти) 00:00:55 Представление Гостя 00:02:03 Поясни за шмот 00:03:29 Как Андрей вошел в сферу IT 00:03:56 Первая работа и приложение 00:04:30 Вторая компания 00:04:57 Третья компания, Райффайзен Банк 00:05:24 Чем занимается отдел стриминга данных 00:07:24 Как учился Андрей 00:09:32 Как без опыта Андрей получал приглашение на работу 00:10:48 Чем Андрей занимался до IT 00:11:24 Сложно ли гуманитариям в IT 00:13:56 Почему обработка данных в моменте это сложно 00:15:59 Захват изменений: Change data capture 00:16:59 Message Broker в стриминге данных 00:18:31 Write ahead log 00:22:29 Что происходит при большой нагрузке на базу данных 00:23:57 Важно делать бэкапы! 00:24:44 Популярность стриминга данных в России и мире 00:26:02 Kafka Summit В Лондоне 00:27:41 Доклад Андрея 00:28:00 00:29:17 Подготовка доклада и выступление 00:34:20 Event Streaming для не крупных компаний 00:36:07 Как зародился Стриминг Данных 00:38:59 batch processing VS event streaming 00:49:34 Выявление паттернов 00:51:46 Глубина обработки данных 00:52:58 Масштабируемость стриминг платформ 00:54:38 Есть ли сейчас проблемы с железом 00:55:58 Кто самый крутой в индустрии? 00:56:24 ChatGPT event streaming 00:58:09 Типичные сложности новичков 01:00:25 Недостаток кадров 01:00:42 Рекомендация книги 01:09:20 Работа в команде разработки платформы 01:10:55 Что происходит в случае падения Книга о высоконагруженных приложениях Designing Data-Intensive Applications - Martin Kleppmann: 1) 2) Data-Intensive Applications - Martin Курсы по JAVA от treehouse Тут Андрей изучал устройство оперативных систем: Блог Confluent Записи докладов с Kafka саммит в Лондоне: Конференция JPoint в Москве Статья Confluent про использование ChatGPT с Event-streaming #войтивайти #подкаст #datastreaming #bigdata #кафка #Kafka #apachekafka #kafkatopic