Денис Шелемех — Перевод отчетов международной компании с Oracle на современный Big Data стек

Ближайшая конференция: PiterPy 2023 — 6–7 ноября (Online), 13–14 ноября (Санкт-Петербург, Offline) Подробности: — — Спикер расскажет, как с командой делал Proof of Concept стримингового ELT-пайплайна для крупной международной страховой компании. Использовались следующие основные компоненты. — Сервер Oracle. — Debezium-коннектор для загрузки CDC лога в Kafka. — Kafka. — Spark Structural Streaming. — Delta Lake. — AWS S3 в качестве облачного хранилища.