Data engineering final
Olympic Data Pipeline
End-to-end pipeline для Olympic athlete data, що поєднує real-time event processing із reusable batch lane.
Про проєкт
End-to-end pipeline для Olympic athlete data, що поєднує real-time event processing із reusable batch lane.
Докази та результати
- Поєднав MySQL athlete metadata з Kafka competition events у Spark.
- Реалізував streaming aggregation і batch processing через reusable Python modules.
- Публікував processed statistics у Kafka та MySQL; monitor, logs і screenshots слугують operational evidence.
