← Усі проєкти
AI / Data Coursework Lab /

Data engineering final

Olympic Data Pipeline

End-to-end pipeline для Olympic athlete data, що поєднує real-time event processing із reusable batch lane.

Про проєкт

End-to-end pipeline для Olympic athlete data, що поєднує real-time event processing із reusable batch lane.

Докази та результати

  • Поєднав MySQL athlete metadata з Kafka competition events у Spark.
  • Реалізував streaming aggregation і batch processing через reusable Python modules.
  • Публікував processed statistics у Kafka та MySQL; monitor, logs і screenshots слугують operational evidence.