🌱 Big Data Ingestion Pipeline

🌿 Requirements §

• Serverless
• Muốn thu thập dữ liệu real-time
• Muốn chuyển đổi dữ liệu
• Muốn truy vấn dữ liệu đã qua chuyển đổi bằng SQL
• Các báo cáo được tạo ra từ truy vấn cho S3.
• Muốn load dữ liệu vào một warehouse và tạo dashboard.

🌿 Architecture §

• Serverless
  • Kinesis Data Streams: real-time
  • Kinesis Data Firehose: giúp delivery dữ liệu gần real-time(1 phút)
  • S3: lưu trữ
  • Lambda: chuyển đổi dữ liệu
  • Athena: truy vấn dữ liệu đã qua chuyển đổi
  • Redshift -> QuickSight: tạo báo cáo, load vào warehouse và tạo dashborad.