Data Pipeline

  • AWS Lambda (C# & Python)
  • AWS Kinesis
  • AWS Glue & Athena
  • AWS EMR (Scala & PySpark)
  • AVRO