GoJekのデータインフラストラクチャ

GoJekのデータインフラ。

読みどころ

  • KafkaベースでStreamでデータ落ちがない仕掛けを作っている
  • データのいくさきが、利用(consumption)、リアルタイム分析(aggregation、visualization)、生データ保管(bedrock)で別れ
  • それぞれにあったOSSで組み立てている
  • なんとなくAWSのコネクテッドビークル向けテンプレ構造と似通っている

https://miro.medium.com/max/2000/1*mhUtyhFH-AjJ8TNA986zUQ.png

https://blog.gojekengineering.com/data-infrastructure-at-go-jek-cd4dc8cbd929