データパイプラインはさまざまなデータソースを統合し、変換して正規化し、そして有用なやり方で顧客に公開する。あらゆる形状やサイズのデータがやってきた時、信頼性を維持し、パイプラインの顧客の信用を築くにはどうすればよいのだろうか？ Twilioでは、パイプラインに入ってくるすべてのリソースにスキーマを強制し、データの整合性を定義された顧客のスキーマに従って保証します。このトークでは、データプラットフォームチームが Kafka や Spark といった Scala 技術を使ってスケーラブルなパイプラインを構築した方法と、スキーマを守る利点を概説します。
票中 票投票済み