MapReduce: Simplified Data Processing on Large Clusters
We maintain a portfolio of research projects, providing individuals and teams the freedom to emphasize specific types of work.
大量のイベントデータをバッチ処理する
システムデザインで大量のイベントデータをバッチ処理するユースケースとしては、リアルタイム性が要求されないデータを集計することが多いです。イベントデータとしてはユーザーの行動ログ、システムメトリクス、IoTデバイスからのセンサーデータなどがあげられます。この章では、大量のデータを分散バッチ処理する技術や、どのように扱うかについて離していきます。
MapReduceとApache Hadoop
MapReduceは、2004年にGoogleから発表されたデータ処理の代表的なモデルです。彼らの論文「
MapReduce: Simplified Data Processing on Large Clusters
全て読むには購入が必要です