在2014年的Google I/O大会上，Google宣布放弃使用MapReduce，并专注支持新的超大规模云分析系统——Cloud Dataflow。Cloud Dataflow是一种用于构建移动应用、调试、追踪和监控产品级云应用的方法。它利用了Google内部的Flume和MillWhell技术，其中Flume负责高效并发处理数据，而MillWhell则提供具备良好容错机制的流处理能力。通过Cloud Dataflow，用户可以轻松构建、管理和优化复杂数据流水线。

以下是架构图的示意图：

 

 

关注以下公众号“程序员的足迹”，免费下载高质量相关资料

大量的大数据学习资料，可以访问 ：

http://www.diyigaodu.com/bigdata