MapReduce并行计算技术发展综述.doc

MapReduce并行计算技术发展综述.docMapReduce并行计算技术发展综述摘要:经过几年的发展,并行编稈模型M叩Reduce产生了若干个改进框架,,包括:以HaLoop为代表的迭代计算框架、以***为代表的实时计算框架、.「「MapReduce[1]是Google公司于2004年提出的能并发处理海量数据的并行编程模型,其特点是简单易学、适用广泛,能够降低并行编程难度,让程序员从繁杂的并行编程T作中解脱岀来,轻松地编写简单、,MapReduce并行编程模型的最大优势在于能够屏蔽底层实现细节,有效降低并行编稈难度,:「使用廉价的商用机器组成集群,费用校低,同时乂能具有较高的性能;「松耦合和无共亭结构使Z具有良好的可扩展性;「用户可根据需要白定义Map、Reduce和Partition等函数;「提供了一个运行时支持库,、负载均衡、容错和一致性管理等;「M叩Reduce适用范围广泛,不仅适川于搜索领域,也适用于满足MapReduce要求的其它领域计算任务2「MapReduce总体研究状况「「最近几年,:在编稈模型改进方面:,典型研究成果有Barrier-lessMapReduce[6]>MapReduceMerge[7]>Oivos[8]>works[9],研究片面,并且都没有得到广泛应用,部分模型也不成熟在模型针对不同平台的实现方面:典型研究成果包括:Hadoop[10].Phoenix[ll,12]>Mars13].CeIlMapRe-duce[14]>Misco[15]和Ussop[16]部分平台(例如:GPUs和Cell/.)由于底层硬件比较复杂,造成编程难度较大,增加了用户编稈的负担.\(3)在运行时支持库(包括:任务调度、负载均衡和容错)方面:常用的任务调度策略是任务窃取,:延迟调度策略[17]、LATE调度策略[1引和基于性能驱动的任务调度策略[⑼等•在容错方面的典型研究成果是reduce对纽20].目前,:目前,文献[21]主要研究在全虚拟环境下MapReduce性能分析,文献[22]:几何规划[23]、动态优先级管理[24]和硬件加速器[25],结合运行时支持库,将是MapReduce研究的热点Z—.在安全性和节能方面:安全性方面典型研究成果是SecureMR模型[26],文献[27]和文献[28],但是这方面研究的重要性己经得到了越来越多的