查询结果:   袁开银.基于MapReduce工作流优化器的研究[J].计算机应用与软件,2015,32(10):54 - 58,85.
中文标题
基于MapReduce工作流优化器的研究
发表栏目
软件技术与研究
摘要点击数
853
英文标题
RESEARCH ON WORKFLOW OPTIMISERS BASED ON MAPREDUCE
作 者
袁开银 Yuan Kaiyin
作者单位
河南财经政法大学现代教育技术中心 河南 郑州 450000     
英文单位
Modern Educational Technology Center,Henan University of Economics and Law, Zhengzhou 450000,Henan,China     
关键词
MapReduce工作流 优化 数据流依赖 资源依赖 工作流优化器
Keywords
MapReduce workloads Optimisation Dataflow dependency Resource dependency Workflow optimiser
基金项目
作者资料
袁开银,讲师,主研领域:软件工程,形式化方法。 。
文章摘要
对MapReduce工作流的优化主要是通过对MapReduce栈的优化实现的。针对MapReduce工作流的优化问题,首先,提出相关概念;其次,介绍MapReduce工作流基于成本的优化过程;然后,通过实例阐述MapReduce工作流中的数据流依赖和资源依赖关系。基于此,提出3种MapReduce工作流优化器,并对其进行端对端的评估。最后,通过实验评估工作流优化器的优化开销并对比分析了这3种工作流优化器。
Abstract
The optimisation on MapReduce workflow is mainly achieved by optimising the MapReduce stack. For the problem of MapReduce workload optimisation, first we present the related concept; secondly, we introduce the cost-based optimisation process of MapReduce workflow; then we expound through examples the relation of dataflow dependency and resource dependency in MapReduce workflow. Based on this, we present three MapReduce workflow optimisers and carry out end-to-end evaluation on them. Finally, we evaluate the optimisation overheads of workflow optimisers through experiment and comparatively analyse all three of them.
下载PDF全文