中央高校基金(ID-ZYGX2013J073)
- 作品数：1 被引量：0H指数：0
- 相关作者：田文洪赵勇陈瑜薛瑞尼更多>>
- 相关机构：电子科技大学更多>>
- 发文基金：国家自然科学基金中央高校基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 最小化多MapReduce任务总完工时间的分析模型及其应用
- 2014年
- 随着大规模的MapReduce集群广泛地用于大数据处理,特别是当有多个任务需要使用同一个Hadoop集群时,一个关键问题是如何最大限度地减少集群的工作时间,提高MapReduce作业的服务效率。可将多个MapReduce作业当做一个调度任务建模,观察发现多个任务的总完工时间和任务的执行顺序有密切关系。研究目标是设计作业调度系统分析模型,最小化一批MapReduce作业的总完工时间。提出一个更好的调度策略和实现方法,使整个调度系统符合经典Johnson算法的条件,从而可使用经典Johnson算法在线性时间内获取总完工时间的最优解。同时,针对需要使用两个或多个资源池进行平衡的问题,提出了一种线性时间解决方案,优于已知的近似模拟方案。该理论模型可应用于提高系统响应速度、节能和负载均衡等方面,对应的应用实例提供了证实。
- 田文洪陈瑜王心阳薛瑞尼赵勇
- 关键词：HADOOPMAPREDUCE调度优化
