刘月超
- 作品数：2 被引量：32H指数：2
- 供职机构：新疆大学信息科学与工程学院更多>>
- 发文基金：国家自然科学基金新疆维吾尔自治区自然科学基金新疆维吾尔自治区高校科研计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 大数据流式计算框架Storm的任务迁移策略被引量：25
- 2018年
- Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小.
- 鲁亮于炯卞琛刘月超廖彬李慧娟
- 关键词：大数据STORM通信开销
- Storm环境下一种改进的任务调度策略被引量：8
- 2017年
- 随着大数据业务的快速增长,针对大规模数据处理的实时计算变成了一种业务上的需求,缺少"实时的Hadoop系统"经成为整个大数据生态系统中的一个巨大缺失,Storm的出现很好地满足了这一需求.然而,Storm默认的round-robin资源调度,既不考虑内部组件的传输延迟时间,也不考虑节点间的传输延迟.因此,本文提出了Storm环境下一种改进的任务调度策略(Improved Storm Task Schedule Strategy,ISTS),该策略旨在提高通过最大限度地提高资源利用率和吞吐量同时最小化网络延迟.实验结果表明,使用ISTS进行任务调度时,可以同时满足软、硬资源限制以及最小化组件之间的网络传输距离.
- 刘月超于炯鲁亮
- 关键词：大数据STORM数据处理调度
