为解决Hadoop现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题,研究YARN中的资源调度机制,改进原调度器(Capacity Scheduler),提出一种基于优先级权重的Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority)。为叶子队列设置队列优先级,结合队列资源利用率和队列优先级选择队列;将应用程序的初始权重设置为应用程序优先级的大小,通过等待时间判断是否更新权重,根据权重对队列中的应用程序进行排序,调度时优先为权重高的应用程序分配资源。实验结果表明,与原有调度算法相比,改进算法平均任务执行时间约减少141 s,平均等待时间减少34.5%,保证了用户执行任务的相对公平,提高了用户总体满意度。
