[1]谭平,徐金美,蒋天煜,等.基于作业类型和优先级权重的容量调度算法[J].浙江科技学院学报,2022,(05):444-451.
 TAN Ping,XU Jinmei,JIANG Tianyu,et al.Capacity scheduling algorithm based on job type and priority weight[J].,2022,(05):444-451.
点击复制

基于作业类型和优先级权重的容量调度算法(/HTML)
分享到:

《浙江科技学院学报》[ISSN:1001-3733/CN:61-1062/R]

卷:
期数:
2022年05期
页码:
444-451
栏目:
出版日期:
2022-10-31

文章信息/Info

Title:
Capacity scheduling algorithm based on job type and priority weight
文章编号:
1671-8798(2022)05-0444-08
作者:
谭平徐金美蒋天煜Tambominyi Eliasu丁进
浙江科技学院 自动化与电气工程学院,杭州 310023
Author(s):
TAN Ping XU Jinmei JIANG Tianyu Tambominyi Eliasu DING Jin
School of Automation and Electrical Engineering, Zhejiang University ofScience and Technology, Hangzhou 310023, Zhejiang, China
关键词:
Hadoop容量调度器作业负载分类节点实时负载优先级权重
分类号:
TP393.0
文献标志码:
A
摘要:
针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。

备注/Memo

备注/Memo:
国家自然科学基金项目(51677171);国家重点研发计划项目(2018YFB0606000,2018YFB1702200)
更新日期/Last Update: