[1]谭平,徐金美,蒋天煜,等.基于作业类型和优先级权重的容量调度算法[J].浙江科技学院学报,2022,(05):444-451.
TAN Ping,XU Jinmei,JIANG Tianyu,et al.Capacity scheduling algorithm based on job type and priority weight[J].,2022,(05):444-451.
点击复制
基于作业类型和优先级权重的容量调度算法(/HTML)
《浙江科技学院学报》[ISSN:1001-3733/CN:61-1062/R]
- 卷:
-
- 期数:
-
2022年05期
- 页码:
-
444-451
- 栏目:
-
- 出版日期:
-
2022-10-31
文章信息/Info
- Title:
-
Capacity scheduling algorithm based on job type and priority weight
- 文章编号:
-
1671-8798(2022)05-0444-08
- 作者:
-
谭平; 徐金美; 蒋天煜; Tambominyi Eliasu; 丁进
-
浙江科技学院 自动化与电气工程学院,杭州 310023
- Author(s):
-
TAN Ping; XU Jinmei; JIANG Tianyu; Tambominyi Eliasu; DING Jin
-
School of Automation and Electrical Engineering, Zhejiang University ofScience and Technology, Hangzhou 310023, Zhejiang, China
-
- 关键词:
-
Hadoop; 容量调度器; 作业负载分类; 节点实时负载; 优先级权重
- 分类号:
-
TP393.0
- 文献标志码:
-
A
- 摘要:
-
针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。
备注/Memo
- 备注/Memo:
-
国家自然科学基金项目(51677171);国家重点研发计划项目(2018YFB0606000,2018YFB1702200)
更新日期/Last Update: