[1]张锡敏,钱亚冠,马丹峰,等.基于知识蒸馏的差异性深度集成学习[J].浙江科技学院学报,2021,(03):220-226.
　ZHANG Ximin,QIAN Yaguan,MA Danfeng,et al.Differential deep ensemble learning based on knowledge distillation[J].,2021,(03):220-226.
点击复制

基于知识蒸馏的差异性深度集成学习(/HTML)
分享到：

《浙江科技学院学报》[ISSN:2097-5236/CN:33-1431/Z]

卷:
期数:
2021年03期
页码:
220-226
栏目:
出版日期:
2021-06-30

文章信息/Info

Title:
Differential deep ensemble learning based on knowledge distillation
文章编号:
1671-8798(2021)03-0220-07
作者:
张锡敏; 钱亚冠; 马丹峰; 郭艳凯; 康明
浙江科技学院 理学院,杭州 310023
Author(s):
ZHANG Ximin;  QIAN Yaguan;  MA Danfeng;  GUO Yankai;  KANG Ming
School of Sciences, Zhejiang University of Science and Technology, Hangzhou 310023, Zhejiang, China
关键词:
知识蒸馏; 差异性集成; 深度神经网络
分类号:
TP183
文献标志码:
A
摘要:

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。

 

 



 

 

相似文献/References:

[1]孙安临,钱亚冠,顾钊铨,等.自动驾驶场景下对交通路标对抗攻击的防御[J].浙江科技学院学报,2022,(01):52.
　SUN Anlin,QIAN Yaguan,GU Zhaoquan,et al.Defense against adversarial attack of traffic signs under autonomous driving[J].,2022,(03):52.

更新日期/Last Update: