[1]邵琦琦,钱亚冠,王佳敏,等.基于卷积神经网络隐空间的虚拟对抗学习[J].浙江科技学院学报,2022,(05):426-434.
SHAO Qiqi,QIAN Yaguan,WANG Jiamin,et al.Virtual adversarial learning based on latent space ofconvolutional neural network[J].,2022,(05):426-434.
点击复制
基于卷积神经网络隐空间的虚拟对抗学习(/HTML)
《浙江科技学院学报》[ISSN:2097-5236/CN:33-1431/Z]
- 卷:
-
- 期数:
-
2022年05期
- 页码:
-
426-434
- 栏目:
-
- 出版日期:
-
2022-10-31
文章信息/Info
- Title:
-
Virtual adversarial learning based on latent space ofconvolutional neural network
- 文章编号:
-
1671-8798(2022)05-0426-09
- 作者:
-
邵琦琦; 钱亚冠; 王佳敏; 李思敏; 梁小玉
-
浙江科技学院 理学院,杭州 310023
- Author(s):
-
SHAO Qiqi; QIAN Yaguan; WANG Jiamin; LI Simin; LIANG Xiaoyu
-
School of Sciences, Zhejiang University of Science and Technology, Hangzhou 310023, Zhejiang, China
-
- 关键词:
-
训练效率; 对抗训练; 虚拟对抗学习; 虚拟对抗样本
- 分类号:
-
TP389.1
- 文献标志码:
-
A
- 摘要:
-
?对抗训练存在计算效率低的缺点,对此提出一种虚拟对抗学习的方法。在CIFAR-10和ImageNet(30)数据集上验证本方法,首先,建立阈值机制来挑选对抗源样本;然后,在对抗源样本的logits上添加扰动生成虚拟对抗样本,而非对抗源样本保持不变;最后,计算虚拟对抗样本和非对抗源样本的损失,〖JP2〗通过反向传播更新网络权重。试验结果表明,与传统的对抗训练相比,本文方法在干净样本的测试精度上提升了大约7~14百分点,在扰动样本的测试精度上不亚于投影梯度下降(projected gradient descent,PGD)对抗训练的效果,尤其是在ImageNet(30)数据集上提升了4.62百分点。在训练效率上,与最慢的PGD对抗训练相比,本文方法的训练时间缩短了2/3左右。这些结果均证明了虚拟对抗学习既能提升对干净样本的预测精度,又能提高模型的鲁棒性;同时加快对抗训练过程,为对抗训练在工业环境的运用提供有效方法。
备注/Memo
- 备注/Memo:
-
?浙江省自然科学基金项目(LY17F020011)
更新日期/Last Update: