道路裂纹是沥青路面的主要病害之一,高效准确地提取道路裂纹并进行路面损坏评估,对路面养护具有重要意义。沥青路面常见的典型裂纹有横向裂纹、纵向裂纹、块状裂纹和龟裂,它们形成的诱因不同,对路面的影响程度也不一致[1]。横向裂纹与车道线垂直,周围可能含有细小裂纹,主要诱因是温度变化或下层裂纹的反射裂纹; 纵向裂纹与车道线平行,出现在车辙轮迹边缘,主要诱因是疲劳损坏、路基不均匀沉降或冻胀; 块状裂纹表现为横向裂纹和纵向裂纹交错使路面分裂形成多边形大块,主要是由路面材料遇冷收缩、沥青老化引起,对路面承载能力影响不大; 龟裂是因路面疲劳破坏、路面材质较差等原因形成的形似龟壳的裂纹,龟裂会影响路面承载能力,是主要结构性病害之一。为了准确地检测路面裂纹,国内外研究者进行了深入的探讨。在传统图像处理方法中,裂纹的检测通常采用阈值方法。Fujita等[2]借助两步预处理依次对图像进行降噪和线性结构增强,然后利用阈值处理分离道路裂纹和背景。Li等[3]提出了一种改进的Otsu算法(又名大津法)去除机场跑道的路面标记,并使用自适应阈值分割算法分割背景和裂纹。传统方法通过设置不同的阈值,在理想环境中可以快速检测图像裂纹,但是在实际应用中,这些方法依赖阈值选择,缺乏对全局信息的描述,易受到局部的光线和噪声的干扰。
随着技术的发展,机器学习方法在裂纹检测的领域得到了广泛的应用[4]。Zhang等[5]将深度卷积神经网络用于路面裂纹自动检测,提高了裂纹检测精度。Shi等[6]提出了基于随机结构森林方法检测路面裂纹的CrackForest算法,能够有效抑制噪声影响,提升检测精度和运算速度。Zhang等[7-8]提出了一种基于深度学习的CrackNet-V网络,实现了三维沥青路面的像素级裂纹检测。Liu等[9]提出了一种扩展全卷积网络和深度建组网络组成的DeepCrack网络,能够以端到端的方式进行像素级裂纹分割。Xie等[10]提出的整体嵌套边缘检测(holistically-nested edge detection,HED)方法,利用全卷积网络和深度监督学习提取边缘特征,改进了物体边缘的检测性能。Lin等[11]提出在目标检测任务中利用特征金字塔方法(feature pyramid network,FPN)进行特征优化,可以较好地应对检测目标尺度变化的情况。Ren等[12]提出了一种利用膨胀卷积、空间金字塔池等模块构成的CrackSegNet网络,能够有效地检测隧道墙壁裂纹。
路面损坏评估的基本流程是首先检测路面裂纹情况,然后测得裂纹影响面积,最后计算得到路面损坏状况指数(pavement surface condition index,PCI)。现有的路面损坏评估方法有2种:人工调查法通过调查裂纹长度和面积再判定裂纹类别和损坏程度; 自动化检测法则直接按网格分块检测裂纹类别,无法判定损坏程度。综观目前主流的裂纹检测和路面损坏评估方法,存在以下问题:一是裂纹检测方法裂纹分辨力较低,检测精度不足,存在细小裂纹漏检、阴影区域误检的问题; 二是现有自动化路面损坏评估方法不能准确定位裂纹分布,无法判断损坏程度,评估准确度不高。因此,我们提出了一种自动化的沥青路面视觉评估方法:利用基于改进特征金字塔的ResNet网络对沥青路面进行检测,以提高裂纹检测精度,获取像素级裂纹分布情况; 改进了裂纹骨架提取方法,减少骨架毛刺和边界异常,以利于准确计算裂纹特征并分类; 改进了路面损坏状况的评估方法,依据人工标准判定裂纹损坏程度,加权计算PCI指数,以提升路面自动化评估的准确度。
1 裂纹检测与路面评估本文算法流程如图1所示,首先,对路面图像进行像素级裂纹检测; 然后,从裂纹检测结果中提取裂纹骨架,接着计算裂纹特征并对裂纹分类; 最后,判定各类裂纹的损坏程度并计算PCI指数,评估路面损坏状况。
1.1 像素级裂纹检测
图2为典型裂纹图像和标签,通过观察发现典型裂纹图像具有以下特点:1)裂纹图像通常含有阴影和噪声,会对检测造成干扰; 2)部分细小裂纹不明显,容易被漏检或误检; 3)图像中裂纹部分的像素数量少于背景,存在样本比例不均的情况。
为了准确地获取用于损坏评估的路面特征,需要对路面裂纹进行像素级检测,即输入道路图像,对路面裂纹和背景进行图像分割,输出像素级裂纹检测结果。本研究提出了基于改进特征金字塔的ResNet网络,包括多尺度特征提取、特征金字塔优化两部分,如图3所示。
多尺度特征提取环节以残差网络ResNet50为主干特征提取网络,获取不同尺度的特征响应。将网络的输入尺寸增大至512×512像素,以提高对裂纹的分辨能力和检测精度,并将第1层调整为感受野较小的3×3卷积核和较短的步长,以利于在检测网络的浅层保留更多裂纹细节信息。裂纹检测网络各层响应如图4所示,位于较浅层次的卷积块1和卷积块2响应中,含有较多微弱的局部裂纹细节信息,较深层次的卷积块4和卷积块5则含有更多提炼后的上下文信息。
利用特征金字塔方法对这些多尺度特征进行融合优化,可以挖掘蕴含在各层之间的微弱信息。特征金字塔的特征融合操作[13]如图5所示,使用上采样、连接、降维的方式自上而下对特征进行融合,传递信息直至底层。这一方面利用了具有上下文信息的深层特征对浅层特征进行引导优化; 另一方面也能减少较低层次特征中的噪声对裂纹检测的干扰。对特征金字塔各层进行反卷积,得到的侧向输出中每层都融合前一级多尺度裂纹特征且包含更多上下文信息,这有助于提高模型的裂纹检测性能。
针对裂纹图像中裂纹与背景像素比例不平衡的情况,采用焦点损失(focal loss[14])作为损失函数,通过平衡因子调节像素类别的影响,计算损失LΔ; 整体损失Ltotal由融合层和各侧向输出层计算损失LΔ并加权得到。其计算公式分别如下:
式(1)中:y为真实类别; y'为预测类别; α为平衡因子; γ为权重变化速率。式(2)中:Lfuse为融合层的损失LΔ; Lside(i)为侧向输出层i的损失LΔ; βi为各层加权系数。
1.2 裂纹特征提取与分类获取像素级裂纹检测结果后,对其提取裂纹骨架,计算裂纹特征和判定裂纹类别。本研究针对裂纹骨架提取存在毛刺和边界异常的情况,结合图形学处理手段改进了Zhang-Suen骨架提取方法[15](以下简称Zhang-Suen方法)。改进后的裂纹骨架提取流程如图6所示,首先输入像素级裂纹检测结果,对其进行图形学膨胀和边界填充操作,连接断裂位置、减弱裂纹突起,有利于消除裂纹细化后骨架上的毛刺; 接着使用Zhang-Suen方法对其提取裂纹骨架,其中红框内部为正常骨架,边界异常部分生成在红框外部; 最后切片输出不含毛刺与边界异常的裂纹骨架。
裂纹骨架细节对比如图7所示,Zhang-Suen方法受到裂纹不规则边缘和图像边界干扰,存在骨架毛刺(红框)和边界异常(绿框),改进的Zhang-Suen方法能有效消除毛刺和边界异常。
获得裂纹检测结果和骨架后,可以从中提取裂纹面积、长度、方向强度系数、连通域等特征,具体如下:
1)裂纹面积:由二值化裂纹检测结果的像素点数量计算得到,即
式(3)中:A为裂纹面积; p为标定系数; Ca(i,j)为裂纹检测输出第i行第j列像素值; M与N分别为图像宽度与长度。
2)裂纹长度:由裂纹骨架的像素点数量计算得到,即
式(4)中:L为裂纹长度; Cb(i,j)为裂纹骨架第i行第j列像素值。
3)方向强度系数:针对横向裂纹和纵向裂纹的方向性,本研究提出了一种快速特征计算方法,利用方向强度系数来快速区分横向裂纹与纵向裂纹。定义裂纹的方向强度系数为裂纹骨架在横向方向强度与纵向方向强度的比值,其中某方向的强度为该方向最大累计和与投影长度的比值,即
式(5)中:K为方向强度系数; sh与sv分别为裂纹检测结果按横向与纵向计算的累计和; lh与lv分别为裂纹在横向与纵向的投影长度。
4)裂纹连通域:图像统一采集规格,每张图像的裂纹块度越小则连通域数量越多,故由连通域数量对裂纹块度进行表征。
利用提取的裂纹特征,使用随机森林算法对典型裂纹进行分类。这是一种以决策树为基分类器的集成学习模型,可以较好地解决单个决策树模型在复杂裂纹分类上的性能瓶颈。对1 927张裂纹图像进行20轮分类试验,按7:3的比例随机划分为训练集与测试集,其中横向裂纹290张、纵向裂纹745张、块状裂纹776张、龟裂116张。典型裂纹分类结果如图8所示,由图可知这4种典型裂纹的分类准确率均较高。
1.3 路面损坏评估PCI指数是评价路面技术状况的重要指数,值域范围为0~100,路面破损越严重,PCI指数越小[16]。路面损坏评估需要先通过调查来获取裂纹特征,然后测得裂纹影响面积,最后计算PCI指数[17]。
现有的人工调查法与自动化检测法的检测手段不同,评估方法也不一致。人工调查法需手动测量裂纹特征,依据表1判断标准对4种典型裂纹进行损坏程度判定,划分为9种损坏类型,加权计算路面破损率,得出PCI指数。而现有的自动化检测法获取路面图像后,按网格对裂纹进行检测和分类,直接根据表2权重换算系数计算路面破损率,该方法无法判断损坏程度,PCI指数计算的准确性也难以保证。
本研究改进了PCI指数的自动评估方法:利用基于改进特征金字塔的ResNet网络检测路面裂纹后,由裂纹面积和长度计算得到裂纹宽度特征,结合连通域特征按照人工调查的标准对路面损坏程度进行判定; 根据裂纹特征和损坏程度加权计算路面破损率,得出PCI指数,对路面状况进行精确评估。路面损坏状况指数和路面破损率计算公式分别如下:
式(6)中:a0与a1分别为路面类型系数。式(7)中:Ai为第i类路面损坏的裂纹影响面积; A0为检测路面总面积; wi为第i类路面损坏的权重; n为损坏类型数量。
2 试验与评估2.1 数据集与试验环境试验数据为不同的光照条件下拍摄的1 927张沥青路面裂纹图像,利用平移、旋转、剪切等操作进行数据增强后,将图像压缩并裁剪为512×512像素,经半自动裂纹分割标注和典型裂纹标注制作成数据集。采用简单交叉验证方式,按7:3比例将数据集多次随机划分为训练集和测试集,训练并选取性能最佳模型。
试验采用开源框架Keras进行深度模型搭建,试验环境如下:系统为Ubuntu 18.04,处理器为E5-2670v4,内存为128 GB,显卡为RTX3090,24 GB,能够满足本试验模型训练和评估需求。另外,本模型使用单卡训练100轮,批大小为2,优化器采用Adam,学习率为0.000 1。
2.2 裂纹检测试验
表3 不同裂纹检测算法在本文数据集上的检测性能
Table 3 Performance of different crack detection algorithms on this dataset %
将本文方法与HED、CrackSegNet、DeepCrack等现有检测算法做对比,分别在本文数据集上进行模型训练与测试。不同裂纹检测算法在本文数据集上的检测性能见表3,本文方法裂纹检测准确率为95.31%,在整体准确率、裂纹预测精确率和F1值指标上均有所提高。道路裂纹检测结果如图9所示,4种方法均能检出裂纹主体部分。其中,HED方法存在裂纹断裂情况,CrackSegNet方法对复杂裂纹检测效果不佳,DeepCrack方法易受噪声干扰,本文方法能够较好地检出细小裂纹。
2.3 路面评估试验
对获取的裂纹检测结果提取骨架,与图形学腐蚀法、Hilditch算法、Zhang-Suen算法等经典细化方法做对比,试验结果如图 10所示。其中,图形学腐蚀方法在道路裂纹任务中效果不佳,出现裂纹断裂甚至消失的情况,无法提取骨架。Hilditch方法和Zhang-Suen方法均能提取到骨架,但都存在毛刺和边界异常等情况。改进后的两种方法都能较好地提取骨架,且没有毛刺和边界异常。其中改进的Zhang-Suen方法的计算量小于改进的Hilditch方法,骨架提取速度较快。
根据裂纹骨架和特征,分别采用标准的人工调查法、传统的自动化检测法、本文方法3种方式对模拟路段进行评估试验,计算PCI指数。其中,各模拟路段含5张裂纹图像、45张背景图像,接近真实道路的路况。为了衡量自动化检测法和本文方法的评估性能,将人工调查结果作为真值,分别计算两种方法评估结果与真值的相对误差。路面损坏状况指数评估方法对比结果见表4,本文方法平均相对误差1.6%,比现有的自动化检测法降低了9.2%,因而提升了自动化路面评估的准确度。
2.4 结果分析
本研究提出的裂纹检测网络对裂纹检测准确率达95.3%,与经典裂纹提取方法相比,本文方法能更有效地检测复杂裂纹和细小裂纹,且检测结果的输出尺寸更大,满足后续评估环节的精度要求。在路面评估试验中,本文方法计算得到的PCI指数与真值的误差较小,验证了本文方法的有效性。在裂纹特征清晰的模拟路段1、4、8中,本文方法能够准确提取特征并判断损坏程度,PCI指数相对误差小于1%。在裂纹较为复杂的模拟路段7、10中,存在典型裂纹特征不明显以致干扰裂纹分类和计算权重的情况,导致PCI指数的相对误差增大至3%左右。在其余模拟路段中,裂纹的特征提取和分类难度适中,本文方法均取得较好的效果,相对误差小于等于2%。而现有自动化检测法直接按网格面积折算,导致计算的PCI指数整体偏低,平均相对误差为10%左右,评估准确度低于本文方法。
3 结 论通过对沥青路面视觉评估方法的研究,我们得到以下结论:
1)采用基于改进特征金字塔的ResNet网络,利用多尺度特征和上下文信息,有效提高了沥青路面典型裂纹的检测性能,实现了像素级检测与定位。
2)改进的Zhang-Suen方法能够有效提取裂纹骨架,去除骨架毛刺和边界异常,利于后续的裂纹特征计算和典型裂纹分类。基于方向强度系数的裂纹特征快速计算方法,能有效区分横向裂纹、纵向裂纹。
3)改进的路面损坏状况评估方法能够按照人工标准判定各典型裂纹的损坏程度,并加权计算PCI指数,解决了现有自动化检测法评估误差较大的问题,提高了路面自动化评估的准确度。
本研究探讨了基于典型裂纹的路面损坏评估方法,其他非典型低频路面损坏情况诸如波浪拥包、坑槽等对公路技术状况也有影响[18],后续将深入研究。
- [1] 侯相琛,曹丽萍.公路养护与管理[M].2版.北京:人民交通出版社,2017.
- [2] FUJITA Y, MITANI Y, HAMAMOTO Y. A method for crack detection on a concrete structure[C]//18th International Conference on Pattern Recognition(ICPR'06). Hong Kong:IEEE,2006,3:901.
- [3] LI P, WANG C, LI S M, et al. Research on crack detection method of airport runway based on twice-threshold segmentation[C]//2015 Fifth International Conference on Instrumentation and Measurement, Computer, Communication and Control(IMCCC). Qinhuangdao:IEEE,2015:1716.
- [4] CAO W M, LIU Q F, HE Z Q. Review of pavement defect detection methods[J].IEEE Access,2020,8:14531.
- [5] ZHANG L, YANG F, ZHANG Y D, et al. Road crack detection using deep convolutional neural network[C]//2016 IEEE international conference on image processing(ICIP). Phoenix:IEEE,2016:3708.
- [6] SHI Y, CUI L M, QI Z Q, et al. Automatic road crack detection using random structured forests[J].IEEE Transactions on Intelligent Transportation Systems,2016,17(12):3434.
- [7] FEI Y, WANG K C P, ZHANG A, et al. Pixel-level cracking detection on 3D asphalt pavement images through deep-learning-based CrackNet-V[J].IEEE Transactions on Intelligent Transportation Systems,2019,21(1):273.
- [8] ZHANG A, WANG K C P, FEI Y, et al. Automated pixel-level pavement crack detection on 3D asphalt surfaces with a recurrent neural network[J].Computer-Aided Civil and Infrastructure Engineering,2019,34(3):213.
- [9] LIU Y H, YAO J, LU X H, et al. DeepCrack:A deep hierarchical feature learning architecture for crack segmentation[J].Neurocomputing,2019,338:139.
- [10] XIE S N, TU Z W. Holistically-nested edge detection[C]//Proceedings of the IEEE international conference on computer vision(ICCV). Santiago:IEEE,2015:1395.
- [11] LIN T Y, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Honolulu:IEEE,2017:936.
- [12] REN Y P, HUANG J S, HONG Z Y, et al. Image-based concrete crack detection in tunnels using deep fully convolutional networks[J].Construction and Building Materials,2020,234:117367.
- [13] YANG F, ZHANG L, YU S J, et al. Feature pyramid and hierarchical boosting network for pavement crack detection[J].IEEE Transactions on Intelligent Transportation Systems,2019,21(4):1525.
- [14] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV). Venice:IEEE,2017:2980.
- [15] ZHANG T Y, SUEN C Y. A fast parallel algorithm for thinning digital patterns[J].Communications of the ACM,1984,27(3):236.
- [16] 王芳,王选仓.高等级沥青路面使用性能评价指标与标准研究[J].路基工程,2009(5):32.
- [17] 交通运输部公路科学研究院.公路技术状况评定标准:JTG 5210—2018[S].北京:人民交通出版社,2019.
- [18] 曹江华,侯北平,GWATIDZO W K T,等.基于局部纹理方向的非结构化道路消失点检测[J].浙江科技学院学报,2021,33(1):46.