受电弓是电气化铁路牵引供电系统中的关键部件,铁路列车通过其与接触网滑动接触来获取运行时所需的电能^[1]。受电弓长期处于户外环境,在天气、物体碰撞或材质等因素影响下,易出现因弓角和滑板形变而引起的结构异常状况,导致列车失去电力供应,严重影响列车的安全运行,因此需要及时对受电弓进行检测^[2-3]。目前检测受电弓的方式主要有人工检测和图像检测,人工检测的精度依赖于人员的主观判断和工作经验,检测效率较低; 图像检测通过视觉传感器获取受电弓图像,并采用基于图像处理技术的检测方法来实现受电弓的监测,具有检测效率高和对弓网干扰小等优点而逐渐成为受电弓检测的发展趋势^[4-6]。目前,基于图像处理技术的受电弓检测取得了一定的成果。朱燕玉^[7]提出一种基于面积作用的亚像素边缘定位算法,能自动识别受电弓滑板上下边缘,可用于受电弓状态监测。Lu等^[8]提出一种亚像素边缘检测算法,结合三维重建技术检测滑板,可测量滑板的磨损。厉高等^[9]提出一种基于结构光的受电弓和弓角检测方法,能准确检测受电弓故障。随着深度学习的发展,基于深度学习的图像处理技术开始应用于受电弓检测。冯勇等^[10]利用改进的YOLOv2(you only look once,你只需看一次)算法训练得到异常模型,对受电弓缺失和形变的情况能做出准确的预警。Wang等^[11]提出一种基于显著分割和生成对抗网络(generative adversarial networks,GAN)的方法,可检测受电弓结构异常。Wei等^[12]采用卷积神经网络和边缘检测算法,能细致地判断受电弓异常程度。Na等^[13]利用最小二乘法和深度学习检测滑板,测量出滑板的磨损量。

上述研究方法虽有较好的检测表现,但在受电弓结构异常检测时,传统方法缺少对弓角区域的检测,并需在特定环境下安装特殊摄像机,增加了检测成本,且检测效率不高; 基于深度学习的方法需在提取异常样本特征后,通过深度学习算法训练异常模型,相关方法虽具有较好的检测性能,却未能有效表示受电弓结构特征,并受限于深度学习算法特点,检测精度依赖于异常样本数量,由于受电弓结构异常的形态和程度具有随机性,模型学习成本较高^[14]。鉴于上述研究方法仍存在实时性、准确性和通用性欠佳等问题,因此需进一步研究。受电弓出现结构异常时,滑板或弓角的边缘特征会发生改变。为此,本研究提出一种基于边缘特征的受电弓结构异常检测算法,能对车载受电弓监控摄像机拍摄的画面进行检测,并有效表示受电弓结构特征,实现受电弓结构异常检测。

本研究在车载受电弓监控摄像机拍摄的画面基础上进行结构异常检测,以提高受电弓检测效率和减少设备成本,而图像中受电弓区域无法通过摄像机直接获取^[15]。为了能精确提取受电弓边缘,需先采用目标检测算法对受电弓进行定位。由于受电弓在图像中的特征一致性较差,传统算法的检测效果不佳,目前基于深度学习的目标检测算法逐渐取代了传统方法,并发展为两阶段和一阶段两类算法。作为一阶段算法的代表,YOLOv3算法^[16]的检测速度与精度都较为均衡,因此本研究先采用YOLOv3训练受电弓模型,通过模型对输入画面进行识别与定位,再将定位区域做图像预处理。

采用YOLOv3模型定位受电弓区域,YOLOv3模型检测流程如图1所示。首先将摄像机拍摄的图像像素调整为416×416,输入主干网络Darknet-53中进行特征提取,该网络由53个卷积核大小为1×1和3×3的卷积层组成,并加入了残差网络; 然后借鉴特征金字塔网络思想,对主干网络输出的3种不同尺度特征图(13×13、26×26和52×52)进行多尺度检测。每种尺度的特征图都会被分成S×S的网格,每个网格会给出预测边界框的位置和置信度等信息,同时也会给出预测目标为受电弓的概率。因为每个网格都会给出预测的边界框和对应的目标类,所以存在大量重叠的边界框,此时需要通过非极大值抑制除去置信度较低的边界框,选取置信度最高的边界框作为最终的预测框。

图1 YOLOv3模型检测流程
Fig.1 Detection flow of YOLOv3 model

YOLOv3模型会给出包含预测框坐标、类别及置信度等检测结果,根据预测框坐标位置裁剪模型输出的图像,获得受电弓区域图像。在实际拍摄、传输和保存过程中,图像可能会受到噪声干扰,于是首先采用模板为3×3的高斯滤波将图像去噪,但过程中会模糊受电弓边缘信息; 然后通过拉普拉斯算子锐化图像,增强受电弓边缘,以提高后续提取边缘的精度; 最后使用加权平均法对受电弓区域进行图像灰度化,提高图像处理过程中计算机运算速度,减少算法耗时。

目前常用边缘检测算法来提取目标边缘,由于获得的受电弓区域图像中还存在其他目标,现有方法在边缘检测时会受到一定的影响,故本研究设计了一种新的受电弓边缘检测算法,用于提取受电弓边缘特征。先通过改进后的大津法对受电弓区域图像进行分割,然后将图像二值化后得到目标轮廓,再根据弓网之间的边缘特征提取目标轮廓中的受电弓边缘。

大津法是日本学者Otsu提出的一种自适应阈值图像分割算法,又称Otsu法或最大类间方差法^[17]:计算图像的类间方差,确定一个能将图像分成前景和背景2个部分的灰度阈值,类间方差越大,表明前景和背景相差越大,则分割效果越好。利用大津法分割受电弓区域图像并进行图像二值化,结果如图2所示。图2(b)中红色虚线框内受电弓轮廓均有缺失,影响后续提取受电弓边缘的精度。由图2(c)可知,图像中前景和背景差距不大,其灰度直方图表现为近似单峰或双峰间距过大,这表明大津法针对这类情况存在阈值选取不佳的问题; 图中绿色点线为大津法得到的最佳阈值,其值为128,而红色直线表示期望的最佳阈值为155,两者差距较大,因此分割效果较差。

图2 大津法分割结果
Fig.2 Otsu segmentation results

为使大津法能有更好的分割效果,通过引入加权系数来改变前景和背景的类间方差,从而获得理想的最佳阈值。改进的类间方差σ²(t)计算公式如下:

σ²(t)=αω₀(μ₀-μ)²+βω₁(μ₁-μ)²。 (1)

式(1)中:ω₀、ω₁为前景、背景在图像中的占比; μ₀、μ₁和μ为前景、背景和整体图像像素的均值; α、β为加权系数。最佳阈值T表示如下:

式(2)中:L为图像的灰度级。

图3 比值与阈值的关系
Fig.3 Relationship between ratio and threshold

在确定加权系数α和β取值前,令加权系数比值为η=α/β。比值与阈值的关系如图3所示,随着η增加,T会相应增加。当η∈[0,1]时,类间方差主要为背景类方差,T更靠近灰度较低区间,相比大津法得到的阈值更低; 当η∈(1,10]时,T取值将逐渐增加,靠近高灰度区间; η=10为临界点,T增幅开始收敛,η的增加对T的影响逐渐减少; 当η∈(10,20]时,图像分割的轮廓较为完整; 当η∈(20,+∞)时,T增幅趋于0,会造成图像过分割现象。

不同比值的分割结果如图4所示,由图可知图像噪声虽然增强,但此时η对T的选取几乎无影响。综上,本研究选取η=10,可设加权系数α=1、β=0.1。

图4 不同比值的分割结果
Fig.4 Segmentation results for different ratios

改进后的大津法阈值如图5所示,在图像直方图表现为近似单峰和双峰间距过大的情况下,橙色虚线表示的改进后的大津法阈值接近期望阈值,因此可获得理想的分割结果。

图5 改进后的大津法阈值
Fig.5 Improved Otsu method thresholds

考虑到列车实际运行过程中,图像分割后得到的受电弓轮廓存在其他干扰对象,需要在进行边缘检测时将干扰边缘剔除。摄像机以仰视角度拍摄受电弓,图像中受电弓整体几乎呈水平状态,而接触网线近似为垂直状态,两者可以看成垂直接触。从垂直方向提取轮廓边缘,以减少受电弓支臂和支架等边缘干扰,因此将像素为M×N的图像自上而下地进行像素遍历,改进后的大津法提取的轮廓经过二值化后,在垂直方向上像素点的梯度变化明显。边缘点上方为背景像素,下方为轮廓像素,若像素点满足|f(x,y)-f(x,y-1)|≥G时,确定该点为边缘点,其中f(x,y)为像素点,f(x,y-1)是f(x,y)上方的像素点,G为像素阈值,因轮廓像素值均为255,可将G设为255。

在每列获取第一个满足条件的边缘像素点后,继续从左向右搜寻像素点,遍历整幅图像,得到全部符合条件的像素点,并将所有像素点拟合成曲线。完成上述步骤后,可粗提取受电弓边缘。弓网接触部分如图6所示,在红色虚线圆圈内弓网接触部分的受电弓边缘信息丢失,导致该部分的受电弓边缘无法提取。

图6 弓网接触部分
Fig.6 Pantograph-catenary contact part

图像中像素灰度突变点或轮廓边缘交点一般被认为是角点,由于受电弓与接触网相交,两者轮廓边缘会产生角点。通过Harris算法^[18]来计算像素在任意方向上的灰度变化和角点响应值,获取弓网接触部分的角点。首先令窗口函数w(x,y)在x轴和y轴上分别移动u和v后,灰度变化如下:

式(3)中:I(x+u,y+v)、I(x,y)分别为像素f(x+u,y+v)、f(x,y)的灰度值; 窗口函数w(x,y)=; I(x+u,y+v)经过泰勒展开后可得

I(x+u,y+v)=I(x,y)+I_xu+I_yv+o(u²+v²)。 (4)

灰度变化可近似表示如下:

式(5)中:M为2×2的矩阵。通过计算图像的导数可得

计算矩阵M的特征值λ₁和λ₂,根据角点响应函数f_CRF计算角点响应值,当响应函数值满足设定阈值时,像素点f(x,y)为角点。

f_CRF=detM-k(traceM)²。 (7)

式(7)中:k为常数,一般取值为0.04～0.06。

边缘检测结果如图7所示,获取受电弓粗提取边缘中所有的角点后,会存在一些伪角点,需要在角点集中进行筛选。弓网接触部分主要为受电弓滑板区域,角点集中选择坐标符合区域内的角点,得到弓网接触产生的角点,筛除角点之间的接触网边缘像素。采用四连通方式连接弓网接触产生的两个角点,利用高斯滤波处理边缘像素点获得平滑的拟合曲线。由于弓网接触部分所占像素较少,此步骤拟合出因弓网接触而缺失的受电弓边缘,对受电弓边缘特征影响较小,提取的受电弓边缘能表示该时刻受电弓的弓形结构。

图7 边缘检测结果
Fig.7 Edge detection results

受电弓边缘在计算机中可以看成是一个像素点集,如图8所示,若是进行边缘之间点对点的匹配,则运算耗时较多且匹配精度易受干扰。一般而言正常的受电弓边缘特征值近似,可以计算边缘图像的特征值,通过比较特征值的差异来判断边缘状态,为此采用感知哈希算法^[19]对受电弓边缘图像进行相似度计算。感知哈希算法先提取图像中低频部分的特征,再生成和度量代表图像指纹的哈希码,最后度量哈希码得到图像的相似度,能快速、准确地得出图像的相似性,适合于大规模的图像匹配。

图8 受电弓边缘
Fig.8 Pantograph edge

受电弓边缘相似度计算的具体步骤如下。

1)为减少运算量,将待检测边缘与模板图像进行归一化操作。统一图像像素为32×32,并进行图像灰度化。因本文1.2节预处理后的图像已是灰度图,故不再进行灰度化操作。

2)采用二维离散余弦变换将两幅图像从空间域转化到频率域。低频可以保留图像中大致的结构,所以计算每个图像左上角8×8矩阵的均值,以获取图像低频部分。二维离散余弦变换公式如下:

式(8)中:F(u,v)为二维离散余弦变换后的系数; c为补偿系数,用于将矩阵变为正交矩阵,当u=0时,c(u)=,当u≠0时,c(u)=; N为每维输入信号的数量; f(i,j)为输入的原始信号。

3)将均值按照自上而下、从左往右的顺序遍历矩阵,若均值大于或等于矩阵中的点时,则记为1; 反之记为0,生成二进制字符串的哈希码。

4)计算两幅图像生成的哈希码中相应位置字符不同的个数,计算公式如下:

式(9)中:X和Y为图像哈希码; l为哈希码长度; n为哈希码位置; ⊕为异或运算。

5)计算相似度,图像相似值范围为[0,1],结果越接近1表明两幅图像越相似,相似度S(D)公式如下:

S(D)=1-(D(X,Y))/l。 (10)

根据相似度计算结果设计结构异常判断机制:在受电弓结构异常检测阶段,将初始的正常受电弓边缘作为模板,把处理得到的待检测边缘与模板进行相似度计算,通过计算结果判断受电弓结构状态。本研究的结构异常检测流程如图9所示。

图9 结构异常检测流程
Fig.9 Flow of structural anomaly detection

本试验以实际列车运行时车载受电弓监控摄像机拍摄的受电弓视频作为数据来源,按一定间隔抽取700张图片作为试验数据集样本,并把数据集图片随机分为训练深度学习模型的200张训练集图片和验证算法的500张测试集图片。数据集样本包含了受电弓正常和异常的两种状态,异常状态以弓角和滑板的形变为主,测试集里受电弓正常、滑板异常和弓角异常的图片数量比为3:1:1。试验主要分为两部分:第一部分验证提出的受电弓边缘检测算法; 第二部分验证本文算法检测受电弓结构异常的性能。试验计算机的处理器为Intel Core i5-10 400F,GPU为NVIDIA GeForce RTX 2060,内存为16 GB,操作系统为Windows 10; 软件环境为Visual Studio 2019,编程语言为C++。

为验证本研究提出的受电弓边缘检测算法,将常用的边缘检测算法与本文算法分别对受电弓区域图像进行边缘检测,并对检测结果进行比较。常用的边缘检测算法有基于一阶微分和二阶微分算子的算法及Canny算法等,试验选取了Sobel一阶微分算子、Laplacian二阶微分算子和文献[12]中的Canny算法作为对比算法,分别在受电弓正常、滑板异常和弓角异常三种状态下进行测试,不同方法的受电弓边缘检测结果对比见表1。由表1可知,Sobel算子检测受电弓边缘的结果不清晰,边缘存在模糊的现象; Laplacian算子同样存在边缘不清晰的问题,并且Laplacian算子检测的受电弓边缘有缺失; Canny算法检测到的边缘相对清晰,但相同情况下缺失的边缘更多,产生的伪边缘也较多。Sobel、Laplacian和Canny等边缘检测方法都只是提取了图像中整体对象的轮廓边缘,未能较好地从接触网线中提取出受电弓边缘,将对后续受电弓异常检测产生较大的干扰。本文算法能去除接触网和受电弓其他部件等干扰边缘,准确地提取受电弓边缘。当受电弓存在形变和缺失等异常时,提取的受电弓边缘在异常区域呈现相应的结构状态,因此可以很好地表示受电弓的弓形结构。

表1 不同方法的受电弓边缘检测结果对比
Table 1 Comparison of pantograph edge detection results among different methods

本文算法需设定相似度阈值判断结构状态,为确定合适的相似度阈值,在数据集样本中随机选取了正常状态和异常状态的受电弓图像,统计待检测图像与模板的相似度,统计结果如图 10所示,相似度阈值设置在0.8左右时可明显区分两种结构状态的受电弓。

图 10 统计结果
Fig.10 Statistical results

为验证本文算法检测受电弓结构异常的性能,采用准确度、精确率、召回率、F₁值和算法耗时作为性能评价指标,其中准确度A、精确率P和召回率R和F₁值的计算公式分别如下:

式(11)中:r_tp是实际为正常检测为正常的数量; r_tn是实际为异常检测为异常的数量; r_fp是实际为异常检测为正常的数量; r_fn是实际为正常检测为异常的数量。

在测试集上分别使用3种方法进行受电弓结构异常检测试验:方法1采用文献[10]中的卷积神经网络训练得到异常样本模型进行检测; 方法2采用文献[12]中的Canny算法提取受电弓边缘后进行结构异常检测; 方法3为本文算法。不同方法的受电弓结构异常检测结果对比见表2。由表2可知,本文算法在准确度方面有较好的检测结果,性能均优于其他方法。在算法耗时方面,本文算法的检测速度略低于深度学习方法,但比传统方法速度要快。相比传统边缘检测算法,本文算法能有效提取受电弓边缘,避免了在检测过程中受到接触网和其他受电弓部件边缘的影响,不会产生错误判断,从而减少了误检率; 由于异常状态具有随机性,异常样本模型有较低概率识别不出异常状态而产生漏检。本文算法通过边缘特征的相似度判断异常,减少了学习成本,提高了检测精度,在精确率和召回率上得分较高,F₁值可说明本文算法具有较优的检测性能。受电弓监控摄像机拍摄的视频每秒传输25帧图像,单张图像的检测时间应低于40 ms,而本文算法平均耗时为38 ms,所以能通过摄像机对受电弓结构进行快速检测,具有较高的实时性和准确性。在实时的监控画面中,检测结果如图 11所示。

表2 不同方法的受电弓结构异常检测结果对比
Table 2 Comparison of different methods for pantograph structure anomaly detection results

图 11 检测结果
Fig.11 Detection results

错误检测情况见表3,存在错误检测的原因主要有漏检和误检两个方面。算法漏检是由于受电弓形变程度较轻,没有达到设定阈值; 算法误检是由于模型对受电弓定位不够准确,导致受电弓的弓角部分缺失,相似度结果低于阈值,以及视频图像质量不佳,算法提取的受电弓边缘不理想,从而产生误判。

表3 错误检测情况
Table 3 Error detection situations

本研究针对滑板和弓角引起的受电弓结构异常检测问题,提出了一种基于边缘特征的检测方法。首先通过YOLOv3模型对受电弓监控摄像机拍摄的画面进行定位,并设计了一种受电弓边缘检测算法提取受电弓的边缘; 然后根据边缘相似度构建了受电弓异常状态判断机制,用于判断受电弓结构是否发生异常。与其他方法的对比试验表明,本文算法在提取受电弓边缘时能更有效地表示结构状态,设计的结构异常检测方法具有较好的实时性和准确性。在今后的研究工作中,将考虑提高算法在复杂背景下的检测性能。