车道线检测技术是自动驾驶系统的重要组成部分,对车辆在复杂道路中的车道保持和安全行驶至关重要。准确检测和跟踪车道线使车辆的自动驾驶实现高效的车道保持,并且提高了行车的安全性和道路的通行效率。

根据特征提取技术的不同,现有的车道线检测算法主要分为两大类:一类是依赖于预设规则和手工特征的传统的车道线检测算法^[1]。传统车道检测技术主要运用图像处理和计算机视觉,通过滤波、边缘检测及直线检测等手段,从道路图像中获取车道线的位置和形态。这些技术常使用人工特征提取方法,如霍夫变换^[2]再与卡尔曼滤波器^[3-4]等相结合,于是,一系列基于不同传统视觉技术的车道线检测方法被提出。张勇等^[5]提出基于图像处理的车道线检测方法,包括灰度转换、滤波去噪、边缘检测和ROI提取等,提高了车道线检测的识别精度。李志远等^[6]通过优化边缘算子进一步降低了噪声干扰。Hur等^[7]利用条件随机场技术识别车道线,增强了系统的识别能力。Zheng等^[8]提出RESA循环特征位移聚合器增强特征表达。Borkar等^[9]通过高效的真实场景生成为夜间环境下的车道检测提供了有效解决方案。传统方法在简单环境下有效,但在复杂路况下鲁棒性和准确性不足。另一类是基于深度学习的车道线检测算法^[10-11]。传统算法虽然在某些特定环境下表现较稳定,但在面对复杂多变的道路条件时则显得力不从心。而基于深度学习的算法,通过大量数据的训练,能够更有效地应对各种复杂场景,准确性也更高。随着深度学习技术的不断发展,这类算法在车道线识别领域的应用正变得越来越广泛。基于深度学习的车道线检测常采用卷积神经网络^[12-14](convolutional neural networks, CNN)实现,通过自动学习图像特征来提高识别和定位精度,在复杂路况下表现尤其突出。Liu等^[15]的模型整合全卷积网络、残差架构和金字塔池化技术,提升了阴影条件下的检测准确性。吕嘉璐等^[16]提出的多特征融合模型有效地提高了多种交通目标的检测精度。Fu等^[17]则运用双注意力网络来增强场景分割的准确性和效率。Qin等^[18]的快速检测方法通过图像网格划分和预设行分类,提升了检测效率并解决了视觉信号缺失的问题。Chen等^[19]的空洞金字塔池化技术通过在不同尺度上捕捉图像上下文来优化特征识别,而Dong等^[20]提出的指数加权交叉熵损失函数在识别精度上展现了优势。Yang等^[21]改进的交叉熵损失函数有效解决了分类不平衡的问题,进一步提升了模型的整体性能。

针对车道线检测中的挑战,特别是在复杂环境下的检测准确性和效率问题,本研究提出了一种新的车道线检测算法——基于空洞金字塔池化的通道和空间注意力机制的车道线检测算法(channel and position attention mechanism with atrous spatial pyramid pooling for ultra fast structure-aware deep lane detection,CPAM-UFLD)。本算法结合了通道和空间注意力机制(channel and position attention mechanism,CPAM)及空洞金字塔池化(atrous spatial pyramid pooling,ASPP),通过增强模型对关键特征的聚焦和特征提取能力来提高车道线检测的鲁棒性和准确性。通过改进损失函数,引入Dice系数,进一步提升了模型的性能,以适应自动驾驶和智能交通系统对高性能车道检测技术的需求。

尽管现代成像设备通常具备自动对比度调整功能,但在某些特定条件下,如阴天、多云等场景中,这些功能可能不足以满足需求。因此,我们在传统图像增强技术如随机翻转和平移之外,引入一种图像亮度自适应增强技术以减轻外部场景对车道线检测的负面影响,其流程如图1所示。

图1 图像亮度自适应流程
Fig.1 Image brightness adaptation process

首先计算输入图像的亮度,假设输入图像为I(x,y),那么图像的亮度值

L(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)。 (1)

式(1)中:R、G、B分别为红、绿、蓝色通道的像素值; x、y为像素坐标。

然后使用大津法(Otsu)确定亮度阈值,Otsu作为一种经典的图像阈值分割算法,其核心思想是最大化图像在阈值处的类间方差,即使得分割后的两个部分之间的差异最大化。通过最大化类间方差,Otsu能有效地区分背景和前景,并且能够自动适应不同图像的特点。亮度阈值

式(2)～(3)中:σ²_B(T)为类间方差; ω₁(T)和ω₂(T)分别为前景和背景的概率; μ₁(T)和μ₂(T)分别为前景和背景的亮度平均值。计算图像像素值的高低分位点,应用分位点以确定分位值范围,计算公式如下:

Q_high=quantile(L,p_high); (4)

Q_low=quantile(L,p_low)。 (5)

式(4)～(5)中:Q_high和Q_low分别为高低分位点的值; p_high和p_low分别为高低分位点的百分数,设为0.95和0.05。随后,使用调整像素值至分位点区间内,并映射回原始图像的通道,得到增强后的图像。这样不仅提升了图像质量,优化了视觉体验,还提升了图像的清晰度并增加其信息含量,从而对车道线检测任务产生积极的影响。

图像增强前后的效果对比如图2所示,由图可知,在增强后的图像中,车道线与周围路面之间的对比更加分明,车道线的轮廓更清晰,更容易被检测和识别。

图2 图像增强前后的效果对比
Fig.2 Effects comparison before and after image enhancement

Ultra-Fast-Lane-Detection(UFLD)是一种快速车道线检测方法,可以实现快速、准确的车道线检测。这种方法主要用于提高车道线检测的速度和效率,使其能用于实时应用,如自动驾驶系统和车道保持辅助系统。UFLD采用卷积神经网络(convolutional neural networks, CNN)来实现车道线检测,对比那些传统技术,UFLD利用CNN能够端到端地学习图像中的特征表示,从而使检测结果更为准确且不易受干扰,其名称中的“Ultra-Fast”意味着该方法具有极快的速度,这是通过设计轻量级的网络结构和优化推理过程来实现的。这种高速性使得UFLD能够在实时场景中快速地检测车道线,以满足自动驾驶系统对实时响应的需求。整体而言,UFLD的网络结构是一个轻量级的卷积神经网络,结合了基础骨干网络、特征金字塔网络和车道线检测分支,以实现快速而准确的车道线检测。UFLD的网络结构如图3 所示。

图3 UFLD的网络结构
Fig.3 Network architecture of UFLD

UFLD算法在处理实际对象和具体问题时,如车道线断续、缺失、模糊、大转弯等方面,存在准确性不足的问题。为了解决这些问题,我们深入研究了UFLD算法的核心理念,并在此基础上融合了一种具备注意力机制的神经网络——基于空洞金字塔池化的通道和空间注意力机制的车道线检测算法(CPAM-UFLD)。CPAM-UFLD方法通过引入注意力机制,能更精确地锁定图像中的关键区域,并改善车道线检测的准确性。针对车道线断续和缺失的问题,CPAM-UFLD方法利用注意力机制聚焦于车道线的关键特征; 对于模糊的车道线,CPAM-UFLD方法通过注意力机制将重点放在模糊区域上,以提高车道线检测的清晰度和准确性; 在应对不同宽度大小和大转弯的情况时,CPAM-UFLD方法通过学习图像中的特征关系,能准确地识别不同宽度和曲率的车道线,并正确地进行分类。

在UFLD的基础上,我们做了以下改进:1)引入CPAM双注意力机制; 2)使用带有空洞卷积的ASPP层; 3)使用4种损失函数,其中包括在辅助分割分支时用的加权交叉熵损失和在分类分支使用的分类损失、Dice损失及形状损失。改进后的CPAM-UFLD网络结构如图4所示。

图4 CPAM-UFLD的网络结构
Fig.4 Network architecture of CPAM-UFLD

在车道线检测的应用中,通道注意力模块(channel attention mechanism,CAM)和空间注意力模块(position attention mechanism,PAM)的结合——通道和空间注意力机制能提升模型的性能。CAM通过学习识别那些通道包含有关车道线的重要信息,从而使模型在处理图像时能更集中地关注这些通道。PAM则帮助模型聚焦于图像中与车道线相关包含关键空间特征的特定区域。通过这种结合,CPAM机制不仅能有效地过滤掉车道线图片中的背景噪声,还能确保模型在通道和空间维度上都能对车道线信息进行优化处理。这种双重注意力机制的应用使车道线检测更精确,同时由于其结构的合理性,也使模型在实际应用中更快速和节省资源。

1)CAM模块

通道注意力机制如图5所示。

图5 通道注意力机制
Fig.5 Channel attention mechanism

对于通道注意力,首先将特征图A∈R^C×H×W变换为A∈R^C×N,对A与其转置进行矩阵乘法,并通过Softmax层(深度学习中常用的一种激活函数)处理结果生成通道注意力特征图X∈R^C×C,通道注意力机制的原理如下:

式(6)中:x_ji为任意特征通道i与j的相关性; A_i和A_j分别为i、j通道的整体特征。

然后对X进行转置并与A相乘,再通过重新调整形状操作变换为R^C×H×W。最后,R^C×H×W与参数β相乘后与A相加,得到结果E∈R^C×H×W,如式(7)所示:

式(7)中:E_j为j通道的注意权重。

在此过程中,初始化β为0,并在网络训练中持续更新。依据公式(7),引入通道注意力机制,为特征图的每个通道赋予不同的权重,从而获取通道维度的全局上下文,优化提取的图像特征。

2)PAM模块

空间注意力机制如图6所示。

图6 空间注意力机制
Fig.6 Position attention mechanism

在空间注意力机制的框架下,我们致力于捕捉特征图中任意两个像素点之间的语义关联,通过这种方式,可以有效地提取三维维度中的全域背景信息。在先前提取的特征图A∈R^C×H×W基础上,首先进行卷积操作,生成特征图序列B、C。然后,调整这些特征图的形状至R^C×N大小,其中N=H×W。特征图调整完毕后,进行转置与矩阵乘法,最后通过Softmax层,生成注意力特征图S∈R^N×N。空间注意力机制的原理如下:

式(8)中:S_ji体现了特征图内i和j两点的相互关系; B_i和C_j分别为i、j通道的特征向量。首先,对特征图执行卷积,形成D∈R^C×H×W,调整其结构为R^C×N; 然后,将R^C×N与转置后的S进行矩阵乘法,将结果调整为R^C×H×W; 最后,将R^C×H×W与参数α相乘后与A相加,得到最终结果E∈R^C×H×W,如式(9)所示。

式(9)中:D_i为D的i通道特征向量,类似于通道注意力。将α初始化为0,并在网络训练中持续调整。采用空间注意力机制为特征图的每一位置指派独特权重,从而获取全局空间上下文,优化图像特征提取。

为了弥补当前车道线检测技术在捕捉图像的多层次远距离背景信息方面的不足,我们在车道线检测的过程中引入了空洞金字塔池化模块(atrous spatial pyramid pooling,ASPP)。ASPP层利用不同膨胀率的卷积核捕捉图像中多尺度的特征,以增强网络对图像全局与局部上下文信息的理解。如此,网络能更精确地识别与分割车道线,即便在复杂路况下也能维持较高的检测准确率。

1)图像特征提取

为了提升车道线检测的实时性能,我们采用了简化的ResNet-34网络模型进行图像特征的提取。此模型通过大幅减少图像尺寸,扩大了网络的视野范围,同时简化了网络结构,确保了处理速度。为了增强特征提取和防止因频繁下采样而丢失细节,同时为了维持网络的视野,我们将ResNet-34的末端卷积层改为空洞卷积。这种卷积方式能扩大感受野并减少下采样频率,从而有效地调整特征图的分辨率。二维特征图的空洞卷积的计算可以表示如下:

式(10)中:w为卷积核; r为扩张率; x和y分别为原始特征映射和特征结果图。式(10)表明了空洞卷积如何通过增加卷积核元素之间的间隔(扩张率)来扩大感受野,同时不增加参数数量或计算量。分别令扩张率r为1、2、4,可以得到空洞卷积的可视化表示,如图7所示。

图7 空洞卷积
Fig.7 Atrous convolution

2)ASPP结构

ASPP采用各层采样率不同的多个并行空洞卷积层,每个采样率的特征在独立分支中处理,形成多样感受野的卷积核,以捕捉多尺度物体信息。通过不同采样率对输入特征进行采样,然后从多尺度提取特征并融合这些特征,得到最终的特征提取结果。原始的ASPP结构如图8所示。

图8 ASPP结构
Fig.8 Atrous spatial pyramid pooling

将CPAM模块与ASPP模块连接起来,将组合模块标记为CPAM-ASPP模块。这一模块运用了空洞金字塔池化技术,增强了特征信息的深度学习能力。ASPP通过使用不同扩张率的卷积核来捕捉图像中不同尺度的特征,而CPAM模块则通过通道和空间感知注意力机制来进一步增强特征的表达能力。结合这两种技术,CPAM-ASPP模块能在处理车道线数据时,提供更丰富的上下文信息和更强的特征提取能力。

首先,CPAM模块通过全局平均池化操作来获取全局上下文信息; 然后,通过多个不同尺度的卷积分支来对全局上下文信息进行特征提取和融合,通过一系列的卷积操作和激活函数,得到通道注意力权重; 最后,将加权后的ASPP特征与原始的输入特征图相加,得到最终的CPAM-ASPP特征表示。这样,CPAM-ASPP模块能同时捕捉多尺度的上下文信息,并通过通道注意力机制动态地调整特征通道的权重,从而提升车道线检测的性能。融合了CPAM注意力机制的ASPP层结构如图9所示。

图9 融合了CPAM注意力机制的ASPP层结构
Fig.9 ASPP layer structure incorporating CPAM attention mechanism

CPAM-UFLD算法是在UFLD的基础上改进的,它采用了4种损失函数来提升模型效能,具体包括:在辅助分割分支中,采用加权交叉熵损失函数来衡量分割任务的准确性,该损失函数能够度量模型预测的分割结果与真实分割标注之间的差异; 在分类分支中,使用分类损失函数来衡量分类任务的准确性,该损失函数能度量模型预测的分类结果与真实分类标签之间的差异; Dice Loss函数用于衡量预测的车道线与真实车道线的相似度,通过最小化相似度损失,模型能更好地提取图像中的车道线特征; 形状感知损失函数用于衡量预测车道线的形状与真实车道线的形状之间的差异。通过最小化形状损失,模型能更精确地推断车道线的形态数据。

1)加权交叉熵损失。具体公式为

式(11)中:n为用于求和的索引变量,表示对所有样本进行累加,即从第1个到第N个,N为批量大小; y_i为真实标签值; y^{^}_i为预测的类分布; L_WCE为一批样本的损失数值。

2)分类损失。具体公式为

式(12)中:P_i,j,:为第j行各网格隶属于第i条车道线的可能性; T_i,j,:为实际的标签; L_WCE为加权交叉熵损失函数。

3)骰子损失(dice coefficient loss,Dice Loss),一种评估两样本相似度的度量函数,其值介于0至1,值越高表示相似度越大。在本研究中,将Dice Loss定义为DL,则此时的分割损失定义为L_DL,具体公式为

式(13)中:p_i为预测值; g_i为实际值; N为像素总数; i为像素的位置。

4)形状感知损失。形状感知损失关注形状特征,一般而言,所有损失函数均在像素层面发挥作用。在UFLD算法中,通过二阶差分方法来限制车道线为直线,这种方法在直线路段可能效果不错,然而在弯道情况下其表现欠佳。这是因为弯道的车道线曲率变化较大,二阶差分方法可能无法准确捕捉到这种曲率变化,导致车道线检测不准确。在这种情况下,可能需要更复杂的模型或算法来更好地适应弯道等复杂路况。因此我们使用了形状感知损失来计算各点到曲线的平均欧几里得距离,即预测分割与标注曲线周边点间的欧氏距离,并以此作为交叉熵损失函数的系数,其定义如下:

式(15)中:L_CE为交叉熵损失函数。

反复试验得出的总损失可表示为

L_total=L_cls+L_DL+0.02L_shp+L_WCE。 (16)

本研究的试验环境如下:操作系统为Ubuntu18.10; GPU为GeForce RTX3080; 语言为Python3.8,Torch 1.11.0; 加速环境为cuda 11.3; 训练轮次为100; 初始学习率为0.01; 每批次输入的图片数量为8张; 热身轮次为3; 动量参数为0.937。

针对车道线检测选用图森未来控股有限公司(TuSimple Holdings Inc.)发布的TuSimple数据集^[22]和香港中文大学发布的CULane数据集^[23]进行相关试验研究,结果表明大部分车道线明显且清晰。

图森未来控股有限公司推出的TuSimple数据集专为自动驾驶技术研发与测试而设计,其图像采集于美国圣地亚哥。该数据集强调真实性和复杂性,包含多种天气条件下的车道线情况,如遮挡、不完整或缺失。因此,它在车道检测领域具有极高的权威性和影响力。数据集包含3 626张用于训练的图片和2 782张用于测试的图片,覆盖了各种道路类型,包括直道、弯道、破损路面、分岔口及受外部设施干扰的道路,以及被阴影遮挡的道路,特别适用于高速公路上的多车道线检测,记录了白天不同时间段的2至5车道交通情况,所有图片的分辨率均为1 280×720像素,训练数据的标注使用json格式,提供车道线精确的x、y轴坐标。

CULane数据集是一个广泛用于车道线检测研究的大型数据集,为中国城市场景中的车道线检测和分割而设计。该数据集提供了丰富的图像和车道线标注信息。它适用于训练和评估车道线检测算法在中国城市场景中的性能,并具有多样性和挑战性,能有效提升车辆的感知和决策能力,提高驾驶的安全性。CULane数据集包含88 880张图像,其中70 000张用于训练,18 880张用于测试。这些图像是在中国不同城市和不同时间采集的,涵盖了多种道路和交通场景。

在评估目标检测算法时,常用的3个指标包括检测精度(accuracy)、准确率(precision)和召回率(recall)。检测精度衡量的是预测图像中正确识别的车道点与实际车道点数量的比例; 准确率则反映在所有预测结果中,正确识别为真实目标的比例; 召回率则表示在所有应被正确检测的目标中,实际被检测到的比例。这些指标的具体计算公式如下:

式(17)～(19)中:C_i,m为第i类别中第m样本的预测值与真实标签值之间的差异小于预设阈值的像素点数量; S_i,m为第i类别中第m样本在标签数据中明确标记为车道线的像素点的总数; M_FP(假阳性)为模型错误地将负类别样本识别为正类别的次数; 而M_FN(假阴性)则表示模型错误地将正类别样本识别为负类别的次数。其中,M_FP和M_FN的计算公式如下:

式(20)～(21)中:F_pred为模型在车道识别中出现错误的次数; N_pred为模型在特定时间内识别或预测的车道线总数; M_pred为模型未能识别或预测的车道线数量; N_gt为标签中真实的车道线总数。

我们进行了可视化对比试验,UFLD和CPAM-UFLD 2种算法在Tusimple数据集中不同道路情况下的部分测试结果如图 10所示。

图 10 UFLD和CPAM-UFLD在Tusimple数据集中不同道路情况下的部分测试结果
Fig.10 Partial test results of UFLD and CPAM-UFLD under different road conditions on TuSimple dataset

从图 10中可观察到,CPAM-UFLD算法在提升图像亮度的同时,对直线和弯道的检测效果也有所提高。与UFLD算法相比,CPAM-UFLD在处理这些复杂道路特征时展现出更优秀的性能。此外,改进后的算法在检测环节中,预测出的车道线与实际车道线的吻合度也超过了UFLD算法。值得注意的是,即使在有卡车遮挡的情况下,改进后的算法依然可以检测到该部分车道线,这证明了改进的有效性。综上,CPAM-UFLD算法在准确性和鲁棒性方面都有较为明显的提高,为车辆导航提供了更精确的指导,尤其是在复杂路况下,能大幅提升自动驾驶系统的可靠性。

图 11展示了部分真实路面场景下CPAM-UFLD的检测效果,从图中可观察到,在不同的光照条件和弯道情况下,CPAM-UFLD都展现了较为良好的检测效果。

图 11 真实路面测试结果
Fig.11 Real-world road test results

表1展示了包括本文算法在内的7种算法在Tusimple数据集上的检测结果的对比,由表中数据可知,改进后的CPAM-UFLD算法在TuSimple数据集上的性能相较于改进前的UFLD算法,显示出更高的准确度,证明了本文车道线检测方法的有效性,从95.86%上升到96.56%,提高了0.7百分点,而检测每帧图像所需的平均时间为4.2 ms。虽然相比UFLD算法时间上略长,但与其他算法相比仍然存在一定的优势,实时性较好。

表1 Tusimple数据集上不同算法的检测结果
Table 1 Detection results of different algorithms on Tusimple dataset

表2显示了在CULane数据集上,使用不同算法对8种不同场景进行车道线识别的检测结果,这8种场景包括:正常(normal)、拥挤(crowded)、夜间(night)、无线(no-line)、阴影(shadow)、箭头(arrow)、眩光(dazzlelight)和曲线(curve)。此外,在交叉路口(crossroad)场景下,原算法的检测结果为1 897(真阳性数),本文算法的结果为1 739。因此,改进后的8种场景的精度比原来分别提高了2.7、2.1、2.5、1.2、3.6、2.0、5.1、1.6百分点; 而十字路口场景下的识别精度略低。总体而言检测精度较优,为72.2%,相比原骨干网络提升了1.5百分点,证明了改进的有效性。

表2 CULane数据集上不同算法的检测结果
Table 2 Detection results of different algorithms on CULane dataset%

以场景丰富的Tusimple数据集为例,图 12(a)展示了辅助分支分割的损失随迭代次数的增加而减少,而图 12(b)则描绘了结构化损失的类似趋势。随着网络迭代的推进,两种损失均呈现出下降的趋势。迭代过程中的损失曲线出现波动而不是平滑曲线,这可能有如下原因:深度学习模型训练中存在随机性,例如权重初始化、数据增强等。

图 12 损失曲线
Fig.12 Loss curve

为验证各个改进方法复合之后的有效性,本研究使用了消融试验的方法:将试验分为4组,在保持训练超参数、输入图片等条件一致的情况下,分别对各模块单独作用及其叠加作用进行验证,表中“√”表示使用此改进方法。Tusimple数据集上消融试验结果见表3。

表3 Tusimple数据集上消融试验结果
Table 3 Ablation experiment results on Tusimple dataset

从表3可以看出本试验的改进措施及其对检测精度的影响。针对Tusimple数据集,在基准测试中,原始UFLD模型的检测精度为95.86%。当UFLD网络模型引入ASPP模块后,检测精度略有提升,达到了95.91%,此项改进使得精度较原始UFLD算法提高了0.05百分点,验证了ASPP模块在提升车道线检测精度方面的有效性。当UFLD网络模型融合了CPAM和ASPP模块后,检测精度进一步提升至95.99%,从而证明了结合CPAM注意力机制的ASPP模块在提升车道线检测精度方面的有效性。同时引入这两个模块,并对损失函数进行优化后,检测精度提升至96.56%,与原UFLD算法相比,精度提高了0.7百分点。

本研究通过在TuSimple和CULane两个公开数据集上进行大量的试验验证,全面评估了本研究提出的改进算法和模型结构对车道线检测精度的影响。在TuSimple数据集上,CPAM-UFLD算法相比原始UFLD算法检测精度提高了0.7百分点; 而在CULane数据集上,通过基于Resnet-34的改进,不仅在各种特定场景中实现了精度的提升,而且在总体上也提升了1.5百分点,检测每帧图像的速度也达到了4.2 ms。综合检测的效果和速度,验证了本改进措施的有效性。