一种基于图像进行车道线识别的处理方法和系统技术方案

本发明专利技术实施例涉及一种基于图像进行车道线识别的处理方法和系统，所述方法包括：接收第一图像；按预设图像尺寸对第一图像进行尺寸调整得到对应的第二图像；将第二图像输入预设的车道线预测模型进行车道线实例和属性识别处理得到对应的第三图像。通过本发明专利技术提供的端到端的车道线预测模型，可以提高识别效率、节约系统算力资源。约系统算力资源。约系统算力资源。

【技术实现步骤摘要】
一种基于图像进行车道线识别的处理方法和系统


[0001]本专利技术涉及数据处理
，特别涉及一种基于图像进行车道线识别的处理方法和系统。

技术介绍

[0002]自动驾驶车辆在行驶过程中需要对道路环境进行识别。该路环境不但包括自车以及自车周围障碍物，还包括行驶道路的车道线。而要确定车道线信息就需要车辆的自动驾驶系统能对道路环境中的车道线进行实例分割和属性识别。常规情况下，自动驾驶系统会基于多个图像处理模型来分别处理车道线的实例分割和属性分类。我们在实际应用中发现这种常规处理方式容易出现重复计算的问题，不但会降低识别效率还会浪费系统算力资源。

技术实现思路

[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种基于图像进行车道线识别的处理方法、系统、电子设备及计算机可读存储介质，构建一个能够端到端地同时处理车道线实例分割和属性识别问题的车道线预测模型，并基于该模型对输入图像进行车道线实例分割、车道线类型属性识别和车道线颜色属性识别。通过本专利技术提供的端到端模型，可以避免常规多模型方案中的重复计算问题，可以提高识别效率、节约系统算力资源。
[0004]为实现上述目的，本专利技术实施例第一方面提供了一种基于图像进行车道线识别的处理方法，所述方法包括：
[0005]接收第一图像；
[0006]按预设图像尺寸对所述第一图像进行尺寸调整得到对应的第二图像；所述预设图像尺寸为H0×
W0×
C0，H0、W0、C0分别为预设的图像高度、宽度和特征维度；
[0007]将所述第二图像输入预设的车道线预测模型进行车道线实例和属性识别处理得到对应的第三图像；所述第三图像的尺寸为H0×
W0×
(C0+3)；所述第三图像相对于所述第二图像增加了三个像素级语义特征，分别为车道线索引特征、车道线类型语义特征和车道线颜色语义特征；所述车道线类型语义特征包括多种车道线类型；所述车道线颜色语义特征包括多种车道线颜色。
[0008]优选的，所述车道线预测模型包括三层FPN网络、二值分割网络、2D卷积网络、车道线实例识别模块、车道线特征提取模块、车道线属性预测网络和车道线实例及属性分配模块；
[0009]所述三层FPN网络的输入端为所述车道线预测模型的输入端、输出端分别与所述二值分割网络和所述2D卷积网络的输入端连接；所述三层FPN网络包括下采样残差网络侧和上采样特征提取网络侧；所述下采样残差网络侧包括第一、第二和第三级残差单元；所述上采样特征提取网络侧包括第一、第二和第三级特征提取单元；所述第一级残差单元的输入端为所述三层FPN网络的输入端、输出端分别与所述第二级残差单元的输入端和所述第
一级特征提取单元的第一输入端连接；所述第二级残差单元的输出端分别与所述第三级残差单元的输入端和所述第二级特征提取单元的第一输入端连接；所述第三级残差单元的输出端与所述第三级特征提取单元的输入端连接；所述第三级特征提取单元的输出端与所述第二级特征提取单元的第二输入端连接；所述第二级特征提取单元的输出端分别与所述第一级特征提取单元的第二输入端和所述二值分割网络的输入端连接；所述第一级特征提取单元的输出端与所述2D卷积网络的输入端连接；所述第一、第二和第三级残差单元默认为ResNet101网络的conv1模块、conv2_x模块和conv3_x模块；
[0010]所述二值分割网络的输出端与所述车道线实例识别模块的输入端连接；所述二值分割网络包括第一卷积单元、第二卷积单元、特征向量转换单元、第一多层感知单元、第二多层感知单元和二值图转换单元；所述第一卷积单元的输入端为所述二值分割网络的输入端、输出端与所述第二卷积单元的输入端连接；所述第二卷积单元的输出端与所述特征向量转换单元的输入端连接；所述特征向量转换单元的输出端与所述第一多层感知单元的输入端连接；所述第一多层感知单元的输出端与所述第二多层感知单元的输入端连接；所述第二多层感知单元的输出端与所述二值图转换单元的输入端连接；所述二值图转换单元的输出端与所述车道线实例识别模块的输入端连接；
[0011]所述车道线实例识别模块的输出端分别与所述车道线特征提取模块的第一输入端和所述车道线实例及属性分配模块的第一输入端连接；
[0012]所述2D卷积网络的输出端与所述车道线特征提取模块的第二输入端连接；
[0013]所述车道线特征提取模块的输出端与所述车道线属性预测网络的输入端连接；
[0014]所述车道线属性预测网络的输出端与所述车道线实例及属性分配模块的第二、第三输入端连接；所述车道线属性预测网络包括类型属性预测单元和颜色属性预测单元；所述类型属性预测单元的输入端与所述车道线特征提取模块的输出端连接、输出端与所述车道线实例及属性分配模块的第二输入端连接；所述颜色属性预测单元的输入端与所述车道线特征提取模块的输出端连接、输出端与所述车道线实例及属性分配模块的第三输入端连接；
[0015]所述车道线实例及属性分配模块的第四输入端为所述车道线预测模型的输入端。
[0016]优选的，所述将所述第二图像输入预设的车道线预测模型进行车道线实例和属性识别处理得到对应的第三图像，具体包括：
[0017]所述车道线预测模型将模型输入的所述第二图像送入所述三层FPN网络进行特征提取处理得到对应的一级、二级特征图；所述一级特征图的形状为H1×
W1×
C1，H1、W1、C1分别为所述一级特征图的高度、宽度和特征维度，H1＝H0/2，W1＝W0/2，特征维度C1默认为64；所述二级特征图的形状为H2×
W2×
C2，H2、W2、C2分别为所述二级特征图的高度、宽度和特征维度，H2＝H1/2，W2＝W1/2，C2＝C1*2；
[0018]将所述一级特征图输入所述2D卷积网络进行2D卷积处理得到对应的第一特征图；所述第一特征图的形状为H1×
W1×
C4；C4为所述第一特征图的特征维度，C4＝C1/4；
[0019]将所述二级特征图输入所述二值分割网络进行二值图分割处理得到对应的第一二值图；所述第一二值图的形状为H1×
W1×
1；
[0020]将所述第一二值图输入所述车道线实例识别模块进行车道线实例识别处理得到对应的第一车道线坐标张量；所述第一车道线坐标张量的形状为B
×
H1×
2；B为车道线实例
数量；所述第一车道线坐标张量包括所述车道线实例数量B的长度为H1的第一车道线坐标向量{p
k,j
}，1≤第一车道索引k≤B，1≤坐标索引j≤H1；所述第一车道线坐标向量{p
k,j
}包括H1个第一车道线坐标p
k,j
；所述第一车道线坐标p
k,j
包括横坐标和纵坐标；
[0021]将所述第一车道线坐标张量与所述第一特征图输入所述车道线特征提取模块进行车道线特征融合处理得到对应的第一车道线特征张量；所述第一车道线特征张量的形状为B
...

【技术保护点】

【技术特征摘要】
1.一种基于图像进行车道线识别的处理方法，其特征在于，所述方法包括：接收第一图像；按预设图像尺寸对所述第一图像进行尺寸调整得到对应的第二图像；所述预设图像尺寸为H0×
W0×
C0，H0、W0、C0分别为预设的图像高度、宽度和特征维度；将所述第二图像输入预设的车道线预测模型进行车道线实例和属性识别处理得到对应的第三图像；所述第三图像的尺寸为H0×
W0×
(C0+3)；所述第三图像相对于所述第二图像增加了三个像素级语义特征，分别为车道线索引特征、车道线类型语义特征和车道线颜色语义特征；所述车道线类型语义特征包括多种车道线类型；所述车道线颜色语义特征包括多种车道线颜色。2.根据权利要求1所述的基于图像进行车道线识别的处理方法，其特征在于，所述车道线预测模型包括三层FPN网络、二值分割网络、2D卷积网络、车道线实例识别模块、车道线特征提取模块、车道线属性预测网络和车道线实例及属性分配模块；所述三层FPN网络的输入端为所述车道线预测模型的输入端、输出端分别与所述二值分割网络和所述2D卷积网络的输入端连接；所述三层FPN网络包括下采样残差网络侧和上采样特征提取网络侧；所述下采样残差网络侧包括第一、第二和第三级残差单元；所述上采样特征提取网络侧包括第一、第二和第三级特征提取单元；所述第一级残差单元的输入端为所述三层FPN网络的输入端、输出端分别与所述第二级残差单元的输入端和所述第一级特征提取单元的第一输入端连接；所述第二级残差单元的输出端分别与所述第三级残差单元的输入端和所述第二级特征提取单元的第一输入端连接；所述第三级残差单元的输出端与所述第三级特征提取单元的输入端连接；所述第三级特征提取单元的输出端与所述第二级特征提取单元的第二输入端连接；所述第二级特征提取单元的输出端分别与所述第一级特征提取单元的第二输入端和所述二值分割网络的输入端连接；所述第一级特征提取单元的输出端与所述2D卷积网络的输入端连接；所述第一、第二和第三级残差单元默认为ResNet101网络的conv1模块、conv2_x模块和conv3_x模块；所述二值分割网络的输出端与所述车道线实例识别模块的输入端连接；所述二值分割网络包括第一卷积单元、第二卷积单元、特征向量转换单元、第一多层感知单元、第二多层感知单元和二值图转换单元；所述第一卷积单元的输入端为所述二值分割网络的输入端、输出端与所述第二卷积单元的输入端连接；所述第二卷积单元的输出端与所述特征向量转换单元的输入端连接；所述特征向量转换单元的输出端与所述第一多层感知单元的输入端连接；所述第一多层感知单元的输出端与所述第二多层感知单元的输入端连接；所述第二多层感知单元的输出端与所述二值图转换单元的输入端连接；所述二值图转换单元的输出端与所述车道线实例识别模块的输入端连接；所述车道线实例识别模块的输出端分别与所述车道线特征提取模块的第一输入端和所述车道线实例及属性分配模块的第一输入端连接；所述2D卷积网络的输出端与所述车道线特征提取模块的第二输入端连接；所述车道线特征提取模块的输出端与所述车道线属性预测网络的输入端连接；所述车道线属性预测网络的输出端与所述车道线实例及属性分配模块的第二、第三输入端连接；所述车道线属性预测网络包括类型属性预测单元和颜色属性预测单元；所述类型属性预测单元的输入端与所述车道线特征提取模块的输出端连接、输出端与所述车道线
实例及属性分配模块的第二输入端连接；所述颜色属性预测单元的输入端与所述车道线特征提取模块的输出端连接、输出端与所述车道线实例及属性分配模块的第三输入端连接；所述车道线实例及属性分配模块的第四输入端为所述车道线预测模型的输入端。3.根据权利要求2所述的基于图像进行车道线识别的处理方法，其特征在于，所述将所述第二图像输入预设的车道线预测模型进行车道线实例和属性识别处理得到对应的第三图像，具体包括：所述车道线预测模型将模型输入的所述第二图像送入所述三层FPN网络进行特征提取处理得到对应的一级、二级特征图；所述一级特征图的形状为H1×
W1×
C1，H1、W1、C1分别为所述一级特征图的高度、宽度和特征维度，H1＝H0/2，W1＝W0/2，特征维度C1默认为64；所述二级特征图的形状为H2×
W2×
C2，H2、W2、C2分别为所述二级特征图的高度、宽度和特征维度，H2＝H1/2，W2＝W1/2，C2＝C1*2；将所述一级特征图输入所述2D卷积网络进行2D卷积处理得到对应的第一特征图；所述第一特征图的形状为H1×
W1×
C4；C4为所述第一特征图的特征维度，C4＝C1/4；将所述二级特征图输入所述二值分割网络进行二值图分割处理得到对应的第一二值图；所述第一二值图的形状为H1×
W1×
1；将所述第一二值图输入所述车道线实例识别模块进行车道线实例识别处理得到对应的第一车道线坐标张量；所述第一车道线坐标张量的形状为B
×
H1×
2；B为车道线实例数量；所述第一车道线坐标张量包括所述车道线实例数量B的长度为H1的第一车道线坐标向量{p
k,j
}，1≤第一车道索引k≤B，1≤坐标索引j≤H1；所述第一车道线坐标向量{p
k,j
}包括H1个第一车道线坐标p
k,j
；所述第一车道线坐标p
k,j
包括横坐标和纵坐标；将所述第一车道线坐标张量与所述第一特征图输入所述车道线特征提取模块进行车道线特征融合处理得到对应的第一车道线特征张量；所述第一车道线特征张量的形状为B
×
(H1*C4)；所述第一车道线特征张量包括所述车道线实例数量B的第一车道线特征向量；将所述第一车道线特征张量输入所述车道线属性预测网络的所述类型属性预测单元对各个车道线实例的类型属性进行预测处理得到对应的第一预测张量；并将所述第一车道线特征张量输入所述车道线属性预测网络的所述颜色属性预测单元对各个车道线实例的颜色属性进行预测处理得到对应的第二预测张量；所述第一预测张量的形状为B
×
N1，N1为预设的车道线类型数量；所述第一预测张量包括所述车道线实例数量B的形状为1
×
N1的第一预测向量，所述第一预测向量包括所述车道线类型数量N1的第一车道线类型预测分数；所述第二预测张量的形状为B
×
N2，N2为预设的车道线颜色数量；所述第二预测张量包括所述车道线实例数量B的形状为1
×
N2的第二预测向量，所述第二预测向量包括所述车道线颜色数量N2的第一车道线颜色预测分数；将所述第一车道线坐标张量、所述第一预测张量、所述第二预测张量和所述第二图像输入所述车道线实例及属性分配模块中对所述第二图像进行像素级的车道线类型和车道线颜色语义特征添加处理得到对应的所述第三图像。4.根据权利要求3所述的基于图像进行车道线识别的处理方法，其特征在于，所述车道线预测模型将模型输入的所述第二图像送入所述三层FPN网络进行特征提取处理得到对应的一级、二级特征图，具体包括：将形状为H0×
W0×
C0的所述第二图像输入所述第一级残差单元进行下采样残差运算得
到对应的一级下采样特征张量；所述一级下采样特征张量的形状为H1×
W1×
C1；将所述一级下采样特征张量输入所述第二级残差单元进行下采样残差运算得到对应的二级下采样特征张量；所述二级下采样特征张量的形状为H2×
W2×
C2；将所述二级下采样特征张量输入所述第三级残差单元进行下采样残差运算得到对应的三级下采样特征张量；所述三级下采样特征张量的形状为H3×
W3×
C3，H3、W3、C3分别为所述三级下采样特征张量的高度、宽度和特征维度，H3＝H2/2，W3＝W2/2，C3＝C2*2；将所述三级下采样特征张量输入所述第三级特征提取单元；并由所述第三级特征提取单元基于预设的3
×
3的第一卷积核、卷积填充为1、卷积步长为1的卷积方式，对所述三级下采样特征张量进行卷积运算得到对应的三级特征图；所述三级特征图的形状与所述三级下采样特征张量的形状一致为H3×
W3×
C3；将所述二级下采样特征张量和所述三级特征图输入所述第二级特征提取单元；并由所述第二级特征提取单元对所述三级特征图进行2x上采样和特征降维处理得到对应的形状为H2×
W2×
C2的第一上采样特征图；并对所述二级下采样特征张量和所述第一上采样特征图进行张量加和计算得到对应的所述二级特征图；将所述一级下采样特征张量和所述二级特征图输入所述第一级特征提取单元；并由所述第一级特征提取单元对所述二级特征图进行2x上采样和特征降维处理得到对应的形状为H1×
W1×
C1的第二上采样特征图；并对所述一级下采样特征张量和所述第二上采样特征图进行张量加和计算得到对应的所述一级特征图。5.根据权利要求3所述的基于图像进行车道线识别的处理方法，其特征在于，所述将所述一级特征图输入所述2D卷积网络进行2D卷积处理得到对应的第一特征图，具体包括：将所述一级特征图输入所述2D卷积网络；并由所述2D卷积网络基于预设的3
×
3的第二卷积核、卷积填充为1、卷积步长为1的卷积方式，对所述一级特征图进行卷积运算得到对应的所述第一特征图。6.根据权利要求3所述的基于图像进行车道线识别的处理方法，其特征在于，所述将所述二级特征图输入所述二值分割网络进行二值图分割处理得到对应的第一二值图，具体包括：所述二值分割网络对所输入的形状为H2×
W2×
C2的所述二级特征图进行2x上采样并保存特征维度不变得到对应的第三上采样特征图；所述第三上采样特征图的形状为H1×
W1×
C2；将所述第三上采样特征图输入所述第一卷积单元；并由所述第一卷积单元基于预设的3
×
3的第三卷积核、卷积填充为1、卷积步长为1的卷积方式，对所述第三上采样特征图进行卷积运算得到对应的第一卷积张量；将所述第一卷积张量输入所述第二卷积单元；并由所述第二卷积单元基于预设的3
×
3的第四卷积核、卷积填充为1、卷积步长为1的卷积方式，对所述第一卷积张量进行卷积运算得到对应的第二卷积张量；所述第二卷积张量的形状为H1×
W1×
C1；将所述第二卷积张量输入所述特征向量转换单元；并由所述特征向量转换单元对所述第二卷积张量进行张量拉平处理得到对应的全局特征向量；所述全局特征向量的形状为(H1*W1*C1)
×
1；将所述全局特征向量输入所述第一多层感知单元；并由所述第一多层感知单元的第一
全连接层对所述全局特征向量进行线性计算得到对应的第一全连接向量；并由所述第一多层感知单元的第一归一化层对所述第一全连接向量进行归一化计算得到对应的第一归一化向量；所述第一多层感知单元包括所述第一全连接层和所述第一归一化层；所述第一全连接层的输出端与所述第一归一化层的输入端连接；将所述第一归一化向量输入所述第二多层感知单元；并由所述第二多层感知单元的第二全连接层对所述第一归一化向量进行线性计算得到对应的第二全连接向量；并由所述第二多层感知单元的第一softmax函数层根据所述第二全连接向量进行正、负类分数回归预测得到对应的第一评分张量；所述第二多层感知单元包括所述第二全连接层和所述第一softmax函数层；所述第二全连接层的输出端与所述第一softmax函数层的输入端连接；所述第一评分张量的形状为H1×
W1×
2，所述第一评分张量包括H1*W1个长度为2的第一评分向量，所述第一评分向量包括第一正类评分和第一负类评分；将所述第一评分张量输入所述二值图转换单元；并由所述二值图转换单元初始化一个形状为H1×
W1×
1的全零特征图；并对所述第一评分张量的各个所述第一评分向量进行遍历；并在遍历时对当前遍历的所述第一评分向量的所述第一正类评分是否大于所述第一负类评分进行确认；并在确认所述第一正类评分大于所述第一负类评分时，将所述全零特征图中与当前遍历的所述第一评分向量对应的第一特征数据设为1；并在遍历结束时，将更新后的所述全零特征图作为对应的所述第一二值图输出；完成初始化时的所述全零特征图由H1*W1的初始化为0的所述第一特征数据组成，且所述第一特征数据与所述第一评分向量一一对应。7.根据权利要求3所述的基于图像进行车道线识别的处理方法，其特征在于，所述将所述第一二值图输入所述车道线实例识别模块进行车道线实例识别处理得到对应的第一车道线坐标张量，具体包括：步骤71，由所述车道线实例识别模块按从下到上的顺序将所述第一二值图分成H1个第一行像素点序列；第1行所述第一行像素点序列为所述第一二值图的最底行，第H1行所述第一行像素点序列为所述第一二值图的最顶行；所述第一行像素点序列包括W1个第一行...

【专利技术属性】
技术研发人员：张永昌，
申请(专利权)人：苏州轻棹科技有限公司，
类型：发明
国别省市：