交通信号灯识别模型的训练方法及交通信号灯的识别方法技术

本申请实施例提供了一种交通信号灯识别模型的训练方法、交通信号灯的识别方法、交通信号灯识别模型的训练装置、交通信号灯的识别装置、电子设备、计算机可读存储介质及计算机程序产品。涉及自动驾驶和辅助驾驶技术领域。该方法包括：对多张样本图像进行裁剪、缩放以及排布后合并，得到合并图像；样本图像中标注有交通信号灯的成像内容的有界框的实际位置；将合并图像输入至初始神经网络，得到初始神经网络输出的有界框的预测位置，根据该预测位置和实际位置计算损失函数值，并根据损失函数值对初始神经网络模型进行迭代更新，得到交通信号灯识别模型。本申请实施例交通信号灯识别模型能准确地识别交通信号灯的有界框，提高识别的准确度。的准确度。的准确度。

【技术实现步骤摘要】
交通信号灯识别模型的训练方法及交通信号灯的识别方法


[0001]本申请涉及自动驾驶和辅助驾驶
，具体而言，本申请涉及一种交通信号灯识别模型的训练方法、交通信号灯的识别方法、交通信号灯识别模型的训练装置、交通信号灯的识别装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]交通信号灯作为道路交通信息的重要载体，许多关键的交通信息，它可以为驾驶员提供当前的行驶信息，而在困难和危险的驾驶环境中，它可以及时为驾驶员提供安全警告，以督促驾驶员谨慎驾驶。在无人驾驶或辅助驾驶领域，是通过算法对交通信号灯进行识别，正确识别当前路口交通灯的指示颜色等指示信号是保证车辆在人流车辆较多的交通路口正常、安全的保障是保证自动驾驶车辆在运营道路上不间断、正常行驶的保障。
[0003]现有方案对交通信号灯的识别主要有以下两种方法，现有方案对交通信号灯的识别主要有以下几种方法，第一种是RGB颜色模型方法，将包含交通信号灯的成像内容的图像输入至RGB颜色模型，识别出图像中交通信号灯的颜色，该方法能够快速识别交通信号灯的颜色，但由于背景噪声(例如周围LED灯的颜色)的影响，很大程度上对交通信号灯颜色识别不准确；第二种是HSI颜色模型的方法，HSI颜色空间具有光照不变等特性，所以鲁棒性较好，但HSI颜色模型仍然无法去除背景噪声的影响，即上述两种训练模型无法准确对交通信号灯进行识别。

技术实现思路

[0004]本申请实施例提供了一种交通信号灯识别模型的训练方法、交通信号灯识别方法、交通信号灯识别模型的训练装置、交通信号灯识别方法装置、电子设备、计算机可读存储介质及计算机程序产品，用于解决现有技术的神经网络模型无法准确识别交通信号灯的技术问题。
[0005]根据本申请实施例的第一方面，提供了一种交通信号灯识别模型的训练方法，该方法包括：
[0006]获取包括多个训练样本的训练数据集；每个训练样本中包括至少两张样本图像，样本图像标注有交通信号灯的成像内容的有界框的实际位置；
[0007]对多张样本图像进行裁剪，并对多张裁剪后的样本图像进行缩放以及排布后进行合并，得到一张合并图像；
[0008]将合并图像输入至初始神经网络模型的第一层子网络，得到第一层子网络对合并图像进行自适应锚框以及自适应缩放后输出一张待测图像；待测图像中标注有所有有界框的初始位置；
[0009]将待测图像输入至初始神经网络模型的第二层子网络，得到第二层神经网络在待测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得到的多张子图进行卷积处理后输出的多张特征图；
[0010]将多张特征图输入至初始神经网络模型的第三层子网络，得到第三层子网络对多张特征图进行特征融合后获得的融合特征图；
[0011]将融合特征图和待测图像输入至初始神经网络模型的第四层子网络，得到第四层子网络匹配出的融合特征图在待测图像中映射的目标区域，并根据目标区域调整有界框的初始位置后输出的有界框的预测位置；
[0012]根据实际位置以及预测位置计算预设的神经网络损失函数的损失函数值，并根据损失函数值对初始神经网络模型进行迭代训练，得到交通信号灯识别模型。
[0013]在一个可能的实现方式中，对多张样本图像进行裁剪包括：
[0014]对于每张样本图像，获取样本图像的水平分辨率和垂直分辨率；
[0015]若水平分辨率或垂直分辨率中任意一种分辨率不符合预设数值的倍数，计算出水平方向或垂直方向上应裁剪的像素的最小值；
[0016]根据最小值对样本图像进行裁剪，使得裁剪后的样本图像的水平分辨率和垂直分辨率均符合预设数值的倍数；
[0017]其中，最小值小于预设数值。
[0018]在一个可能的实现方式中，对多张裁剪后的样本图像进行缩放以及排布后进行合并，得到一张合并图像，包括：
[0019]获取预设水平分辨率和预设垂直分辨率，预设水平分辨率和预设垂直分辨率均符合预设数值的倍数；
[0020]基于预设垂直分辨率、预设垂直分辨率、裁剪后的样本图像的水平分辨率和垂直分辨率，确定各个裁剪后的样本图像在水平方向上的第一缩放比例和垂直方向的第二缩放比例；根据第一缩放比例和第二缩放比例对裁剪后的样本图像进行缩放；
[0021]对缩放后的样本图像进行随机排布后合并，得到一张合并图像。
[0022]在一个可能的实现方式中，将合并图像输入至初始神经网络模型的第一层子网络，得到第一层子网络对合并图像进行自适应锚框以及自适应缩放后输出一张待测图像，包括：
[0023]对合并图像进行自适应锚框操作，标记出合并图像中所有有界框的初始位置，得到标记有所有有界框的初始位置的标记图像；
[0024]对标记图像进行自适应缩放，获得待测图像，待测图像的水平分辨率和垂直分辨率均符合预设数值的倍数。
[0025]在一个可能的实现方式中，将待测图像输入至初始神经网络模型的第二层子网络，得到第二层神经网络分别在待测图像的多个预设像素处开始隔行隔列提取像素以及对提取像素后得到的多张子图进行多次卷积处理后输出的多张特征图，包括：
[0026]在待测图像中确定多个预设像素；
[0027]对于任意一个预设像素，从预设像素处开始隔行隔列提取像素，得到待测图像的一张子图；
[0028]对于任意一张子图，对子图进行多次卷积处理以提取子图的特征，得到子图对应的特征图。
[0029]在一个可能的实现方式中，将融合特征图和待测图像输入至初始神经网络模型的第四层子网络，得到第四层子网络匹配出的融合特征图在待测图像中映射的目标区域，并
根据目标区域调整有界框的初始位置后输出的有界框的预测位置，包括：
[0030]提取融合特征图的特征向量；特征向量中包括像素值特征和纹理特征、形状特征和空间关系特征；
[0031]确定特征向量在待测图像中映射的目标区域；根据目标区域对有界框的初始位置进行调整，得到有界框的预测位置。
[0032]在一个可能的实现方式中，实际位置以有界框上所有像素的实际坐标表征；预测位置为有界框上所有像素的预测坐标表征；根据实际位置以及预测位置计算预设的神经网络损失函数的损失函数值，并根据损失函数值对初始神经网络模型进行迭代训练，得到交通信号灯识别模型，包括：
[0033]将有界框上的所有像素的实际坐标以及所有像素的预测坐标输入至预设的神经网络损失函数，得到损失函数值；
[0034]若损失函数值不符合神经网络模型训练结束条件，则基于各个训练样本和各个训练样本中各样本图像中标注的有界框的实际位置对初始神经网络模型继续进行迭代训练，直到满足神经网络模型训练结束条件，得到交通信号灯识别模型。
[0035]根据本申请实施例的第二方面，提供了一种交通信号灯的识别方法，该方法包括：
[0036]在预定位置处获取待测图像；待测图像包含交通信号灯的成像内容；
[0037]将待测图像输入至交通信号灯识别模型中，得到交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通信号灯识别模型的训练方法，其特征在于，包括：获取包括多个训练样本的训练数据集；每个训练样本中包括至少两张样本图像，所述样本图像标注有交通信号灯的成像内容的有界框的实际位置；对所述多张样本图像进行裁剪，并对多张裁剪后的样本图像进行缩放以及排布后进行合并，得到一张合并图像；将所述合并图像输入至初始神经网络模型的第一层子网络，得到所述第一层子网络对所述合并图像进行自适应锚框以及自适应缩放后输出一张待测图像；所述待测图像中标注有所有有界框的初始位置；将所述待测图像输入至所述初始神经网络模型的第二层子网络，得到所述第二层神经网络在所述待测图像的多个预设像素处分别开始隔行隔列提取像素以及对提取像素后得到的多张子图进行卷积处理后输出的多张特征图；将所述多张特征图输入至所述初始神经网络模型的第三层子网络，得到所述第三层子网络对所述多张特征图进行特征融合后获得的融合特征图；将所述融合特征图和所述待测图像输入至所述初始神经网络模型的第四层子网络，得到所述第四层子网络匹配出的所述融合特征图在所述待测图像中映射的目标区域，并根据所述目标区域调整有界框的初始位置后输出的所述有界框的预测位置；根据所述实际位置以及所述预测位置计算预设的神经网络损失函数的损失函数值，并根据所述损失函数值对所述初始神经网络模型进行迭代训练，得到交通信号灯识别模型。2.根据权利要求1所述的方法，其特征在于，所述对所述多张样本图像进行裁剪包括：对于每张样本图像，获取所述样本图像的水平分辨率和垂直分辨率；若所述水平分辨率或所述垂直分辨率中任意一种分辨率不符合预设数值的倍数，计算出水平方向或垂直方向上应裁剪的像素的最小值；根据所述最小值对所述样本图像进行裁剪，使得裁剪后的样本图像的水平分辨率和垂直分辨率均符合预设数值的倍数；其中，所述最小值小于所述预设数值。3.根据权利要求1或2任意一项所述的方法，其特征在于，所述对多张裁剪后的样本图像进行缩放以及排布后进行合并，得到一张合并图像，包括：获取预设水平分辨率和预设垂直分辨率，所述预设水平分辨率和所述预设垂直分辨率均符合预设数值的倍数；基于所述预设垂直分辨率、所述预设垂直分辨率、所述裁剪后的样本图像的水平分辨率和垂直分辨率，确定各个裁剪后的样本图像在水平方向上的第一缩放比例和垂直方向的第二缩放比例；根据所述第一缩放比例和所述第二缩放比例对所述裁剪后的样本图像进行缩放；对缩放后的样本图像进行随机排布后合并，得到一张合并图像。4.根据权利要求1所述的方法，其特征在于，所述将所述合并图像输入至初始神经网络模型的第一层子网络，得到所述第一层子网络对所述合并图像进行自适应锚框以及自适应缩放后输出一张待测图像，包括：对所述合并图像进行自适应锚框操作，标记出所述合并图像中所有有界框的初始位置，得到标记有所有有界框的初始位置的标记图像；
对所述标记图像进行自适应缩放，获得待测图像，所述待测图像的水平分辨率和垂直分辨率均符合预设数值的倍数。5.根据权利要求1所述的方法，其特征在于，所述将所述待测图像输入至所述初始神经网络模型的第二层子网络，得到所述第二层神经网络分别在所述待测图像的多个预设像素处开始隔行隔列提取像素以及对提取像素后得到的多张子图进行多次卷积处理后输出的多张特征图，包括：在所述待测图像中确定多个预设像素；对于任意一个预设像素，从所述预设像素处开始隔行隔列提取像素，得到所述待测图像的一张子图；对于任意一张子图，对所述子图进行多次卷积处理以提取所述子图的特征，得到所述子图对应的特征图。6.根据权利要求1所述的方法，其特征在于，所述将所述融合特征图和所述待测图像输入至所述初始神经网络模型的第四层子网络，得到所述第四层子网络匹配出的所述融合特征图在所述待测图像中映射的目标区域，并根据所述目标区域调整有界框的初始位置后输出的所述有界框的预测位置，包括：提取所述融合特征图的特征向量；所述特征向量中包括像素值特征和纹理特征、形状特征和空间关系特征；确定所述特征向量在所述待测图像中映射的目标区域；根据所述目标区域对所述有界框的初始位置进行调整，得到所述有界框的预测位置。7.根据权利要求1所述的方法，其特征在于，所述实际位置以有界框上所有像素的实际坐标表征；所述预测位置为有界框上所有像素的预测坐标表征；所述根据所述实际位置以及...

【专利技术属性】
技术研发人员：陈茜，
申请(专利权)人：中电金信软件有限公司，
类型：发明
国别省市：