基于注意力机制的车灯状态识别方法、装置、终端和介质制造方法及图纸

本申请涉及智能驾驶技术领域，提供了一种基于注意力机制的车灯状态识别方法、装置、终端和介质。本申请能够精确预测图像序列整体表征的车灯状态。方法包括：通过车灯状态识别模型的第一编码器提取图像序列中每相邻两帧所表征的帧间图像编码特征，基于局部空间注意力对各编码特征分别进行加权后分别拆分成两部分编码特征，通过模型的第二编码器获取两部分各自的全局编码特征，将该两部分各自的全局编码特征融合为与车灯状态类别相适配的基础全局特征，基于全局空间注意力对各基础全局特征进行加权后再基于时间注意力对各空间加权的基础全局特征进行加权，将各时空加权的基础全局特征依序拼接后输入相应车灯状态分类器得到图像序列表征的车灯状态。

【技术实现步骤摘要】
基于注意力机制的车灯状态识别方法、装置、终端和介质
本申请涉及智能驾驶
，特别是涉及一种基于注意力机制的车灯状态识别方法、装置、车载终端和存储介质。
技术介绍
车灯状态能够反映包括前方车辆和周边车道车辆的行驶状态，例如：前方车辆的刹车灯亮起时需及时采取减速措施避免追尾、周边车道车辆发出转向灯信号时需注意减速让其顺利变道、前方车辆因发生故障而打开应急闪光灯时需注意减速绕行等。在具体应用中，例如在开发高级辅助驾驶系统以及更高级的自动驾驶系统的过程中，自适应巡航控制（AdaptiveCruiseControl，ACC）功能须具备识别车灯状态的能力，从而在周边车辆通过车灯发出减速、变道或故障信号时，能够及时采取措施以避免交通事故的发生，使开发的智能驾驶系统具备适应复杂多变的道路驾驶环境的能力。传统技术所提供的车灯状态识别方案需先进行车灯定位再根据车灯的亮灭状态分类分析车灯状态。然而，这种方式通常难以适应复杂多变的道路驾驶环境，且车灯设计形式层出不穷，导致其对车灯区域分割定位极其困难，存在对车灯状态识别的准确度低的技术问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种基于注意力机制的车灯状态识别方法、装置、车载终端和存储介质。一种基于注意力机制的车灯状态识别方法，所述方法包括：获取包含待识别车辆的图像序列；通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。一种基于注意力机制的车灯状态识别装置，包括：图像序列获取模块，用于获取包含待识别车辆的图像序列；帧间特征获取模块，用于通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；局部加权处理模块，用于利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；组分特征获取模块，用于针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；组分特征融合模块，用于将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；全局加权处理模块，用于利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；时间加权处理模块，用于利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；分类器识别模块，用于将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取包含待识别车辆的图像序列；通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取包含待识别车辆的图像序列；通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的车灯状态识别方法，其特征在于，所述方法包括：/n获取包含待识别车辆的图像序列；/n通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；/n利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；/n针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；/n将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；/n利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；/n利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；/n将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。/n...

【技术特征摘要】
1.一种基于注意力机制的车灯状态识别方法，其特征在于，所述方法包括：
获取包含待识别车辆的图像序列；
通过预先构建的车灯状态识别模型中的第一编码器获取由所述图像序列中每相邻两帧图像表征的帧间图像编码特征；
利用对各帧间图像编码特征进行局部空间注意力计算得到的局部空间注意力计算结果对所述各帧间图像编码特征进行加权；
针对由各加权帧间图像编码特征拆分的第一组成部分编码特征和第二组成部分编码特征，通过所述车灯状态识别模型中的第二编码器获取对应组成部分的全局编码特征，得到所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征；
将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征；
利用对各基础全局特征进行全局空间注意力计算得到的全局空间注意力计算结果对所述各基础全局特征进行加权，得到各空间加权的基础全局特征；
利用对所述各空间加权的基础全局特征进行时间注意力计算得到的时间注意力计算结果对所述各空间加权的基础全局特征进行加权，得到各时空加权的基础全局特征；
将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态。


2.根据权利要求1所述的方法，其特征在于，
所述车灯状态类别包括转向灯状态；
所述将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征，包括：
将所述第一组成部分全局编码特征与所述第二组成部分全局编码特征相减，得到与所述转向灯状态相适配的基础全局特征。


3.根据权利要求2所述的方法，其特征在于，
所述车灯状态分类器包括转向灯状态分类器；
所述将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由所述图像序列表征的所述待识别车辆的车灯状态，包括：
将所述各时空加权的基础全局特征依序拼接，得到用于识别转向灯状态的时空加权特征拼接结果；
将所述用于识别转向灯状态的时空加权特征拼接结果输入至所述转向灯状态分类器，以使所述转向灯状态分类器输出所述待识别车辆的转向灯状态；
其中，所述待识别车辆的转向灯状态为左转向、右转向或无转向。


4.根据权利要求1所述的方法，其特征在于，
所述车灯状态类别包括刹车灯状态和/或应急双闪灯状态；
所述将所述各加权帧间图像编码特征各自对应的第一组成部分全局编码特征和第二组成部分全局编码特征融合为与车灯状态类别相适配的基础全局特征，包括：
将所述第一组成部分全局编码特征与所述第二组成部分全局编码特征相拼接，得到与所述刹车灯状态和/或应急双闪灯状态相适配的基础全局特征。


5.根据权利要求4所述的方法，其特征在于，
所述车灯状态分类器包括刹车灯分类器和/或应急双闪灯分类器；
所述将所述各时空加权的基础全局特征依序拼接后输入至所述车灯状态识别模型中的与所述车灯状态类别相对应的车灯状态分类器，得到所述车灯状态分类器输出的由...

【专利技术属性】
技术研发人员：程飞洋，郑伟，杨广，刘国清，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：广东;44