获取目标交通信号灯三维属性的方法、装置及电子设备制造方法及图纸

本公开提供了一种获取目标交通信号灯三维属性的方法、装置及电子设备，涉及人工智能领域，尤其涉及自动驾驶、计算机视觉等技术领域。具体实现方案为：获取待识别图像，其中，待识别图像由自动驾驶车辆上的图像采集组件得到，待识别图像中的显示内容包括：目标交通信号灯；采用目标神经网络模型对待识别图像进行分析，得到误差信息和角度信息，其中，目标神经网络模型用于估计目标交通信号灯的尺寸信息与朝向信息，误差信息用于确定尺寸信息，角度信息用于确定朝向信息；基于误差信息、角度信息、待识别图像的尺寸信息和图像采集组件的内参，获取目标交通信号灯的深度信息；通过误差信息、角度信息和深度信息确定目标交通信号灯的三维属性。的三维属性。的三维属性。

【技术实现步骤摘要】
获取目标交通信号灯三维属性的方法、装置及电子设备


[0001]本公开涉及人工智能领域，尤其涉及自动驾驶、计算机视觉等
，具体而言，涉及一种获取目标交通信号灯三维属性的方法、装置及电子设备。

技术介绍

[0002]在自动驾驶场景中，对于红绿灯进行准确感知对于驾驶安全具有十分重要的意义。由于红绿灯的三维(Three Dimensions，3D)属性无法通过激光雷达等高精度三维传感器扫描而获得，相关技术中通常采用联合标注的方式来获取红绿灯的3D属性。但是，这种标注方式需要耗费大量的时间和人力成本，并且在标注过程中由于需要受到各种处理条件的限制，从而会影响对于红绿灯的感知精度，提升数据分析闭环的难度。

技术实现思路

[0003]本公开提供了一种获取目标交通信号灯三维属性的方法、装置及电子设备，以至少解决相关技术中对于交通信号灯三维属性的标注耗时长、标注成本高的技术问题。
[0004]根据本公开的一方面，提供了一种获取目标交通信号灯三维属性的方法，包括：获取待识别图像，其中，待识别图像由自动驾驶车辆上的图像采集组件得到，待识别图像中的显示内容包括：目标交通信号灯；采用目标神经网络模型对待识别图像进行分析，得到误差信息和角度信息，其中，目标神经网络模型用于估计目标交通信号灯的尺寸信息与朝向信息，误差信息用于确定尺寸信息，角度信息用于确定朝向信息；基于误差信息、角度信息、待识别图像的尺寸信息和图像采集组件的内参，获取目标交通信号灯的深度信息；通过误差信息、角度信息和深度信息确定目标交通信号灯的三维属性。
[0005]根据本公开的另一方面，提供了一种获取目标交通信号灯三维属性的装置，包括：第一获取模块，用于获取待识别图像，其中，待识别图像由自动驾驶车辆上的图像采集组件得到，待识别图像中的显示内容包括：目标交通信号灯；分析模块，用于采用目标神经网络模型对待识别图像进行分析，得到误差信息和角度信息，其中，目标神经网络模型用于估计目标交通信号灯的尺寸信息与朝向信息，误差信息用于确定尺寸信息，角度信息用于确定朝向信息；第二获取模块，用于基于误差信息、角度信息、待识别图像的尺寸信息和图像采集组件的内参，获取目标交通信号灯的深度信息；确定模块，用于通过误差信息、角度信息和深度信息确定目标交通信号灯的三维属性。
[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一实施例的获取目标交通信号灯三维属性的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开中任一实施例的获取目标交通信号灯三维属性的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开中任一实施例的获取目标交通信号灯三维属性的方法。
[0009]在本公开中，通过获取包含目标交通信号灯的待识别图像，进而采用目标神经网络模型对待识别图像进行分析，得到误差信息和角度信息，随后基于误差信息、角度信息、待识别图像的尺寸信息和图像采集组件的内参，获取目标交通信号灯的深度信息，最后通过误差信息、角度信息和深度信息确定目标交通信号灯的三维属性，达到了高效确定待识别图像中目标交通信号灯三维属性的目的，实现了提升交通信号灯三维属性的标注效率、降低标注成本的效果，从而解决了解决相关技术中对于交通信号灯三维属性的标注耗时长、标注成本高的技术问题。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开实施例的一种用于实现获取目标交通信号灯三维属性的方法的计算机终端(或移动设备)的硬件结构框图；
[0013]图2是根据本公开实施例的一种获取目标交通信号灯三维属性的方法流程图；
[0014]图3是根据本公开实施例的一种标注框示意图；
[0015]图4是根据本公开实施例的一种小孔成像模型的示意图；
[0016]图5是根据本公开实施例的一种目标神经网络模型的结构示意图；
[0017]图6是根据本公开实施例的一种获取目标交通信号灯三维属性的示意图；
[0018]图7是根据本公开实施例的另一种获取目标交通信号灯三维属性的示意图；
[0019]图8是根据本公开实施例的一种获取目标交通信号灯三维属性的装置的结构框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0022]相关技术中进行单目3D目标检测的方法通常包括以下四种方式：
[0023]第一种方式是基于目标物体位于地面的几何假设，将透视图转换为鸟瞰图(Bird
’
s Eye View，BEV)空间的特征图，进而在BEV视角中进行3D目标检测。但是，这种方式限制了目标物体必须位于地面，或者一个统一高度的平面，而红绿灯的高度据有很大的自由度，因此这一条件极大地限制了该检测方法在感知红绿灯场景下的应用。
[0024]第二种方式是根据2D图像生成伪雷达特征，随后在密集深度图上进行3D目标检测，但这种方式对于深度图标注具有较强的依赖性，而深度图标注的耗时较长，并且所需成本巨大。
[0025]第三种方式利用3D关键点与3D模型进行匹配，从而实现3D目标检测，这种方式需要额外标注目标物体的关键点，而通常的2D目标数据集是无关键点的标签的，且由于大部分场景的红绿灯都是正面面向相机，红绿灯的8个关键点只有4个关键点是可见的，因而这种方式存在病态问题。
[0026]第四种方式则是直接生成3D物体框，但这种方式不易解耦，存在3D属性和2D属性相互干扰的问题，由于自动驾驶中红绿灯的2D属性还需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种获取目标交通信号灯三维属性的方法，包括：获取待识别图像，其中，所述待识别图像由自动驾驶车辆上的图像采集组件得到，所述待识别图像中包括：目标交通信号灯；采用目标神经网络模型对所述待识别图像进行分析，得到误差信息和角度信息，其中，所述目标神经网络模型用于估计所述目标交通信号灯的尺寸信息与朝向信息，所述误差信息用于确定所述尺寸信息，所述角度信息用于确定所述朝向信息；基于所述误差信息、所述角度信息、所述待识别图像的尺寸信息和所述图像采集组件的内参，获取所述目标交通信号灯的深度信息；通过所述误差信息、所述角度信息和所述深度信息确定所述目标交通信号灯的三维属性。2.根据权利要求1所述的方法，其中，所述方法还包括：获取样本图像，其中，所述样本图像由所述图像采集组件得到，所述样本图像包括：样本交通信号灯；基于预设精度地图、所述图像采集组件的原始定位参数和第一标注数据，生成第二标注数据，其中，所述预设精度地图与所述原始定位参数用于在所述样本图像上确定所述样本交通信号灯的第一标注框，所述第一标注数据用于在所述样本图像上确定所述样本交通信号灯的第二标注框；采用所述第二标注数据对初始神经网络模型进行迭代训练，得到所述目标神经网络模型。3.根据权利要求2所述的方法，其中，基于所述预设精度地图、所述原始定位参数和所述第一标注数据，生成所述第二标注数据包括：采用所述预设精度地图和所述原始定位参数在所述样本图像上投影得到所述第一标注框，以及采用所述第一标注数据在所述样本图像上标注得到所述第二标注框；通过网格搜索方式对所述原始定位参数进行调整，直至所述第一标注框与所述第二标注框之间的匹配误差最小，得到目标定位参数；基于所述目标定位参数和标注交通信号灯的三维属性，生成所述第二标注数据，其中，所述标注交通信号灯为所述预设精度地图上标注的所述样本交通信号灯对应的交通信号灯。4.根据权利要求3所述的方法，其中，基于所述目标定位参数和所述标注交通信号灯的三维属性，生成所述第二标注数据包括：基于所述目标定位参数确定所述标注交通信号灯与目标标注框之间的第一关联关系，其中，所述目标标注框为所述样本图像上与所述样本交通信号灯相适配的标注框；利用所述第一关联关系，将所述标注交通信号灯的三维属性传递至所述目标标注框，生成所述第二标注数据。5.根据权利要求4所述的方法，其中，利用所述第一关联关系，将所述标注交通信号灯的三维属性传递至所述目标标注框，生成所述第二标注数据包括：利用所述第一关联关系，将所述标注交通信号灯的三维属性传递至所述目标标注框，得到第三标注数据；基于所述第三标注数据确定所述样本交通信号灯在第一坐标系下的第一坐标数据，其
中，所述第一坐标系为所述图像采集组件对应的坐标系；采用所述第一坐标数据和所述图像采集组件的内参确定所述样本交通信号灯在所述样本图像上的二维像素差；基于所述二维像素差对所述第三标注数据进行修正，生成所述第二标注数据。6.根据权利要求1所述的方法，其中，采用所述目标神经网络模型对所述待识别图像进行分析，得到所述误差信息和所述角度信息包括：采用所述目标神经网络模型对所述待识别图像进行特征提取，得到提取结果；基于所述提取结果进行多头预测，得到第一预测结果，第二预测结果和第三预测结果，其中，所述第一预测结果用于预测目标角度所在的角度范围，所述第二预测结果用于预测所述目标角度在...

【专利技术属性】
技术研发人员：邱浩轩，周珣，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：