多维信息标注方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及多维信息标注方法、装置、电子设备及存储介质。该多维信息标注方法包括：在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括特定对象的视频帧；基于点云帧获得特定对象的多维信息，并且获得特定对象的图像在视频帧中的位置范围信息；基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，以利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像。本申请提供的方案，能够有效降低获得训练数据的人工成本和时间成本，并且能有效提升训练数据的标注信息的精准度。据的标注信息的精准度。据的标注信息的精准度。

【技术实现步骤摘要】
多维信息标注方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种多维信息标注方法、装置、电子设备及存储介质。

技术介绍

[0002]自动驾驶技术能够为用户提升出行便利度，将会在用户出行、物流等领域中发挥越来越重要的作用。在诸如图像识别
中可以单独依赖图像的二维信息得到图像识别结果。但是，在自动驾驶等领域中，期望利用感知模型将图像的二维信息转化为三维信息，以便将图像从空间上与真实世界关联起来，进行环境感知与定位。
[0003]为了训练感知模型，需要海量的训练数据，如百万幅、千万幅或者更多幅具有准确标注信息的训练图像。相关技术中，至少部分训练图像需要进行人工标注，得到有标注信息的图像。这导致获得训练数据的人工成本和时间成本高昂。此外，训练数据的标注信息精准度直接影响感知模型预测结果精准度，而人工标注信息的精准度有待提升。

技术实现思路

[0004]为解决或部分解决相关技术中存在的问题，本申请提供一种多维信息标注方法、装置、电子设备及存储介质，能够有效降低获得训练数据的人工成本和时间成本，并且能有效提升训练数据的标注信息的精准度。
[0005]本申请一方面提供一种多维信息标注方法，包括：在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括特定对象的视频帧；基于点云帧获得特定对象的多维信息，并且获得特定对象的图像在视频帧中的位置范围信息；基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，以利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像。
[0006]在一种实施方式中，多维信息标注方法适用于感知系统，感知系统包括设置在移动平台上的至少一个激光雷达和至少一个毫米波雷达；在第一坐标系下获得包括特定对象的点云帧，包括：述激光雷达获得包括特定对象的第一点云帧，并且，毫米波雷达获得包括特定对象的第二点云帧；根据激光雷达的采集频率同步融合第一点云帧和第二点云帧，得到包括特定对象的点云帧。
[0007]在一种实施方式中，根据激光雷达的频率融合第一点云帧和第二点云帧，得到包括特定对象的点云帧，包括：将接收到的第二点云帧依次存储在特定消息队列中，直至接收到当前第一点云帧；根据特定匹配算法对消息队列中的第二点云帧和当前第一点云帧进行匹配；根据匹配结果删除当前第一点云帧中的误检对象，并且补充第一点云帧中的遗漏对象，误检对象包括当前第一点云帧中未出现在第二点云帧中的对象，遗漏对象包括第二点云帧中未出现在当前第一点云帧中的对象。
[0008]在一种实施方式中，基于点云帧获得特定对象的多维信息，包括：获得第二点云帧中的特定对象的三维信息；基于至少两帧第二点云帧之间的时间间隔和特定对象的三维信
息的变化量，确定特定对象的运动信息；将特定对象的三维信息和特定对象的运动信息作为特定对象的多维信息。
[0009]在一种实施方式中，特定对象的三维信息包括特定对象的位置信息和尺寸信息；上述方法还包括：拟合具有第一平滑度的特定对象的轨迹信息，得到具有第二平滑度的特定对象的轨迹信息，轨迹信息是基于多帧第二点云帧中特定对象的位置信息来确定的；和/或；统计多帧第一点云帧和/或第二点云帧中特定对象的尺寸信息，得到尺寸统计结果，以基于尺寸统计结果确定特定对象的尺寸信息。
[0010]在一种实施方式中，基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，包括：基于第一坐标系转换参数将第一坐标系下的多维信息转换至移动平台坐标系下，得到移动平台坐标系下的多维信息；基于第二坐标系转换参数将移动平台坐标系下的多维信息转换至第二坐标系下，得到第二坐标系下的多维信息。
[0011]在一种实施方式中，特定对象的多维信息包括特定对象的三维信息P和运动信息V；基于第二坐标系转换参数将移动平台坐标系下的多维信息转换至第二坐标系下，得到第二坐标系下的多维信息，包括：获得移动平台坐标系和第二坐标系之间的坐标系变换参数R|t，R为旋转矩阵，t为平移向量；对于三维信息P，基于坐标系变换参数R|t和移动平台坐标系下的三维信息P，确定第二坐标系下的标注三维信息(R|t)
×
P；对于运动信息，基于坐标系变换参数R|t中旋转矩阵R和移动平台坐标系下的特定对象的速度V，确定第二坐标系下的特定对象的标注速度R
×
V。
[0012]在一种实施方式中，上述方法还包括以下任意一种操作：对第一坐标系下的多维信息进行运动补偿，得到第一多维信息，以将第一多维信息代替第一坐标系下的多维信息；对第二坐标系下的多维信息进行运动补偿，得到第二多维信息，以将第二多维信息代替第二坐标系下的多维信息；对移动平台坐标系下的多维信息进行运动补偿，得到第三多维信息，以将第三多维信息代替移动平台坐标系下的多维信息。
[0013]在一种实施方式中，视频帧是由拍摄装置按照特定帧率拍摄的；利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像，包括：按照特定帧率将第二坐标系下的多维信息同步融合至与视频帧的位置范围信息对应的图像。
[0014]在一种实施方式中，上述方法还包括：在基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下之后，如果第二坐标系下的多维信息位于拍摄装置的视角范围内，则利用第二坐标系下的多维信息标注与视频帧的位置范围信息对应的图像；和/或；如果第二坐标系下的多维信息位于拍摄装置的视角范围外，则舍弃第二坐标系下的多维信息。
[0015]在一种实施方式中，基于点云帧获得特定对象的多维信息，包括：利用多维信息识别模型处理点云帧，得到特定对象的多维信息，其中，多维信息识别模型包括基于稀疏卷积网络的主干网络和基于中心网络的检测头网络。
[0016]本申请另一方面提供一种多维信息标注装置，包括：帧获得模块、信息获得模块和信息转换模块。其中，帧获得模块用于在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括特定对象的视频帧；信息获得模块用于基于点云帧获得特定对象的多维信息，并且获得特定对象的图像在视频帧中的位置范围信息；信息转换模块用于基于坐标系转换参数将第一坐标系下的多维信息转换至第二坐标系下，以利用第二坐标系下的
多维信息标注与视频帧的位置范围信息对应的图像。
[0017]本申请另一方面提供一种电子设备，包括：处理器和存储器。其中，存储器上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如上述的方法。
[0018]本申请另一方面提供一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如上的方法。
[0019]本申请另一方面提供一种计算机程序产品，包括可执行代码，当可执行代码被执行时，实现如上的方法。
[0020]本申请提供的技术方案可以包括以下有益效果：
[0021]本申请实施例的技术方案，考虑到经标定的至少两个激光雷达各自之间的相对位置关系是固定的，即各激光雷达之间的外参处于一个稳定范围内。如果某两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维信息标注方法，其特征在于，包括：在第一坐标系下获得包括特定对象的点云帧，并且在第二坐标系下获得包括所述特定对象的视频帧；基于所述点云帧获得所述特定对象的多维信息，并且获得所述特定对象的图像在所述视频帧中的位置范围信息；基于坐标系转换参数将所述第一坐标系下的多维信息转换至所述第二坐标系下，以利用所述第二坐标系下的多维信息标注与所述视频帧的位置范围信息对应的图像。2.如权利要求1所述的方法，其特征在于，所述多维信息标注方法适用于感知系统，所述感知系统包括设置在移动平台上的至少一个激光雷达和至少一个毫米波雷达；所述在第一坐标系下获得包括特定对象的点云帧，包括：所述激光雷达获得包括所述特定对象的第一点云帧，并且，所述毫米波雷达获得包括所述特定对象的第二点云帧；根据所述激光雷达的采集频率同步融合所述第一点云帧和所述第二点云帧，得到包括所述特定对象的点云帧。3.如权利要求2所述的方法，其特征在于，所述根据所述激光雷达的采集频率同步融合所述第一点云帧和所述第二点云帧，得到包括所述特定对象的点云帧，包括：将接收到的第二点云帧依次存储在特定消息队列中，直至接收到当前第一点云帧；根据特定匹配算法对所述消息队列中的第二点云帧和所述当前第一点云帧进行匹配；根据匹配结果删除所述当前第一点云帧中的误检对象，并且补充所述第一点云帧中的遗漏对象，所述误检对象包括所述当前第一点云帧中未出现在所述第二点云帧中的对象，所述遗漏对象包括所述第二点云帧中未出现在所述当前第一点云帧中的对象。4.如权利要求2所述的方法，其特征在于，所述基于所述点云帧获得所述特定对象的多维信息，包括：获得所述第二点云帧中的所述特定对象的三维信息；基于至少两帧所述第二点云帧之间的时间间隔和所述特定对象的三维信息的变化量，确定所述特定对象的运动信息；将所述特定对象的三维信息和所述特定对象的运动信息作为所述特定对象的多维信息。5.如权利要求4所述的方法，其特征在于，所述特定对象的三维信息包括所述特定对象的位置信息和尺寸信息；所述方法还包括：拟合具有第一平滑度的所述特定对象的轨迹信息，得到具有第二平滑度的所述特定对象的轨迹信息，所述轨迹信息是基于多帧所述第二点云帧中所述特定对象的位置信息来确定的；和/或统计多帧所述第一点云帧和/或所述第二点云帧中所述特定对象的尺寸信息，得到尺寸统计结果，以基于所述尺寸统计结果确定所述特定对象的尺寸信息。6.如权利要求1所述的方法，其特征在于，所述基于坐标系转换参数将所述第一坐标系下的多维信息转换至所述第二坐标系下，包括：
基于第一坐标系转换参数将所述第一坐标系下的多维信息转换至移动平台坐标系下，得到所述移动平台坐标系下的多维信息；基于第二坐标系转换参数将所述移动平台坐标系下的多维信息转换至所述第二坐标系下，得到所述第二坐标系下的多维信息。7.如权利要求6所述的方法，其特征在于，所述特定对象的多维信息包括所述特定对象的三维信息P和运动信息V；所述基于第二坐标系转换参数将所述移动平台坐标系下的多维信息转换至所述第二坐标系下，得到所述第二坐标系下的多...

【专利技术属性】
技术研发人员：刘康伟，张亚南，毛云翔，刘兰个川，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：