【技术实现步骤摘要】
本公开涉及驾驶技术，尤其是一种三维视觉感知方法、模型的训练方法、装置、介质及设备。
技术介绍
1、自动驾驶技术在车辆等可移动设备上的应用越来越广泛，使用自动驾驶技术时，可以执行三维视觉感知任务(例如3d目标检测任务)，三维视觉感知任务一般需要由特定的神经网络模型来执行。
技术实现思路
1、目前，用于执行三维视觉感知任务的神经网络模型的泛化性差，导致三维视觉感知结果的准确性和可靠性难以保证。
2、为了解决上述技术问题，本公开提供了一种用于三维视觉感知方法、模型的训练方法、装置、介质及电子设备，以保证三维视觉感知结果的准确性和可靠性。
3、根据本公开的一个方面，提供了一种三维视觉感知方法，包括：
4、获取设置于可移动设备的相机采集的图像；
5、基于所述图像对应的相机参数，确定所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息；
6、基于所述至少部分像素点各自对应的所述位置信息，生成位置编码特征图；
7、基于所述图像和所述位置编码特征图，生成融合特征图；
8、基于所述融合特征图，经由三维视觉感知模型，生成所述图像对应的三维视觉感知结果。
9、本公开的另一个方面，提供了一种用于实现三维视觉感知的模型的训练方法，包括：
10、获取包括可移动设备周围的环境信息的训练图像；
11、基于所述训练图像对应的相机参数，确定所述训练图像中的至少部分训练像素点各自对应的相机坐标系
12、基于所述至少部分训练像素点各自对应的所述训练位置信息，生成训练位置编码特征图；
13、基于所述训练图像和所述训练位置编码特征图，生成训练融合特征图；
14、基于所述训练融合特征图，经由待训练三维视觉感知模型，生成所述训练图像对应的训练三维视觉感知结果；
15、对所述训练图像进行信息标注，得到与三维视觉感知任务关联的标注数据；
16、利用所述训练三维视觉感知结果与所述标注数据之间的误差，对所述待训练三维视觉感知模型进行训练；
17、响应于训练后的所述待训练三维视觉感知模型满足预设训练结束条件，将训练后的所述待训练三维视觉感知模型确定为三维视觉感知模型。
18、根据本公开的再一个方面，提供了一种三维视觉感知装置，包括：
19、第一获取模块，用于获取设置于可移动设备的相机采集的图像；
20、第一确定模块，用于基于所述第一获取模块获取的所述图像对应的相机参数，确定所述第一获取模块获取的所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息；
21、第一生成模块，用于基于所述第一确定模块确定的所述至少部分像素点各自对应的所述位置信息，生成位置编码特征图；
22、第二生成模块，用于基于所述第一获取模块获取的所述图像和所述第一生成模块生成的所述位置编码特征图，生成融合特征图；
23、第三生成模块，用于基于所述第二生成模块生成的所述融合特征图，经由三维视觉感知模型，生成所述第一获取模块获取的所述图像对应的三维视觉感知结果。
24、根据本公开的又一个方面，提供了一种用于实现三维视觉感知的模型的训练装置，包括：
25、第二获取模块，用于获取包括可移动设备周围的环境信息的训练图像；
26、第二确定模块，用于基于所述第二获取模块获取的所述训练图像对应的相机参数，确定所述训练图像中的至少部分训练像素点各自对应的相机坐标系下的训练位置信息；
27、第四生成模块，用于基于所述第二确定模块确定的所述至少部分训练像素点各自对应的所述训练位置信息，生成训练位置编码特征图；
28、第五生成模块，用于基于所述第二获取模块获取的所述训练图像和所述第四生成模块生成的所述训练位置编码特征图，生成训练融合特征图；
29、第六生成模块，用于基于所述第五生成模块生成的所述训练融合特征图，经由待训练三维视觉感知模型，生成所述第二获取模块获取的所述训练图像对应的训练三维视觉感知结果；
30、信息标注模块，用于对所述第二获取模块获取的所述训练图像进行信息标注，得到与三维视觉感知任务关联的标注数据；
31、训练模块，用于利用所述第六生成模块生成的所述训练三维视觉感知结果与所述信息标注模块得到的所述标注数据之间的误差，对所述待训练三维视觉感知模型进行训练；
32、第三确定模块，用于响应于经所述训练模块训练后的所述待训练三维视觉感知模型满足预设训练结束条件，将经所述训练模块训练后的所述待训练三维视觉感知模型确定为三维视觉感知模型。
33、根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述三维视觉感知方法，或者执行上述用于实现三维视觉感知的模型的训练方法。
34、根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
35、处理器；
36、用于存储所述处理器可执行指令的存储器；
37、所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述三维视觉感知方法，或者实现上述用于实现三维视觉感知的模型的训练方法。
38、根据本公开实施例的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行上述三维视觉感知方法，或者执行上述用于实现三维视觉感知的模型的训练方法。
39、基于本公开上述实施例提供的三维视觉感知方法、模型的训练方法、装置、介质、设备及产品，可以获取设置于可移动设备的相机采集的图像，基于图像对应的相机参数，确定图像中的至少部分像素点各自对应的相机坐标系下的位置信息，并基于至少部分像素点各自对应的位置信息，生成位置编码特征图，显然，位置编码特征图的生成运用了图像对应的相机参数，位置编码特征图可以承载有相机参数信息，相应地，基于图像和位置编码特征图生成的融合特征图也可以承载有相机参数信息。基于融合特征图，可以经由三维视觉感知模型，生成图像对应的三维视觉感知结果，这样，可以认为在针对相机采集的图像执行三维视觉感知任务时，该相机的相机参数信息被引入三维视觉感知模型的运算过程，那么，三维视觉感知模型生成的三维视觉感知结果能够尽可能与该相机的相机参数适配，因此，即便三维视觉感知模型的训练依据的是与该相机的相机参数存在较大差异的其他相机采集的图像，也能够较好地保证三维视觉感知结果的准确性和可靠性。
本文档来自技高网...【技术保护点】
1.一种三维视觉感知方法，包括：
2.根据权利要求1所述的方法，其中，所述基于所述图像对应的相机参数，确定所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息，包括：
3.根据权利要求2所述的方法，其中，所述预设参考平面高度值包括：预设天空平面高度值和预设地平面高度值；
4.根据权利要求1所述的方法，其中，
5.根据权利要求4所述的方法，其中，所述基于所述图像对应的相机参数，确定所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息，包括：
6.根据权利要求4所述的方法，其中，所述对所述第一中间特征图与所述位置编码特征图进行融合，得到融合特征图，包括：
7.根据权利要求1-6中任一项所述的方法，其中，所述至少部分像素点中的任一目标像素点对应的所述位置信息包括：沿所述相机坐标系的X轴的第一坐标值、沿所述相机坐标系的Y轴的第二坐标值、沿所述相机坐标系的Z轴的第三坐标值，并且，所述目标像素点对应的所述第一坐标值、所述第二坐标值和所述第三坐标值存储于所述位置编码特征图的不同通道的对应位置。
8.
9.一种三维视觉感知装置，包括：
10.一种用于实现三维视觉感知的模型的训练装置，包括：
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一所述的三维视觉感知方法，或者执行上述权利要求8所述的用于实现三维视觉感知的模型的训练方法。
12.一种电子设备，所述电子设备包括：
...【技术特征摘要】
1.一种三维视觉感知方法，包括：
2.根据权利要求1所述的方法，其中，所述基于所述图像对应的相机参数，确定所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息，包括：
3.根据权利要求2所述的方法，其中，所述预设参考平面高度值包括：预设天空平面高度值和预设地平面高度值；
4.根据权利要求1所述的方法，其中，
5.根据权利要求4所述的方法，其中，所述基于所述图像对应的相机参数，确定所述图像中的至少部分像素点各自对应的相机坐标系下的位置信息，包括：
6.根据权利要求4所述的方法，其中，所述对所述第一中间特征图与所述位置编码特征图进行融合，得到融合特征图，包括：
7.根据权利要求1-6中任一项所述的方法，其中，所述至少部分像素点中...
【专利技术属性】
技术研发人员：王昕杰，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。