三维目标物体映射图像确定方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种三维目标物体映射图像确定方法、装置、设备及存储介质，通过获取相机参数、包含目标场景的点云数据和包含同一目标场景的初始图像数据

【技术实现步骤摘要】
三维目标物体映射图像确定方法、装置、设备及存储介质


[0001]本申请涉及计算机视觉感知和图像处理
，具体涉及一种三维目标物体映射图像确定方法、装置、设备及存储介质。

技术介绍

[0002]随着工业智能化的发展以及对中国工业实体实现智能转型升级，无人机、无人驾驶技术和工业巡检机器人等智能应用设备都出现在了中国的工业智造领域。在这些智能设备中，激光雷达和光学相机成为的代替人眼视觉进行感知作业的关键传感器，借助这些传感器，智能应用设备可以较好地在无人化场景中完成指定的作业(例如，智能巡检机器人日常巡视石油工厂的明火烟雾危险情况、无人机在江河航道监测航运安全情况、无人行车在仓库完成物品的调运装卸)。其中，在无人驾驶避障和无人行车装卸场景中，除了需要通过传感器感知到目标区域的坐标外，还需要根据坐标位置进行相应的避障、抓取货物的主动位移操作，这种操作恰恰需要准确的空间位置信息作为前提。
[0003]在一般环境中，通常采用光学相机采集目标环境的二维图像，或通过激光雷达扫描目标环境的三维信息，但是二维图像受限于图像采集视角的限制，无法得到目标环境的纵深信息，对目标物体的高度感知比较困难；而三维信息包含了目标物体的深度，却无法获悉其平面信息(如物体表面色彩信息)，因此二维图像和三维点云分别都无法准确得到目标物体的完整信息，从而无法实现对目标物体的准确识别和定位。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种三维目标物体映射图像确定方法、装置、设备及存储介质，以解决上述二维图像和三维点云分别都无法准确得到目标物体的完整信息从而无法实现对目标物体的准确识别和定位的技术问题。
[0005]本专利技术提供的一种三维目标物体映射图像确定方法，包括：获取相机参数、包含目标场景点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
[0006]于本专利技术的一个实施例中，获取包含目标场景的点云数据和包含目标场景的初始图像数据，包括：在所述目标场景中放置多个标准参照物，所述标准参照物的高度可调节，且多个标准参照物中存在至少两个标准参照物的高度不同；扫描所述目标场景，并基于扫描得到的三维数据生成点云数据；采集所述目标场景的二维图像，并基于所述采集得到的二维图像确定初始图像数据。
[0007]于本专利技术的一个实施例中，基于所述点云数据确定所述标准参照物的点云中心，包括：将所述点云数据进行可视化处理，得到所述标准参照物在所述点云数据中的模拟图
像；基于所述模拟图像确定模拟图像中心点，并将所述模拟图像中心点确定为所述标准参照物的点云中心。
[0008]于本专利技术的一个实施例中，构建用于将点云数据映射至二维图像中的相机模型，包括：基于所述点云中心点的坐标生成第一坐标集合，基于所述图像中心的坐标生成第二坐标集合，所述第一坐标集合和所述第二坐标集合存在一一映射关系；计算所述第一坐标集合、所述第二坐标集合以及所述相机参数，得到所述标准参照物从点云映射到二维图像的旋转矩阵和平移向量；根据所述旋转矩阵和所述平移向量生成相机模型。
[0009]于本专利技术的一个实施例中，对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域，包括：基于所述初始图像数据确定多张样本图像，所述样本图像中包含有目标物体；对所述样本图像中的目标物体进行标注，以在所述样本图像中确定目标区域，并将标注后的样本图像确定为样本数据集；基于所述样本数据集对数据模型进行训练，得到掩膜提取模型；将所述目标图像输入至所述掩膜提取模型，得到所述目标图像的掩膜信息。
[0010]于本专利技术的一个实施例中，基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像，包括：基于所述相机模型和所述点云数据，将所述点云数据映射至二维图像，得到全景图像，并基于所述全景图像的坐标生成第三坐标集合；将所述目标图像区域的坐标确定为第四坐标集合；将所述第三坐标集合的坐标与所述第四坐标集合的坐标进行匹配，得到重合坐标，所述重合坐标为所述第三坐标集合和所述第四坐标集合都存在的坐标；基于所述重合坐标，生成重合图像，并将所述重合图像确定为所述目标物体的映射图像。
[0011]于本专利技术的一个实施例中，得到所述目标物体的映射图像之后，还包括：基于所述重合坐标、所述相机模型，以及所述点云数据，确定被映射到二维图像上的目标点云坐标，并基于所述重合坐标得到所述重合坐标点的色彩值；将所述色彩值赋予所述目标点云坐标，得到新的点云特征集合。
[0012]本专利技术提供一种目标物体的二维图像确定装置，所述装置包括：数据获取模块，用于获取相机参数、包含目标场景点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；相机模型构建模块，用于基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；掩膜提取模块，用于对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；图像映射模块，用于基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。
[0013]本专利技术提供一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的三维目标物体映射图像确定方法。
[0014]本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的三维目标物体映射图像确定方法。
[0015]本专利技术的有益效果：本专利技术中的一种三维目标物体映射图像确定方法、装置、设备及存储介质，通过获取相机参数、包含目标场景点云数据和包含目标场景的初始图像数据，基于点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，对初始图像数据进行掩膜提取，得到目标物体的目标图像区域，基于相机模
型、点云数据以及目标图像区域，得到目标物体的映射图像，将包含有目标物体的二维图像与包含有目标物体的三维点云信息进行结合，使得三维信息能在二维图像上映射，将目标物体的三维点云信息映射到二维图像中，得到目标物体的二维图像，从而实现在复杂环境中对目标物体的准确识别和定位。
[0016]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见的，下面描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标物体映射图像确定方法，其特征在于，所述方法包括：获取相机参数、包含目标场景的点云数据和包含同一目标场景的初始图像数据，所述目标场景包括目标物体和标准参照物；基于所述点云数据确定所述标准参照物的点云中心，以构建用于将点云数据映射至二维图像中的相机模型，所述相机模型是结合所述点云中心、相机参数和标准参照物的图像中心构建；对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域；基于所述相机模型、所述点云数据以及所述目标图像区域，得到所述目标物体的映射图像。2.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，获取包含目标场景的点云数据和包含目标场景的初始图像数据，包括：在所述目标场景中放置多个标准参照物，所述标准参照物的高度可调节，且多个标准参照物中存在至少两个标准参照物的高度不同；扫描所述目标场景，并基于扫描得到的三维数据生成点云数据；采集所述目标场景的二维图像，并基于所述采集得到的二维图像确定初始图像数据。3.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，基于所述点云数据确定所述标准参照物的点云中心，包括：将所述点云数据进行可视化处理，得到所述标准参照物在所述点云数据中的模拟图像；基于所述模拟图像确定模拟图像中心，并将所述模拟图像中心确定为所述标准参照物的点云中心。4.根据权利要求3所述的三维目标物体映射图像确定方法，其特征在于，构建用于将点云数据映射至二维图像中的相机模型，包括：基于所述点云中心点的坐标生成第一坐标集合，基于所述图像中心的坐标生成第二坐标集合，所述第一坐标集合和所述第二坐标集合存在一一映射关系；计算所述第一坐标集合、所述第二坐标集合以及所述相机参数，得到所述标准参照物从点云映射到二维图像的旋转矩阵和平移向量；根据所述旋转矩阵和所述平移向量生成相机模型。5.根据权利要求1所述的三维目标物体映射图像确定方法，其特征在于，对初始图像数据进行掩膜提取，得到所述目标物体的目标图像区域，包括：基于所述初始图像数据确定多张样本图像，所述样本图像中包含有目标物体；对所述样本图像中的目标物体进行标注，以在所述样本图像中确定目标区域，并将标注后的样本图像确定为样本数据集；基于所述样本数据集对数据模型进行训练，得到掩膜提取模型；将...

【专利技术属性】
技术研发人员：刘俊林，王容基，刘娟，黄永华，荆游，徐灿，彭燕华，
申请(专利权)人：中冶赛迪信息技术重庆有限公司，
类型：发明
国别省市：