【技术实现步骤摘要】
本申请涉及计算机视觉，尤其涉及一种三维图像生成方法、装置、设备及存储介质。
技术介绍
1、近年来，随着人工智能的快速发展，机器人作业、虚拟现实等领域受到了极大关注，通过搭载的传感器设备对应的三维理解技术来感知、理解和解释所检测到的目标实例，进而对目标实例进行三维场景重建，是这些领域重要的技术环节，也是后续的决策阶段和执行阶段的基础。
2、现有的三维理解技术主要以直接推断多目标整体三维信息的单阶段方案为主，该方案将目标实例视为其二维图像的中心点，而每个中心点都包含该目标实例的完整三维信息，这种方法虽然在实时性、遮挡场景表现以及三维形状精度上具有优势，但其仅在训练方式上完成了由边界框模式向无边界框模式的迁移，没有实例分割带来的强制区域约束，使用的目标检测任务架构在小数据集上也难以提取类别级特征，从而无法很好地处理目标实例的类内差异性，导致在目标检测与空间定位方面性能较差。
技术实现思路
1、本申请的主要目的在于提供一种三维图像生成方法、装置、设备及存储介质，旨在解决相关技术中，通过直接推断多目标整体三维信息的单阶段方案对目标实例进行检测，无法很好地处理目标实例的类内差异性，导致在目标检测与空间定位方面性能较差的技术问题。
2、为实现上述目的，本申请实施例提供了一种三维图像生成方法，所述方法包括：
3、获取原始rgb图像数据；
4、将所述原始rgb图像数据输入至预设图像处理模型，基于所述预设图像处理模型，对所述原始rgb图像数据的像素坐标系
5、对所述低分辨率深度图像进行三维转换，得到目标三维图像。
6、在本申请的一种可能的实施方式中，所述对所述原始rgb图像数据的像素坐标系数据与相机坐标系数据进行融合处理，得到低分辨率深度图像的步骤，包括：
7、对所述原始rgb图像数据进行向量计算，得到所述原始rgb图像数据中多个像素点的第一法向量；
8、对所述像素坐标系数据与所述相机坐标系数据的坐标系点集进行聚类处理，得到聚类特征数据；
9、将所述第一法向量与所述聚类特征数据进行特征融合，得到低分辨率深度图像。
10、在本申请的一种可能的实施方式中，所述对所述像素坐标系数据与所述相机坐标系数据的坐标系点集进行聚类处理，得到聚类特征数据的步骤，包括：
11、对所述像素坐标系数据与所述相机坐标系数据的坐标系点集进行特征提取，得到像素坐标特征数据和相机坐标特征数据；
12、根据所述像素坐标特征数据和相机坐标特征数据的相似程度，对多个点集特征数据进行特征聚合，得到聚类特征数据。
13、在本申请的一种可能的实施方式中，所述对所述原始rgb图像数据进行向量计算，得到所述原始rgb图像数据中多个像素点的第一法向量的步骤，包括：
14、对所述原始rgb图像数据进行数据增强处理，得到第一增强数据；
15、对所述第一增强数据进行二维梯度计算，得到梯度计算值；
16、选取所述梯度计算值中的最大值，并确定所述梯度计算值中的最大值为所述第一增强数据中各像素点的第一法向量。
17、在本申请的一种可能的实施方式中，所述对所述低分辨率深度图像进行三维转换，得到目标三维图像的步骤，包括：
18、根据所述原始rgb图像数据中多个目标示例，生成目标高斯热值图；
19、根据所述低分辨率深度图像中的聚合特征以及目标高斯热值图，进行三维点云重建，得到目标三维图像。
20、在本申请的一种可能的实施方式中，所述根据所述原始rgb图像数据中多个目标示例，生成目标高斯热值图的步骤之后，包括：
21、根据所述目标高斯热值图，计算得到所述目标高斯热值图中的多个目标实例中心坐标，并基于多个所述目标实例中心坐标，确定整体三维信息参数图；
22、提取所述整体三维信息参数图中所有目标实例的完整三维信息。
23、在本申请的一种可能的实施方式中，所述对所述低分辨率深度图像进行三维转换，得到目标三维图像的步骤之后，包括：
24、根据所述目标三维图像的目标实例在二维坐标系上的中心点数据，计算得到中心距离估计结果；
25、对所述中心距离估计结果与所述整体三维信息参数图的回归结果进行一致性约束处理，使得输入的所述目标实例收敛。
26、本申请还提供一种三维图像生成装置，所述三维图像生成装置包括：
27、获取模块，用于获取原始rgb图像数据；
28、第一处理模块，用于将所述原始rgb图像数据输入至预设图像处理模型，基于所述预设图像处理模型，对所述原始rgb图像数据的像素坐标系数据与相机坐标系数据进行融合处理，得到低分辨率深度图像；其中，所述相机坐标系数据包括所述原始rgb图像数据的深度图像信息以及二维相机坐标数据，且所述深度图像信息不作为原始输入，而是用于粗粒度合成图像；
29、转换模块，用于对所述低分辨率深度图像进行三维转换，得到目标三维图像。
30、本申请还提供一种三维图像生成设备，所述三维图像生成设备为实体节点设备，所述三维图像生成设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述三维图像生成方法的程序，所述三维图像生成方法的程序被处理器执行时可实现如上述所述三维图像生成方法的步骤。
31、为实现上述目的，还提供一种存储介质，所述存储介质上存储有三维图像生成程序，所述三维图像生成程序被处理器执行时实现上述任一所述的三维图像生成方法的步骤。
32、本申请提供了一种三维图像生成方法、装置、设备及存储介质。与相关技术中，通过直接推断多目标整体三维信息的单阶段方案对目标实例进行检测，无法很好地处理目标实例的类内差异性，导致在目标检测与空间定位方面性能较差相比，在本申请中，获取原始rgb图像数据；将所述原始rgb图像数据输入至预设图像处理模型，基于所述预设图像处理模型，对所述原始rgb图像数据的像素坐标系数据与相机坐标系数据进行融合处理，得到低分辨率深度图像；其中，所述相机坐标系数据包括所述原始rgb图像数据的深度图像信息以及二维相机坐标数据，且所述深度图像信息不作为原始输入，而是用于粗粒度合成图像；对所述低分辨率深度图像进行三维转换，得到目标三维图像。在本申请中，通过获取原始rgb图像数据，将原始rgb图像数据分为相机坐标系数据和像素坐标系数据分双端输入，并将原始rgb图像数据的深度图像信息用于粗粒度合成图像，而不是作为原始输入，从而避免网络对原始输入图像进行各个特征网络的相关操作后，破坏图像中隐含的三维结构，提高目标检测与空间定位方面性能，进而，对检测到的图像数据准确地进行三维重建。
本文档来自技高网...【技术保护点】
1.一种三维图像生成方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的三维图像生成方法，其特征在于，所述对所述原始RGB图像数据的像素坐标系数据与相机坐标系数据进行融合处理，得到低分辨率深度图像的步骤，包括：
3.如权利要求2所述的三维图像生成方法，其特征在于，所述对所述像素坐标系数据与所述相机坐标系数据的坐标系点集进行聚类处理，得到聚类特征数据的步骤，包括：
4.如权利要求2所述的三维图像生成方法，其特征在于，所述对所述原始RGB图像数据进行向量计算，得到所述原始RGB图像数据中多个像素点的第一法向量的步骤，包括：
5.如权利要求1所述的三维图像生成方法，其特征在于，所述对所述低分辨率深度图像进行三维转换，得到目标三维图像的步骤，包括：
6.如权利要求5所述的三维图像生成方法，其特征在于，所述根据所述原始RGB图像数据中多个目标示例，生成目标高斯热值图的步骤之后，包括：
7.如权利要求6所述的三维图像生成方法，其特征在于，所述对所述低分辨率深度图像进行三维转换，得到目标三维图像的步骤之后，包括
8.一种三维图像生成装置，其特征在于，所述三维图像生成装置包括：
9.一种三维图像生成设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维图像生成程序，所述三维图像生成程序配置为实现如权利要求1至7中任一项所述的三维图像生成方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有三维图像生成程序，所述三维图像生成程序被处理器执行时实现如权利要求1至7中任一项所述的三维图像生成方法的步骤。
...【技术特征摘要】
1.一种三维图像生成方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的三维图像生成方法，其特征在于，所述对所述原始rgb图像数据的像素坐标系数据与相机坐标系数据进行融合处理，得到低分辨率深度图像的步骤，包括：
3.如权利要求2所述的三维图像生成方法，其特征在于，所述对所述像素坐标系数据与所述相机坐标系数据的坐标系点集进行聚类处理，得到聚类特征数据的步骤，包括：
4.如权利要求2所述的三维图像生成方法，其特征在于，所述对所述原始rgb图像数据进行向量计算，得到所述原始rgb图像数据中多个像素点的第一法向量的步骤，包括：
5.如权利要求1所述的三维图像生成方法，其特征在于，所述对所述低分辨率深度图像进行三维转换，得到目标三维图像的步骤，包括：
6.如权利要求5所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。