物体姿态估计方法、装置、电子设备及可读存储介质制造方法及图纸

本申请实施例提供了一种物体姿态估计方法、装置、电子设备及可读存储介质，包括：确定待处理图像中的关键点信息，并基于关键点信息对应的关键点特征图，确定修正后的关键点信息，进而基于修正后的关键点信息，估计待处理图像中的物体姿态，在保证物体姿态估计精度的同时，避免了图像渲染成本带来的耗时，能够有效提升AR应用的处理速度。同时，由电子设备执行的上述物体姿态估计方法可以使用人工智能模型来执行。模型来执行。模型来执行。

【技术实现步骤摘要】
物体姿态估计方法、装置、电子设备及可读存储介质


[0001]本申请涉及计算机视觉
，具体而言，本申请涉及一种物体姿态估计方法、装置、电子设备及可读存储介质。

技术介绍

[0002]基于计算机视觉的增强现实(Augmented Reality，AR)技术，通过在用户面前的现实场景中添加虚拟内容来为用户提供真实的信息体验。
[0003]在三维空间中，增强现实系统需要对周围物体的三维状态具有高精度的实时处理和理解，以完成在用户面前呈现高质量的虚实融合效果。因此准确且快速的物体姿态估计对于AR交互来说非常重要。
[0004]现有的姿态估计方法因耗时过多而难以满足速度要求较高的AR场景的使用需求。

技术实现思路

[0005]本申请实施例的目的旨在能解决如何提高物体姿态估计的处理速度的问题。
[0006]根据本申请实施例的一个方面，提供了一种物体姿态估计方法，该方法包括：
[0007]确定待处理图像中的关键点信息；
[0008]基于关键点信息对应的关键点特征图，确定修正后的关键点信息；
[0009]基于修正后的关键点信息，估计待处理图像中的物体姿态。
[0010]根据本申请实施例的一个方面，还提供了一种物体姿态估计方法，该方法包括：
[0011]将输入图像转换为预定图像风格的待处理图像；
[0012]确定待处理图像中的关键点信息；
[0013]基于关键点信息，估计输入图像中的物体姿态。
[0014]根据本申请实施例的另一个方面，提供了一种物体姿态估计装置，该装置包括：
[0015]确定模块，用于确定待处理图像中的关键点信息；
[0016]修正模块，用于基于关键点信息对应的关键点特征图，确定修正后的关键点信息；
[0017]估计模块，那个基于修正后的关键点信息，估计待处理图像中的物体姿态。
[0018]根据本申请实施例的另一个方面，还提供了一种物体姿态估计装置，该装置包括：
[0019]风格转换模块，用于将输入图像转换为预定图像风格的待处理图像；
[0020]关键点确定模块，用于确定待处理图像中的关键点信息；
[0021]物体姿态估计模块，用于基于关键点信息，估计输入图像中的物体姿态。
[0022]根据本申请实施例的又一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现本申请实施例提供的物体姿态估计方法的步骤。
[0023]根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的物体姿态估计方法的步骤。
[0024]根据本申请实施例的还一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的物体姿态估计方法的步骤。
[0025]本申请实施例提供的物体姿态估计方法、装置、电子设备及可读存储介质，通过确定待处理图像中的关键点信息，并基于关键点信息对应的关键点特征图，确定修正后的关键点信息，在保证物体姿态估计精度的同时，避免了图像渲染成本带来的耗时，能够有效提升AR应用的处理速度。
附图说明
[0026]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0027]图1为本申请实施例提供的一种物体姿态估计方法的流程示意图；
[0028]图2为本申请实施例提供的一种图像风格转换方法的示意图；
[0029]图3为本申请实施例提供的一种物体姿态估计细化方法的示意图；
[0030]图4a为本申请实施例提供的一种细化网络的示意图；
[0031]图4b为本申请实施例提供的修正后的关键点信息的可视化示意图一；
[0032]图5a为本申请实施例提供的一种姿态估计迭代细化方法的示意图；
[0033]图5b为本申请实施例提供的修正后的关键点信息的可视化示意图二；
[0034]图6a为本申请实施例提供的一种完整物体姿态估计的示意图；
[0035]图6b为本申请实施例提供的估计的处理图像中的物体姿态的可视化示意图；
[0036]图7为本申请实施例提供的另一种物体姿态估计方法的流程示意图
[0037]图8为本申请实施例提供的一种物体姿态估计装置的结构示意图；
[0038]图9为本申请实施例提供的另一种物体姿态估计装置的结构示意图；
[0039]图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0040]下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
[0041]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作和/或组件，但不排除实现为本
所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
[0042]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方
式作进一步地详细描述。
[0043]物体姿态估计方法通常由2个主要阶段组成：第一个阶段会采用各种方式给定初始姿态估计。第二个阶段进行细化(refinement)，如使用渲染
‑
比较方法来改进前一阶段的姿态。然而，这种方法的细化过程因为涉及图像渲染，需要消耗大量的计算资源和计算时间，在AR应用场景中造成较长的延迟，不能带来好的用户体验。
[0044]针对上述技术问题或需要改善的地方，本申请实施例提出一种物体姿态估计方法、装置、电子设备及可读存储介质，用于实现准确且快速的增强现实交互。
[0045]下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
[0046]本申请实施例中提供了一种物体姿态估计方法，如图1所示，该方法包括：
[0047]步骤S101：确定待处理图像中的关键点信息；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体姿态估计方法，其特征在于，包括：确定待处理图像中的关键点信息；基于所述关键点信息对应的关键点特征图，确定修正后的关键点信息；基于所述修正后的关键点信息，估计所述待处理图像中的物体姿态。2.根据权利要求1所述的方法，其特征在于，所述确定待处理图像中的关键点信息之前，还包括：获取输入图像；将所述输入图像转换为预定图像风格的图像，得到所述待处理图像。3.根据权利要求2所述的方法，其特征在于，所述将所述输入图像转换为预定图像风格的图像，得到所述待处理图像，包括：通过内容骨干网络提取所述输入图像的图像内容特征；获取预设的图像风格特征；通过双边网络，将所述图像内容特征和所述图像风格特征进行融合，得到融合特征；通过渲染器，基于所述融合特征对所述输入图像进行渲染，得到所述待处理图像。4.根据权利要求3所述的方法，其特征在于，所述图像内容特征为低分辨率图像内容特征；所述图像风格特征为低分辨率图像风格特征。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述基于所述关键点信息对应的关键点特征图，确定修正后的关键点信息，包括：对所述关键点信息对应的关键点特征图进行关键点偏移回归，得到关键点偏移残差信息；基于所述关键点偏移残差信息和所述关键点信息，得到所述修正后的关键点信息。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述关键点信息为2D关键点信息，该方法还包括：重复执行以下操作，直至满足停止条件：基于估计出的所述待处理图像中的物体姿态，确定所述待处理图像中物体的3D关键点映射信息；基于所述3D关键点映射信息，得到更新的关键点信息；基于更新的关键点信息，重新确定修正后的关键点信息，并基于重新确定的修正后的关键点信息，估计所述待处理图像中的物体姿态；其中，所述停止条件包括以下至少之一：关键点修正前后的差值小于阈值；关键点修正达到预定次数。7.根据权利要求6所述的方法，其特征在于，所述基于估计出的所述待处理图像中的物体姿态，确定所述待处理图像中物体的3D关键点映射信息，包括：基于估计出的所述待处理图像中的物体姿态、预设的3D模型集合、以及相机内在矩阵，确定所述待处理图像中物体的3D关键点映射信息。8.根据权利要求6所述的方法，其特征在于，所述关键...

【专利技术属性】
技术研发人员：何宝，李炜明，金知姸，张现盛，洪性勋，王强，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：