一种位置确定方法及装置制造方法及图纸

本申请公开了一种位置确定方法，该方法包括：获取包括用户手部的深度图像，根据该深度图像得到手部的N个关节分别对应的第一坐标和第二坐标。第一坐标为在图像坐标系中的二维坐标，第二坐标为在世界坐标系中的三维坐标。由于根据深度图像得到的关节的三维坐标可能不太准确，因此，在本申请实施例中，除了计算得到三维坐标之外，还可以计算得到关节的二维坐标。并结合关节的二维坐标和三维坐标来确定关节的位置。具体地，若关节的二维坐标比较准确，则将关节的第一坐标和关节的第二坐标的z值所确定的三维坐标确定为关节的位置，若关节的三维坐标比较准确，则将关节的三维坐标确定为关节的位置，从而使得所确定的关节位置更加准确。

【技术实现步骤摘要】
一种位置确定方法及装置
本申请涉及图像处理领域，特别是涉及一种位置确定方法及装置。
技术介绍
随着增强现实(AugmentedReality，AR)技术和混合现实(MixedReality，MR)技术的发展，用户与虚拟世界的物体进行交互成为可能。用户与虚拟世界的物体进行交互最直接的方式是通过手势交互。因此，确定用户的手势尤为重要。具体地，可以通过用户的手指关节的实际位置，来确定用户的手势。目前的确定手指关节位置的方案，并不能准确的确定出手指关节的实际位置。因此，急需一种方案，可以解决上述问题。
技术实现思路
本申请所要解决的技术问题是：传统技术所确定的手指关节的实际位置不准确，提供一种位置确定方法及装置。第一方面，本申请实施例提供了一种位置确定方法，所述方法包括：获取包括用户手部的深度图像；根据所述深度图像得到所述手部的N个关节分别对应的第一坐标和第二坐标，所述第一坐标为在图像坐标系中的二维坐标，所述第二坐标为在世界坐标系中的三维坐标；根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，其中，第一关节为所述N个关节中的任意一个关节，所述第一关节的位置为：根据所述第一关节的所述第一坐标和所述第一关节对应的深度值得到的在世界坐标系中的三维坐标，或者，所述第一关节的所述第二坐标。可选的，所述根据所述深度图像得到所述手部的N个关节分别对应的第一坐标，包括：根据所述深度图像确定所述N个关节分别对应的热图，其中，所述第一关节的热图包括多个像素和所述多个像素的概率值，所述多个像素的概率值用于指示所述多个像素为第一关节的概率；根据所述N个关节分别对应的热图计算得到所述N个关节对应的第一坐标；其中：第一关节对应的第一坐标，通过如下方式计算得到：根据所述第一关节对应的热图中第一像素对应的概率值、所述第一像素在图像坐标系中的坐标、第一像素的M个邻域像素的概率值以及所述M个邻域像素在图像坐标系中的坐标，计算得到所述第一关节对应的第一坐标，所述第一像素对应的概率值为所述第一关节对应的热图中包括的各个像素的概率值的最大值。可选的，所述根据所述深度图像确定所述N个关节分别对应的热图，包括：将所述深度图像输入第一深度学习模型中，得到所述N个关节分别对应的热图，其中，所述第一深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的热图。可选的，所述根据所述深度图像得到所述手部的N个关节分别对应的第二坐标，包括：将所述深度图像输入第二深度学习模型中，得到所述N个关节分别对应的第二坐标，其中，所述第二深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的第二坐标。可选的，若第一关节的所述第一坐标符合预设约束条件，则所述第一关节的位置为根据所述第一关节的所述第一坐标和所述第一关节的所述第二坐标指示的深度值得到的三维坐标，若所述第一关节的所述第二坐标符合所述预设约束条件，则所述第一关节的位置为所述第一关节的所述第二坐标。可选的，若所述第一关节的所述第一坐标满足以下任意一项或者多项，则确定所述第一关节的所述第一坐标符合预设约束条件：当所述第一关节为手指根关节或者手腕关节时，根据所述第一关节的第一坐标计算得到的手指根关节与手腕关节之间的骨骼满足手掌骨骼约束；或者，根据所述第一关节的第一坐标计算得到的手指骨骼长度在预设长度范围内；或者，根据所述第一关节的第一坐标计算得到的手指骨骼方向与人手的骨骼方向相符；或者，根据所述第一关节的第一坐标计算得到的手指骨骼包括的深度无效像素的数量小于预设数量阈值，所述深度无效像素指的是深度值为无效值的像素；若所述第一关节的所述第二坐标满足以下任意一项或者多项，则确定所述第一关节的所述第二坐标符合预设约束条件：当所述第一关节为手指根关节或者手腕关节时，根据所述第一关节的第二坐标计算得到的手指根关节与手腕关节之间的骨骼满足手掌骨骼约束；或者，根据所述第一关节的第二坐标计算得到的手指骨骼长度在预设长度范围内；或者，根据所述第一关节的第二坐标计算得到的手指骨骼方向与人手的骨骼方向相符；或者，根据所述第一关节的第二坐标计算得到的手指骨骼包括的深度无效像素的数量小于所述预设数量阈值。可选的，根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，包括：若第一关节为手腕关节，则将所述手腕关节对应的第一坐标和所述第一关节对应的深度值得到的三维坐标，确定为所述第一关节的位置；或者，若所述第一关节对应的深度值为无效值，则将所述第一关节对应的第二坐标确定为所述第一关节的位置。第二方面，本申请实施例提供了一种位置确定装置，所述装置包括：获取单元，用于获取包括用户手部的深度图像；第一确定单元，用于根据所述深度图像得到所述手部的N个关节分别对应的第一坐标，所述第一坐标为在图像坐标系中的二维坐标；第二确定单元，用于根据所述深度图像得到所述手部的N个关节分别对应的第二坐标，所述第二坐标为在世界坐标系中的三维坐标；第三确定单元，用于根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，其中，第一关节为所述N个关节中的任意一个关节，所述第一关节的位置为：根据所述第一关节的所述第一坐标和所述第一关节对应的深度值得到的在世界坐标系中的三维坐标，或者，所述第一关节的所述第二坐标。可选的，所述第一确定单元，包括：第一确定子单元，用于根据所述深度图像确定所述N个关节分别对应的热图，其中，所述第一关节的热图包括多个像素和所述多个像素的概率值，所述多个像素的概率值用于指示所述多个像素为第一关节的概率；第二确定子单元，用于根据所述N个关节分别对应的热图计算得到所述N个关节对应的第一坐标；其中：第一关节对应的第一坐标，通过如下方式计算得到：根据所述第一关节对应的热图中第一像素对应的概率值、所述第一像素在图像坐标系中的坐标、第一像素的M个邻域像素的概率值以及所述M个邻域像素在图像坐标系中的坐标，计算得到所述第一关节对应的第一坐标，所述第一像素对应的概率值为所述第一关节对应的热图中包括的各个像素的概率值的最大值。可选的，所述第一确定子单元，具体用于：将所述深度图像输入第一深度学习模型中，得到所述N个关节分别对应的热图，其中，所述第一深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的热图。可选的，所述第二确定单元，具体用于：将所述深度图像输入第二深度学习模型中，得到所述N个关节分别对应的第二坐标，其中，所述第二深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的第二坐标。可选的，若第一关节的所述第一坐标符合预设约束条件，则所述第一关节的位置为根据所述第一关节的所述第一坐标和所述第一关节的所述第二坐标指示的深度值得到的三维坐标，若所述第一关节的所述第二坐标符合所述预设约束条件，则所述第本文档来自技高网...

【技术保护点】
1.一种位置确定方法，其特征在于，所述方法包括：/n获取包括用户手部的深度图像；/n根据所述深度图像得到所述手部的N个关节分别对应的第一坐标和第二坐标，所述第一坐标为在图像坐标系中的二维坐标，所述第二坐标为在世界坐标系中的三维坐标；/n根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，其中，第一关节为所述N个关节中的任意一个关节，所述第一关节的位置为：根据所述第一关节的所述第一坐标和所述第一关节对应的深度值得到的在世界坐标系中的三维坐标，或者，所述第一关节的所述第二坐标。/n

【技术特征摘要】
1.一种位置确定方法，其特征在于，所述方法包括：
获取包括用户手部的深度图像；
根据所述深度图像得到所述手部的N个关节分别对应的第一坐标和第二坐标，所述第一坐标为在图像坐标系中的二维坐标，所述第二坐标为在世界坐标系中的三维坐标；
根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，其中，第一关节为所述N个关节中的任意一个关节，所述第一关节的位置为：根据所述第一关节的所述第一坐标和所述第一关节对应的深度值得到的在世界坐标系中的三维坐标，或者，所述第一关节的所述第二坐标。


2.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像得到所述手部的N个关节分别对应的第一坐标，包括：
根据所述深度图像确定所述N个关节分别对应的热图，其中，所述第一关节的热图包括多个像素和所述多个像素的概率值，所述多个像素的概率值用于指示所述多个像素为第一关节的概率；
根据所述N个关节分别对应的热图计算得到所述N个关节对应的第一坐标；
其中：第一关节对应的第一坐标，通过如下方式计算得到：
根据所述第一关节对应的热图中第一像素对应的概率值、所述第一像素在图像坐标系中的坐标、第一像素的M个邻域像素的概率值以及所述M个邻域像素在图像坐标系中的坐标，计算得到所述第一关节对应的第一坐标，所述第一像素对应的概率值为所述第一关节对应的热图中包括的各个像素的概率值的最大值。


3.根据权利要求2所述的方法，其特征在于，所述根据所述深度图像确定所述N个关节分别对应的热图，包括：
将所述深度图像输入第一深度学习模型中，得到所述N个关节分别对应的热图，其中，所述第一深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的热图。


4.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述深度图像得到所述手部的N个关节分别对应的第二坐标，包括：
将所述深度图像输入第二深度学习模型中，得到所述N个关节分别对应的第二坐标，其中，所述第二深度学习模型用于根据包括用户手部的深度图像得到手部的N个关节分别对应的第二坐标。


5.根据权利要求1所述的方法，其特征在于，
若第一关节的所述第一坐标符合预设约束条件，则所述第一关节的位置为根据所述第一关节的所述第一坐标和所述第一关节的所述第二坐标指示的深度值得到的三维坐标，若所述第一关节的所述第二坐标符合所述预设约束条件，则所述第一关节的位置为所述第一关节的所述第二坐标。


6.根据权利要求5所述的方法，其特征在于，若所述第一关节的所述第一坐标满足以下任意一项或者多项，则确定所述第一关节的所述第一坐标符合预设约束条件：
当所述第一关节为手指根关节或者手腕关节时，根据所述第一关节的第一坐标计算得到的手指根关节与手腕关节之间的骨骼满足手掌骨骼约束；或者，根据所述第一关节的第一坐标计算得到的手指骨骼长度在预设长度范围内；或者，根据所述第一关节的第一坐标计算得到的手指骨骼方向与人手的骨骼方向相符；或者，根据所述第一关节的第一坐标计算得到的手指骨骼包括的深度无效像素的数量小于预设数量阈值，所述深度无效像素指的是深度值为无效值的像素；
若所述第一关节的所述第二坐标满足以下任意一项或者多项，则确定所述第一关节的所述第二坐标符合预设约束条件：
当所述第一关节为手指根关节或者手腕关节时，根据所述第一关节的第二坐标计算得到的手指根关节与手腕关节之间的骨骼满足手掌骨骼约束；或者，根据所述第一关节的第二坐标计算得到的手指骨骼长度在预设长度范围内；或者，根据所述第一关节的第二坐标计算得到的手指骨骼方向与人手的骨骼方向相符；或者，根据所述第一关节的第二坐标计算得到的手指骨骼包括的深度无效像素的数量小于所述预设数量阈值。


7.根据权利要求1所述的方法，其特征在于，根据所述N个关节分别对应的第一坐标和第二坐标，确定所述N个关节的位置，包括：
若第一关节为手腕关节，则将所述手腕关节对应的第一坐标和所述第一关节对应的深度值得到的三维坐标，确定为所述第一关节的位置；或者，
若所述第一关节对应的深度值为无效值，则将所述第一关节对应的第二坐标确定为所述第一关节的位置。

【专利技术属性】
技术研发人员：彭博文，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11