手与物体交互过程的重建方法、装置、电子设备及介质制造方法及图纸

本申请涉及三维重建技术领域，特别涉及一种手与物体交互过程的重建方法、装置、电子设备及介质，其中，方法包括：采集手与物体交互过程的视觉数据和压力数据，并对视觉数据进行手物交互重建，得到初始手物姿态，根据压力数据优化初始手物姿态包括的手的姿态参数和物体的六自由度位姿，得到最终手物姿态，以根据最终手物姿态得到手与物体交互过程的重建结果。由此，解决了手和物体在交互过程中发生相互遮挡，造成观测数据缺失的问题，从而提升重建过程的清晰度，得到更加准确的重建结果。得到更加准确的重建结果。得到更加准确的重建结果。

【技术实现步骤摘要】
手与物体交互过程的重建方法、装置、电子设备及介质


[0001]本申请涉及三维重建
，特别涉及一种手与物体交互过程的重建方法、装置、电子设备及介质。

技术介绍

[0002]在人们的日常生活中，经常需要用手与环境中的物体进行交互动作，因此对手与物体的交互过程进行重建是三维重建领域所要解决的一类重要问题。该技术可以生成计算机动画或真实的交互运动数据，还可以帮助理解交互过程中的动作语义，在虚拟现实、人机交互领域有着广泛的应用前景。
[0003]相关技术中，手物交互重建技术都是完全基于视觉的方法，这些方法可以分为两大类，第一类方法是基于优化的方法，通过构造一个能量函数并进行优化求解得到与相机观测数据最为相符的手和物体位姿；第二类方法是基于深度学习的方法，通过大量的数据训练一个深度网络，使得该网络能够直接从视频或图片中估计手和物体位姿。
[0004]然而，基于优化的方法需要通过深度相机采集深度数据，而这些数据本身是带有噪声的，会给重建过程带来误差；而基于深度学习的方法往往对于物体的泛化性不足，此外，这两大类完全基于视觉的方法都有一个共同的缺点，即手和物体在交互过程中会发生相互遮挡，造成观测数据的缺失，使得重建过程具有模糊性，亟待解决。

技术实现思路

[0005]本申请提供一种手与物体交互过程的重建方法、装置、电子设备及介质，以解决手和物体在交互过程中发生相互遮挡，造成观测数据缺失的问题，从而提升重建过程的清晰度，得到更加准确的重建结果。
[0006]本申请第一方面实施例提供一种手与物体交互过程的重建方法，包括以下步骤：
[0007]采集手与物体交互过程的视觉数据和压力数据；
[0008]对所述视觉数据进行手物交互重建，得到初始手物姿态，其中，所述初始手物姿态包括手的姿态参数和物体的六自由度位姿；以及
[0009]根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，得到最终手物姿态，以根据所述最终手物姿态得到所述手与所述物体交互过程的重建结果。
[0010]根据本申请的一个实施例，所述根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，包括：
[0011]基于预设的第一能量优化函数，根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，其中，所述预设的第一能量优化函数为：
[0012]E
tot
(θ，W)＝E
tac
(θ，W)+E
smo
(θ，W)+E
reg
(θ)；
[0013]其中，θ为所述手的姿态参数，W为所述物体的六自由度位姿，E
tot
为所述预设的第一能量优化函数，E
tac
为接触项，E
smo
为平滑项，E
reg
为正则项。
[0014]根据本申请的一个实施例，E
tac
具体计算式为：
[0015][0016]其中，SDF
W
为物体的有符号距离函数，J
i
(θ)为第i个关键点的三维坐标，F
N
为关键点的压力，α为压力阈值。
[0017]根据本申请的一个实施例，E
smo
具体计算式为：
[0018]E
smo
(θ，W)＝||θ
‑
θ0||2+||Trans(W)
‑
Trans(W0)||2+||Rot(W)
‑
Rot(W0)||2；；
[0019]其中，Trans为物体六自由度位姿的平移部分，Rot为物体六自由度位姿的旋转部分。
[0020]根据本申请的一个实施例，所述对所述视觉数据进行手物交互重建，包括：
[0021]基于预设的手物交互重建系统或预设的能量函数，对所述视觉数据进行手物交互重建，其中，所述预设的能量函数为：
[0022]E(θ，W)＝E
rec
(θ，W)+E
tac
(θ，W)；
[0023]其中，E
rec
为已有的手与物体交互重建系统所采用的总能量项。
[0024]根据本申请的一个实施例，所述压力数据包括多个压力值，在根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿之前，还包括：
[0025]剔除所述多个压力值中未满足预设压力条件的压力值。
[0026]根据本申请实施例提出的手与物体交互过程的重建方法，通过对视觉数据进行手物交互重建，得到初始手物姿态，通过根据压力数据优化初始手物姿态包括的手的姿态参数和物体的六自由度位姿，得到最终手物姿态，以根据最终手物姿态得到手与物体交互过程的重建结果。由此，解决了手和物体在交互过程中发生相互遮挡，造成观测数据缺失的问题，从而提升重建过程的清晰度，得到更加准确的重建结果。
[0027]本申请第二方面实施例提供一种手与物体交互过程的重建装置，包括：
[0028]采集模块，用于采集手与物体交互过程的视觉数据和压力数据；
[0029]重建模块，用于对所述视觉数据进行手物交互重建，得到初始手物姿态，其中，所述初始手物姿态包括手的姿态参数和物体的六自由度位姿；以及
[0030]优化模块，用于根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，得到最终手物姿态，以根据所述最终手物姿态得到所述手与所述物体交互过程的重建结果。
[0031]根据本申请的一个实施例，所述优化模块，具体用于：
[0032]基于预设的第一能量优化函数，根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，其中，所述预设的第一能量优化函数为：
[0033]E
tot
(θ，W)＝E
tac
(θ，W)+E
smo
(θ，W)+E
reg
(θ)；
[0034]其中，θ为所述手的姿态参数，W为所述物体的六自由度位姿，E
tot
为所述预设的第一能量优化函数，E
tac
为接触项，E
smo
为平滑项，E
reg
为正则项。
[0035]根据本申请的一个实施例，E
tac
具体计算式为：
[0036][0037]其中，SDF
W
为物体的有符号距离函数，J
i
(θ)为第i个关键点的三维坐标，F
N
为关键点的压力，α为压力阈值。
[0038]根据本申请的一个实施例，E
smo
具体计算式为：
[0039]E
smo
(θ，W)＝||θ
‑
θ0||2+||Trans(W)
‑
Trans(W0)||2+||Rot(W)
‑
Rot(W0)||2；
[0040]其中，Tran本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手与物体交互过程的重建方法，其特征在于，包括以下步骤：采集手与物体交互过程的视觉数据和压力数据；对所述视觉数据进行手物交互重建，得到初始手物姿态，其中，所述初始手物姿态包括手的姿态参数和物体的六自由度位姿；以及根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，得到最终手物姿态，以根据所述最终手物姿态得到所述手与所述物体交互过程的重建结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，包括：基于预设的第一能量优化函数，根据所述压力数据优化所述手的姿态参数和所述物体的六自由度位姿，其中，所述预设的第一能量优化函数为：E
tot
(θ，W)＝E
tac
(θ，W)+E
smo
(θ，W)+E
reg
(θ)；其中，θ为所述手的姿态参数，W为所述物体的六自由度位姿，E
tot
为所述预设的第一能量优化函数，E
tac
为接触项，E
smc
为平滑项，E
reg
为正则项。3.根据权利要求2所述的方法，其特征在于，其中，SDF
w
为物体的有符号距离函数，J
i
(θ)为第i个关键点的三维坐标，F
N
为关键点的压力，α为压力阈值。4.根据权利要求2所述的方法，其特征在于，E
smo
(θ，W)＝||θ
‑
θ0||2+||Trans(W)
‑
Trans(W0)||2+||Rot(W)
‑
Rot(W0)||2；其中，Trans为物体六自由度位姿的平移部分，Rot为物体六自由度位姿的旋转部分。5.根据权利要求1所述的方法，其特征在于，所述对所述视觉数据进行手物交互重建，包括：基于预设的手物交互重建系统或预设的能量函数，对所述视觉数据进行手物交互重建，其中，所述预设的能量函数为：E(θ，...

【专利技术属性】
技术研发人员：徐枫，胡浩宇，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：