交互控制方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种交互控制方法、装置、电子设备及计算机可读存储介质，涉及计算机技术领域，所述交互控制方法包括：获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标；根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互。本公开能够准确得到预设部位的关键点在虚拟世界的三维坐标，进而控制预设部位的关键点与虚拟物体精准地进行交互。

【技术实现步骤摘要】
交互控制方法、装置、电子设备及存储介质
本公开涉及计算机
，具体而言，涉及一种交互控制方法、交互控制装置、电子设备以及计算机可读存储介质。
技术介绍
在增强现实中，用户与虚拟物体之间实现精准交互尤为重要。相关技术中，先对环境进行重建形成虚拟世界，然后在虚拟世界中放置任意的虚拟物体。为了与放置的虚拟物体产生交互，需要通过利用相机采集到的彩色图像进行手部跟踪，获取手部的位置信息，再与虚拟物体进行例如拿起、放置、旋转等交互。在上述方式中，手部跟踪获取到的手部的位置信息，只是在屏幕空间上的二维坐标。在与虚拟物体进行交互时，还需要将二维坐标估计成虚拟世界中的三维坐标，从而与虚拟物体的三维坐标进行空间上的计算。但是将二维坐标估计成三维坐标的步骤可能会存在比较大的误差，使得估计的三维坐标并不准确，从而导致不能精准交互。另外，估计三维坐标的过程可能导致操作效率较低，影响交互体验。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。专利技术内容本公开的本文档来自技高网...

【技术保护点】
1.一种交互控制方法，其特征在于，包括：/n获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；/n将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标；/n根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互。/n

【技术特征摘要】
1.一种交互控制方法，其特征在于，包括：
获取预设部位的关键点的屏幕空间坐标，并获取所述预设部位的关键点相对于拍摄设备的真实距离；
将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标；
根据所述三维坐标确定所述预设部位的关键点与所述虚拟世界中虚拟物体的空间关系，并基于所述空间关系控制所述预设部位的关键点与所述虚拟物体进行交互。


2.根据权利要求1所述的交互控制方法，其特征在于，获取预设部位的关键点的屏幕空间坐标包括：
获取单目相机采集的包含所述预设部位的第一图像；
对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标。


3.根据权利要求2所述的交互控制方法，其特征在于，对所述第一图像进行关键点检测，以得到所述预设部位的关键点的所述屏幕空间坐标包括：
通过训练好的卷积神经网络模型对所述第一图像进行处理，得到所述预设部位的关键点；
对所述预设部位的关键点进行回归处理，得到所述预设部位的关键点的位置信息并将所述位置信息作为所述屏幕空间坐标。


4.根据权利要求2所述的交互控制方法，其特征在于，所述拍摄设备包括深度相机，获取所述预设部位的关键点相对于拍摄设备的真实距离包括：
获取所述深度相机采集的包含所述预设部位的第二图像；
对所述第一图像与所述第二图像进行对齐操作；
将所述屏幕空间坐标在对齐后的第二图像上进行取值，以得到所述预设部位的关键点到所述深度相机的所述真实距离。


5.根据权利要求1所述的交互控制方法，其特征在于，将所述真实距离与所述屏幕空间坐标进行结合，确定所述预设部位的关键点的虚拟世界中的三维坐标包括：
根据所述真实距离与所述屏幕空间坐标得到所述预设部位的关键点的投影空间的三维坐标；
根据所述拍摄设备的视场角确定投影矩阵；
...

【专利技术属性】
技术研发人员：卓世杰，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44