一种虚实物体实时融合的实物交互方法与系统技术方案

本公开提供了一种虚实物体实时融合的实物交互方法与系统，进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算，包括旋转矩阵和位移向量，以实现物体位置在坐标表示上的统一；获取目标对象的模板，对模板特征进行建模，对桌面物体进行位置跟踪，对物体轮廓进行提取，获取物体主方向，在主方向上获取两个固定点，通过奇异值分解计算出物体相对于初始状态的旋转矩阵，由旋转矩阵计算得到旋转角度；获取来自服务器端的真实物体相对于初始位置的位移以及相对于初始朝向的旋转，进行位置调整，计算得到虚拟物体当前的位置和朝向，根据得到的位置和朝向，在客户端的虚拟现实设备显示所述虚拟物体。本公开具有交互自然、取材方便以及实时等优点。

【技术实现步骤摘要】
一种虚实物体实时融合的实物交互方法与系统
本公开属于混合现实
，涉及一种虚实物体实时融合的实物交互方法与系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。混合现实(MR)是现实世界与虚拟世界的融合，以产生新的环境和可视化效果。混合现实环境中物理和数字对象可以实时共存。随着混合现实技术日渐成熟，传统的交互方式不适用于虚实融合的交互场景。实物交互作为新兴的三维交互方式，被认为是人们都可使用的自然和易于学习的范例。实物交互是通过物理实体与数字信息进行交互的一种交互方式，其目的是通过在物理实体上添加数字信息，利用人类掌握和操纵物理对象的能力，从而增强协作、学习和设计的能力。然而目前混合现实中的实物交互，其交互实体和数字对象之间缺乏相似性，不能充分体现混合现实高度的沉浸感。因此，混合现实中的实物交互有必要将虚拟对象和交互实体进行融合，支持用户与虚拟对象交互的同时感受到来自真实世界的触觉反馈，从而增强沉浸感。实物交互的关键思想是:为物理实体赋予数字信息，使其作为数字信息的表示和控制。因此，要实现有形交互，需要对物理实体检测，以获取物理实体的位置和姿态等信息。在实物交互中经常使用的技术包括射频识别(RFID)技术和计算机视觉技术来获取物体的相关信息。RFID技术利用射频技术自动识别和跟踪附着在物体上的标签。一个RFID系统由阅读器和电子标签组成。标签和阅读器接近时，两者进行通信。通信距离取决于阅读器天线的大小和RFID标签的尺寸以及磁场强度。由于通信距离和成本成正比，RFID通常局限于短距离检测，需要将附有标签的物体直接放置在读取器上。RFID技术是一种简单稳定的方法，能够将特定的实物对象通过RFID标签与特定的数字信息绑定，然而，这种方法需要特殊的阅读器，不能获取物体在空间中的位置信息，限制了实物对象的移动。基于视觉的实物交互通过对物体进行六自由度(6DOF)的姿态估计实现。主要的6DOF姿态估计有特征匹配、模板匹配和基于学习的方法等。目前存在许多增强现实工具包提供了摄像头下图片和物体的识别接口，包括Vuforia、Wikitude和ARToolKit等，多使用特征点匹配的方法实现物体姿态估计。基于特征匹配的方法对物体表面纹理有一定要求，并且对于复杂物体，计算复杂性较高；基于模板匹配的方法要求对待检测物体做充分采样，提取足够精确的模板，才能保证匹配的准确性。模板提取过程的复杂性限制了物体识别的种类；基于学习的方法，需要对每个待识别物体建立数据集，数据集中包含图像数据或点云模型等，构建过程复杂。
技术实现思路
本公开为了解决上述问题，提出了一种虚实物体实时融合的实物交互方法与系统，本公开将物体的姿态估计问题简化为水平桌面上物体的位置跟踪和绕垂直于桌面方向上的旋转角度计算的问题，不需要为物体附加标签、建立模板和数据集等，另外不要求物体表面具有复杂纹理。根据一些实施例，本公开采用如下技术方案：一种虚实物体实时融合的实物交互方法，包括以下步骤：进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算，包括旋转矩阵和位移向量，以实现物体位置在坐标表示上的统一；获取目标对象的模板，对模板特征进行建模，对桌面物体进行位置跟踪，对物体轮廓进行提取，获取物体主方向，在主方向上获取两个固定点，通过奇异值分解计算出物体相对于初始状态的旋转矩阵，由旋转矩阵计算得到旋转角度；获取来自服务器端的真实物体相对于初始位置的位移以及相对于初始朝向的旋转，进行位置调整，计算得到虚拟物体当前的位置和朝向，根据得到的位置和朝向，在客户端的虚拟现实设备显示所述虚拟物体。作为可选择的实施方式，进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算时利用三点法直解七参数模型的方法进行计算。作为可选择的实施方式，获取目标对象的模板，对模板特征进行建模的具体过程包括：利用跟踪器在跟踪开始的第一帧获取目标对象的模板，基于客户端虚拟现实设备提供的虚拟物体的初始位置获取物体模板，并去除桌面背景和手部背景。作为可选择的实施方式，去除桌面背景的具体过程包括：获取服务器端虚拟现实设备的第0帧深度数据作为桌面背景信息；在之后的每一帧获取当前帧的深度数据，与第0帧深度数据进行背景减除，得到当前帧的深度前景图像，并将深度前景图像转化为二值图像；采用形态学开运算去除前景二值图像中区域面积小于设定值的噪声，得到降噪后的前景二值图像；降噪后的前景二值图像与当前帧的彩色图像进行按位操作，最终得到前景彩色图像。作为可选择的实施方式，去除手部背景的具体过程包括：在k-1帧中，利用追踪器在前景图像中进行物体追踪，获取到目标物体在当前帧中的目标兴趣区域，由手势分割算法获取第k帧中的手部轮廓；对于第k帧中降噪前景二值图像中的每个属于目标兴趣区域的像素点，检查该点是否在手部轮廓范围内，若是，则将该像素点灰度值设置为0；扫描完成后的图像为仅存在物体前景的二值图像，该图像与前景分割中得到的彩色前景图像做按位与操作，即得到去除手部背景的彩色前景图像，在该图像中运行追踪器，得到第K帧中目标物体目标兴趣区域，作为K+1帧的输入。作为可选择的实施方式，通过奇异值分解计算出物体相对于初始状态的旋转矩阵，由旋转矩阵计算得到旋转角度的具体过程包括：分别计算主成分方向上两组点的中心点；将两组对应点进行中心化；中心化后的两组对应点排列入矩阵中，每个点为一行，得到第一矩阵，计算第一矩阵的协方差矩阵；对协方差矩阵进行奇异值分解，得到矩阵的左右奇异矩阵，进而得到旋转矩阵；通过反正切函数计算出旋转角度。作为可选择的实施方式，通过与虚拟物体初始位置进行计算得到虚拟物体当前的位置的具体过程包括：将初始化阶段获取的真实物体的位置其转换为客户端虚拟现实设备的坐标，客户端虚拟现实设备同样保存虚拟物体的初始位置；跟踪过程中，实时获取真实物体位置并转换为客户端虚拟现实设备中的坐标，计算得到物体相对于初始位置的位移向量；依据物体相对于初始位置的位移向量和初始位置，计算客户端虚拟现实设备中虚拟物体的位置。作为可选择的实施方式，计算虚拟物体当前的朝向的具体过程包括：初始化阶段服务器端虚拟设备获取真实物体初始主方向上的两个点，客户端虚拟设备保存虚拟物体的初始方位；物体跟踪过程中，客户端虚拟设备实时获取物体主方向上的两个对应点，通过奇异值分解计算物体实时的旋转角度θ；服务器端虚拟设备的虚拟物体在桌面上的旋转表示为绕自身坐标系Y轴的旋转，根据初始方位和旋转角度θ，得到虚拟物体当前的朝向。一种虚实物体实时融合的实物交互系统，包括：预处理模块，被配置为进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算，包括旋转矩阵和位移向量，以实现物体位置在坐标表示上的统一；服务器端，被配置为获取目标对象的模板，对模板特征进行建模，对桌面物体进行位置跟本文档来自技高网...

【技术保护点】
1.一种虚实物体实时融合的实物交互方法，其特征是：包括以下步骤：/n进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算，包括旋转矩阵和位移向量，以实现物体位置在坐标表示上的统一；/n获取目标对象的模板，对模板特征进行建模，对桌面物体进行位置跟踪，对物体轮廓进行提取，获取物体主方向，在主方向上获取两个固定点，通过奇异值分解计算出物体相对于初始状态的旋转矩阵，由旋转矩阵计算得到旋转角度；/n获取来自服务器端的真实物体相对于初始位置的位移以及相对于初始朝向的旋转，进行位置调整，计算得到虚拟物体当前的位置和朝向，根据得到的位置和朝向，在客户端的虚拟现实设备显示所述虚拟物体。/n

【技术特征摘要】
1.一种虚实物体实时融合的实物交互方法，其特征是：包括以下步骤：
进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算，包括旋转矩阵和位移向量，以实现物体位置在坐标表示上的统一；
获取目标对象的模板，对模板特征进行建模，对桌面物体进行位置跟踪，对物体轮廓进行提取，获取物体主方向，在主方向上获取两个固定点，通过奇异值分解计算出物体相对于初始状态的旋转矩阵，由旋转矩阵计算得到旋转角度；
获取来自服务器端的真实物体相对于初始位置的位移以及相对于初始朝向的旋转，进行位置调整，计算得到虚拟物体当前的位置和朝向，根据得到的位置和朝向，在客户端的虚拟现实设备显示所述虚拟物体。


2.如权利要求1所述的一种虚实物体实时融合的实物交互方法，其特征是：进行服务器端和客户端的虚拟现实设备坐标系之间映射关系的计算时利用三点法直解七参数模型的方法进行计算。


3.如权利要求1所述的一种虚实物体实时融合的实物交互方法，其特征是：获取目标对象的模板，对模板特征进行建模的具体过程包括：利用跟踪器在跟踪开始的第一帧获取目标对象的模板，基于客户端虚拟现实设备提供的虚拟物体的初始位置获取物体模板，并去除桌面背景和手部背景。


4.如权利要求3所述的一种虚实物体实时融合的实物交互方法，其特征是：去除桌面背景的具体过程包括：
获取服务器端虚拟现实设备的第0帧深度数据作为桌面背景信息；
在之后的每一帧获取当前帧的深度数据，与第0帧深度数据进行背景减除，得到当前帧的深度前景图像，并将深度前景图像转化为二值图像；
采用形态学开运算去除前景二值图像中区域面积小于设定值的噪声，得到降噪后的前景二值图像；
降噪后的前景二值图像与当前帧的彩色图像进行按位操作，最终得到前景彩色图像。


5.如权利要求3所述的一种虚实物体实时融合的实物交互方法，其特征是：去除手部背景的具体过程包括：
在k-1帧中，利用追踪器在前景图像中进行物体追踪，获取到目标物体在当前帧中的目标兴趣区域，由手势分割算法获取第k帧中的手部轮廓；
对于第k帧中降噪前景二值图像中的每个属于目标兴趣区域的像素点，检查该点是否在手部轮廓范围内，若是，则将该像素点灰度值设置为0；
扫描完成后的图像为仅存在物体前景的二值图像，该图像与前景分割中得到的彩色前景图像做按位与操作，即得到去除手部背景的彩色前景图像，在该图像中运行追踪器，得到第K帧中目标物体目标兴趣区域，作为K+1帧的输入。


6.如权利...

【专利技术属性】
技术研发人员：杨承磊，宋英洁，盖伟，刘娟，卞玉龙，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37