基于增强现实的虚拟雕塑方法技术

本发明专利技术公开了基于增强现实的虚拟雕塑方法，它允许操作者通过自己的三维手势，在增强现实的场景当中完成虚拟雕塑的功能，包括以下三个步骤：S1、手势数据的获取；S2、坐标系配准以及手势建模；S3、虚实碰撞检测；S4、雕塑模型的形变。本发明专利技术提出了一种基于增强现实的虚拟雕塑方法，这个方法通过传感器来获取操作者的手势数据，然后通过增强现实头盔，在增强现实的场景当中完成虚拟雕塑的功能，整个雕塑的过程十分自然、简洁以及高效。

【技术实现步骤摘要】
基于增强现实的虚拟雕塑方法
本专利技术属于增强现实以及人机交互领域，涉及了一种基于增强现实的虚拟雕塑方法。
技术介绍
传统的雕塑是通过雕刻家们用刻刀雕刻出来的，这种方式不仅浪费雕刻材料，而且对雕刻的技巧要求比较高，往往雕错了很难再撤销掉重新开始。随着计算机功能的不断强大，通过计算机来进行三维建模的软件也越来越多，人们可以通过这些软件来建立各种各样的三维模型。但同时，这些建模软件的使用门槛也变得越来越高，操作也越来越复杂，初学者不得不花费很大的精力掌握这些软件的操作方式。而众所周知，人的双手是最灵活的器官之一，人的双手可以比划出各种各样的手势，例如聋哑人可以通过手势来进行交流。而本专利技术利用手势来进行三维建模，通过传感器来获取手势数据，然后在增强现实的场景当中显示出来。
技术实现思路
本专利技术的目的在于克服现有技术存在的上述不足，提供基于增强现实的虚拟雕塑方法。本专利技术提出的一种基于增强现实的虚拟雕塑方法，这个方法通过传感器来获取操作者的手势数据，然后通过增强现实头盔，在增强现实的场景当中完成虚拟雕塑的功能。本专利技术基于增强现实的虚拟雕塑方法，包括如下步骤：S1、手势数据的获取；S2、坐标系配准以及手势建模；S3、虚实碰撞检测；S4、雕塑模型的形变。进一步地，所述步骤S1包括以下步骤：手势数据是通过LeapMotion传感器获取得到的，在获取的过程当中，存在着一些设备误差以及环境噪声误差，所以可以通过Kalman滤波算法来估计手势的位姿数据。卡尔曼滤波算法可以从一系列的环境噪声和不完整的测量数据当中估计手的状态。四元数q相对于时间t的微分方程为：其中，ωx,ωy,ωz是人手在X轴、Y轴和Z轴三个方向的角速度分量。由于xk包括了四元数状态和角速度，所以xk的格式为：xk＝[q0,kq1,kq2,kq3,kωx,kωy,kωz,k](2)其中q0,k,q1,k,q2,k,q3,k是时刻k下的四元数分量，ωx,k,ωy,k,ωz,k是时刻k下的角速度分量。四元数分量的计算可以由角速度分量的测量来获得，具体的迭代过程如下：其中t是采样时间。所以从以上的公式可以推导得到，状态转换矩阵为：其中Δt是系统的数据采样时间，在实际的操作中将矩阵Γk设为零矩阵。在整个过程当中是使用角速度来估计四元数状态的，因此将过程噪声向量设置为：wk＝[0000wxwywz]T(5)其中wx,wy,wz是角速度在X,Y,Z三个方向上的测量分量。由于用的是LeapMotion来测量角速度的，所以观察矩阵Hk为：Hk＝[0n×pIn×n](6)其中n是角速度向量的数量，p是四元数的数量。最后需要对四元数进行规范化操作，在时间k下的标准四元数为：进一步地，所述步骤S2包括以下步骤：在LeapMotion坐标系和手掌坐标系中需要同步手势动作，而在这个过程中坐标系标定就显得特别重要。假设手掌坐标系为[xHyHzH]，LeapMotion坐标系为[xLyLzL]。因此，有如下映射关系：其中T1是从世界坐标系到手掌坐标系的转换矩阵，通过计算T1，可以将手掌坐标系中的点与LeapMotion坐标系中的点对应起来。在增强现实的场景当中需要进行虚实之间的坐标系标定，即LeapMotion坐标系与雕塑模型坐标系之间的标定。虚拟环境中的雕塑模型是通过一个标记物来确定位置的，所以事先需要在真实环境当中摆放一个标记物，设这个标记物坐标系为[xMyMzM]，标记物坐标系和LeapMotion坐标系之间的转换关系可以通过事先测量知道，假设为T2，则有如下转换关系：设雕塑模型坐标系为[xSySzS]，雕塑模型坐标系相对于标记物坐标系也有一个转换关系，这个转换关系是自己设置的，假设为T3，则有如下转化关系：由以上几个等式可以得出：通过等式(11)，可以对虚实之间的坐标系进行配准。在LeapMotion获取到手势数据之后，需要在增强现实的场景当中对虚拟手进行数学建模，在LeapMotion的一帧数据当中，挑选了与虚拟手运动密切相关的一些手势数据，将之传送给增强现实场景当中。所传送的手势数据为：(1)左右手的手掌位置坐标以及姿态方向角；(2)左右手大拇指的各个关节的起始位置和终点位置坐标，大拇指指尖关节的姿态方向角；(3)左右手食指的各个关节的起始位置和终点位置坐标，食指指尖关节的姿态方向角；(4)左右手中指的各个关节的起始位置和终点位置坐标，中指指尖关节的姿态方向角；(5)左右手无名指的各个关节的起始位置和终点位置坐标，无名指指尖关节的姿态方向角；(6)左右手小拇指的各个关节的起始位置和终点位置坐标，小拇指指尖关节的姿态方向角；所以，在对三维手势进行数学建模时，用的是一些基本的几何体来近似模拟三维手势，手掌部分使用的是方体，手指关节部分使用的是圆柱体，指尖部分使用的是球体。这些几何体根据LeapMotion的手势数据来不断的变换自身的位置以及姿态，从而构建起三维手势的数学模型，为接下来的碰撞检测以及模型变形做好准备。进一步地，所述步骤S3包括以下步骤：在虚拟手与雕塑模型的碰撞检测当中，使用了一种混合包围盒的碰撞检测算法来检测虚拟手模型的碰撞。在虚拟手进行雕塑的过程中，主要使用的是手指来与雕塑模型进行碰撞。而在手指的各个部位当中，指尖的使用特别频繁，指尖的运动也十分的灵活，通常需要各种角度的旋转，而且指尖一般是最先接触到雕塑模型的，其后才是手指的各个关节。所以出于这方面的考虑，打算在指尖部位使用球包围盒算法，而在手指的关节部分使用OBB包围盒算法。对于虚拟手，只考虑其手指的碰撞，手掌部分的碰撞忽略掉了。所以对每只虚拟手，只需构建五个手指的包围盒，考虑到人体手指的真实结构，对每个手指的关节数量也进行了区分。由于大拇指的关节数量只有两个，所以在构建大拇指包围盒的时候，只用了两个OBB包围盒和一个球包围盒，而对于食指、中指、无名指和小指，均使用了三个OBB包围盒和一个球包围盒。在实际的碰撞检测过程当中，设计了如下的碰撞检测策略：(1)检测指尖的球包围盒是否与雕塑模型发生碰撞(2)如果指尖的球包围盒没有与雕塑模型产生碰撞，则认为整个虚拟手都没有与雕塑模型产生碰撞，整个碰撞检测的过程结束(3)如果指尖的球包围盒与雕塑模型产生了碰撞，接下来依次检测手指关节的OBB包围盒是否与雕塑模型产生碰撞这个策略可以降低算法的复杂度，因为在很多情况下，虚拟手是没有与雕塑模型发生碰撞的，这个时候只需要检测指尖的球包围盒即可，而不需要对整个虚拟手进行全面的碰撞检测。进一步地，所述步骤S4包括以下步骤：检测到三维手势与雕塑模型的碰撞之后，需要对雕塑模型进行变形以达到雕塑的效果。在这里使用的是一种网格形变算法，具体的算法流程如下所示：(1)获取雕塑模型的全部网格顶点，将之存放在一个Vector3数组当中(2)通过for循环来遍历网格中的每一个顶点(3)对于遍历得到每一个顶点，进行三维手势模型的碰撞检测(4)如果没有检测到碰撞，则网格顶点不发生变化(5)如果检测到了碰撞，则获取碰撞包围盒的中心坐标以及尺寸大小，同时计算出三维手势的移动方向，则网格顶点坐标向这个移动方向移动一定的距离，直到没有检测到碰撞为止。(6)一遍for循环下来之后，雕塑模型中的网格顶点坐标有的会发生变化，有的会保持不变，统一对网格顶点进行更新本文档来自技高网...

【技术保护点】
1.基于增强现实的虚拟雕塑方法，其特征在于，包括以下步骤：S1、手势数据的获取：通过Leap Motion传感器获取得到的，在获取的过程当中，通过Kalman滤波算法来估计手势的位姿数据；S2、坐标系配准以及手势建模；S3、虚实碰撞检测；S4、雕塑模型的形变。

【技术特征摘要】
1.基于增强现实的虚拟雕塑方法，其特征在于，包括以下步骤：S1、手势数据的获取：通过LeapMotion传感器获取得到的，在获取的过程当中，通过Kalman滤波算法来估计手势的位姿数据；S2、坐标系配准以及手势建模；S3、虚实碰撞检测；S4、雕塑模型的形变。2.根据权利要求1所述的基于增强现实的虚拟雕塑方法，其特征在于，步骤S1所述Kalman滤波算法中，四元数q相对于时间t的微分方程为：其中，ωx,ωy,ωz是人手在X轴、Y轴和Z轴三个方向的角速度分量；由于xk包括了四元数状态和角速度，所以xk的格式为：xk＝[q0,kq1,kq2,kq3,kωx,kωy,kωz,k](2)其中q0,k,q1,k,q2,k,q3,k是时刻k下的四元数分量，ωx,k,ωy,k,ωz,k是时刻k下的角速度分量；四元数分量的计算由角速度分量的测量来获得，具体的迭代过程如下：其中t是采样时间；所以从以上的公式得到，状态转换矩阵为：其中Δt是数据采样时间，将矩阵Γk设为零矩阵；在整个过程当中使用角速度来估计四元数状态的，因此将过程噪声向量设置为：wk＝[0000wxwywz]T(5)其中wx,wy,wz是角速度在X,Y,Z三个方向上的测量分量；由于用LeapMotion来测量角速度的，所以观察矩阵Hk为：Hk＝[0n×pIn×n](6)其中n是角速度向量的数量，p是四元数的数量；最后对四元数进行规范化操作，在时间k下的标准四元数为：3.根据权利要求1所述的基于增强现实的虚拟雕塑方法，其特征在于，步骤S2具体包括：在LeapMotion坐标系和手掌坐标系中需要同步手势动作，而在这个过程中坐标系标定就显得特别重要；假设手掌坐标系为[xHyHzH]，LeapMotion坐标系为[xLyLzL]；有如下映射关系：其中T1是从世界坐标系到手掌坐标系的转换矩阵，通过计算T1，将手掌坐标系中的点与LeapMotion坐标系中的点对应起来；在增强现实的场景当中需要进行虚实之间的坐标系标定，即LeapMotion坐标系与雕塑模型坐标系之间的标定；虚拟环境中的雕塑模型是通过一个标记物来确定位置的，所以在真实环境当中摆放一个标记物，设这个标记物坐标系为[xMyMzM]，标记物坐标系和LeapMotion坐标系之间的转换关系通过事先测量知道，假设为T2，则有如下转换关系：设雕塑模型坐标系为[xSySzS]，雕塑模型坐标系相对于标记物坐标系也有一个转换关系，这个转换关系为设定的，设为T3，则有如下转化关系：由以上几个等式可以得出：通过等式(11)，对虚实之间的坐标系进行配准；在LeapMotion获取到手势数据之后，需要在增强现实的场景当中对虚拟手进行数学建模，在LeapMotion的一帧数据当中，挑选与虚拟手运动密切相关的手势数据，将之传送给增强现实场景当中。4.根据权利要求3所述的基于增强现实的虚拟雕塑方法，其特征在于，所述与虚...

【专利技术属性】
技术研发人员：杜广龙，邵亨康，张平，陈晓丹，陈明轩，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44