The invention belongs to the technical field of virtual sand painting drawing method, and specifically relates to a virtual sand painting interactive combination method based on multi-somatosensory devices. Firstly, the data capture function of leap motion is used to acquire the original hand data. Then, the existing feature extraction method is used to preprocess the original data, and new hand feature data is introduced to complete the tracking of dynamic gestures. The gesture recognition is carried out by template matching, and the non-contact virtual image is completed by combining the rendering effect. Drawing sand painting. PQ Labs G4S touch screen is used to obtain touch information, generate touch events, and transform them into feature vectors for gesture recognition by graph embedding. At the same time, contact virtual sand painting is completed by combining sand rendering effect. The invention carries out virtual sand painting with the assistance of leap motion and touch screen: compared with real sand painting, it has both three-dimensional drawing in the air and two-dimensional drawing in contact, and can be well used in virtual sand painting drawing.
【技术实现步骤摘要】
一种基于多体感设备的虚拟沙画交互结合方法
本专利技术属于虚拟沙画绘制方法
，具体涉及一种基于多体感设备的虚拟沙画交互结合方法，该方法是基于leapmotion的非接触式虚拟沙画绘制和基于PQLabsG4S接触屏的触控式虚拟沙画绘制。
技术介绍
人机交互作为虚拟现实技术的核心之一，肩负着提升用户沉浸体验和系统真实性的任务。对传统绘画艺术进行仿真是计算机艺术领域最具挑战性的课题之一，在吸取传统绘画艺术的营养、弘扬传统绘画艺术成就的同时，对计算机仿真绘画技术提出了新的要求。虚拟沙画系统理论上可以集成到任何可视化系统中例如个人PC机，甚至是支持IOS、Android或WindowsPhone的移动设备上。现有的虚拟沙画让使用者可以不必考虑时间、地点、对象，随心所欲地绘制自己的沙画作品，其电子版本让绘画者可以随时发布自己的电子绘画给朋友、家人甚至是网络好友。这样的行为可以更快地加快沙画艺术的传播。同时，在电子设备上使用者不需要考虑物理上的限制，例如大面积的沙盘和大量用于沙绘的细沙沙粒。同时使用者不必考虑沙子撒落、设备损坏或者沙子用完等情况，因为这是在虚拟空间中进行的操...
【技术保护点】
1.一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：包括以下步骤：1)数据获取：运用Leap Motion的数据捕捉功能，获取非接触式的沙画绘制的手部原始数据，通过Hand Controller组件获得所需要的手部数据；将PQ Labs G4S触摸屏与显示器通过接口连接好，确保数据的正确传输，通过TUIO协议在Unity3D中获取接触式沙画绘制的手部触摸数据；2)数据处理：首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件；3)手势识别：...
【技术特征摘要】
1.一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：包括以下步骤：1)数据获取：运用LeapMotion的数据捕捉功能，获取非接触式的沙画绘制的手部原始数据，通过HandController组件获得所需要的手部数据；将PQLabsG4S触摸屏与显示器通过接口连接好，确保数据的正确传输，通过TUIO协议在Unity3D中获取接触式沙画绘制的手部触摸数据；2)数据处理：首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件；3)手势识别：提前训练建立一个包含不同特征数据的手势模板库，实时监测非接触式沙画绘制的手势和手势模板库的匹配状态，通过匹配完成对模拟非接触式沙画绘制的手势识别；采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与手势数据库中手势进行匹配，从而完成对模拟接触式沙画绘制的手势识别；4)沙画渲染：根据真实沙画绘制时的非接触式和接触式绘制手法，将模拟沙画沙粒渲染效果分为非接触式的空中扬沙和漏沙，以及接触式的手指勾沙，点沙，抹沙和铺沙，完成对虚拟沙画的渲染；5)触摸屏和LeapMotion设备的接口调试：采用C#接口将触摸屏和LeapMotion设备结合；6)沙画绘制：完成一个基于LeapMotion的以真实手在空中非接触的绘制沙画，另一个是通过PQLabsG4S触摸屏与显示器相粘合的方式，进行接触式沙画绘制，即完成基于多体感设备的虚拟沙画交互结合。2.根据权利要求1所述的一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：所述步骤2)中首先采用特征提取方法对手部原始数据进行预处理，然后引入新的手部特征数据，完成对动态手势的跟踪；通过对应位置的接收器和传感器将手部的触摸数据传递到计算机进行处理，从而产生对应的触摸事件，具体步骤包括：2.1将获取到的手部原始数据信息采用图像处理方法，进而得到手部的数据，可以得到手的位置信息，对手部数据进行预处理可以作为下一步手势识别时的特征数据；2.2在进行手势特征提取的过程中，引入了新的索引向量进行调整，具体方法：Leapmotion可以捕捉手部的多个关键节点的坐标信息，同时选择手指5个骨骼特征点作为原始输入，该时刻的骨骼索引输入向量定义为Vtn＝(V1n，V2n，V3n，V4n，V5n)，其中，V1n，V2n，V3n，V4n，V5n分别代表tn时刻5个手指的空间坐标，不同的人在进行手势识别时，手距离Leapmotion的远近不同，会对同种手势特征的识别产生差异；但是特征向量是具有不变性的，将坐标系由原先的Leapmotion为参考原点变成以手掌中心点为参考原点；设手掌中心参考点的三维空间坐标为Mtn＝(xn，yn，zn)，经过坐标系转换之后重新定义tn时刻的手指索引输入向量Vtn＝(V1n-Mtn，V2n-Mtn，V3n-Mtn，V4n-Mtn，V5n-Mtn)，定义时序长度为n的手势输入序列为fn＝(Vt1，Vt2，Vt3，Vt4，Vt5)，对tn时刻特征索引向量求解梯度，则Vtn的X，Y，Z方向的梯度G＝(Gx，Gy，Gz)分别有如下表示将tn时刻索引向量的梯度G作为手势特征的输入；2.3对获得的手部触摸数据进行处理，取得触摸事件并建立相应的反馈机制；每个触摸事件都具有唯一的SessionID，根据这一标识就可对触摸点信息进行新建、更新及移除操作。3.根据权利要求2所述的一种基于多体感设备的虚拟沙画交互结合方法，其特征在于：所述步骤4)中，采用非接触式的空中扬沙对虚拟沙画进行渲染的具体方法为：首先是对扬沙范围内二维网格像素点进行了区域划分，将原始的圆形区域划分转变成了一种方形的区域划分，沙子从空中洒落到画布是不可能呈现规则的圆形，区域内的像素点可以服从高斯分布来模拟沙粒的随机分布；运用LeapMotion的数据捕捉功能，来获取手部原始数据，当检测到手部数据的关键点时，投影到画布上，会有与其对应的像素点Q(...
【专利技术属性】
技术研发人员：张元，石倩，韩燮，马珩钧，吕金泽，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。