一种基于触摸屏手势识别的虚拟沙画绘制方法技术

本发明专利技术属于虚拟沙画绘制方法技术领域，具体涉及一种基于触摸屏手势识别的虚拟沙画绘制方法。本发明专利技术主要为解决真实沙画绘制受限于经费，师资力量、设备等因素，目前沙画表演的教学与介绍多为小规模的培训班模式，培训学习费用较为昂贵，且由于需要专业的绘制设备，导致难于练习，相较于传统绘画，其参与门槛较高，推广较为困难的问题。本发明专利技术利用PQ Labs G4S触摸屏获取触摸位置信息，分析接触类沙画绘制手势，构建图形结构描述手势特征，采用图嵌入方法将其描述为特征向量进而对触摸手势进行分类识别，同时结合Unity3D强大的渲染功能，以像素模拟沙粒构建沙画绘制笔刷，最终实现虚拟沙画的绘制。

【技术实现步骤摘要】
一种基于触摸屏手势识别的虚拟沙画绘制方法
本专利技术属于虚拟沙画绘制方法
，具体涉及触摸屏手势分类识别和触摸式虚拟沙画绘制交互。
技术介绍
虚拟现实技术(VirtualReality，VR)是一种可以创建和体验虚拟世界的计算机技术，是以沉浸性(Immersion)、交互性(Interaction)和构想性(Imagination)为基础特征的计算机高级人机界面。它利用计算机生成一种虚拟环境，通过模拟实际情况从而对人的触觉、听觉、视觉等感觉器官进行影响，使人能沉浸在计算机生成的虚拟世界中。同时还可借助传感头盔、运动捕捉系统、数据手套等专业设备，使用户进入虚拟空间，实时感知和操作虚拟环境中的对象。人机交互作为虚拟现实技术的核心之一，肩负着提升用户沉浸体验和系统真实性的任务。且随着虚拟现实技术、图形技术和计算机硬件的发展，有越来多的虚拟仿真应用需求随之产生，进而相应的对更高层次的人机交互需求也孕育而生，在历经批处理界面、命令行界面、图形用户界面等交互界面后，人机交互已开始逐步向以用户为核心，满足用户体验需要的自然用户界面(NaturalUserInterface，NUI)发展。用户在本文档来自技高网...

【技术保护点】
1.一种基于触摸屏手势识别的虚拟沙画绘制方法，其特征在于：包括以下步骤：1)数据采集：将PQ Labs G4S触摸屏与显示器相粘合，连接触摸屏至计算机确保触摸数据能够正确传输；通过TUIO协议在Unity3D中对触摸数据进行接收，依据触摸点识别ID将触摸产生的时间，位置，活动状态分别接收存储，然后将其封装为Unity3D触摸事件；2)数据处理：对触摸事件在三维场景内生成的实例化触点进行坐标轴对齐、坐标偏差修正处理；3)手势描述：根据真实沙画绘制时的接触类绘制手法，结合触摸屏操作和Unity3D引擎处理特点，将模拟手势定义为手指单点与多点抹沙、手掌抹沙、手掌铺沙；使用图形建模的方式描述不同手势的...

【技术特征摘要】
1.一种基于触摸屏手势识别的虚拟沙画绘制方法，其特征在于：包括以下步骤：1)数据采集：将PQLabsG4S触摸屏与显示器相粘合，连接触摸屏至计算机确保触摸数据能够正确传输；通过TUIO协议在Unity3D中对触摸数据进行接收，依据触摸点识别ID将触摸产生的时间，位置，活动状态分别接收存储，然后将其封装为Unity3D触摸事件；2)数据处理：对触摸事件在三维场景内生成的实例化触点进行坐标轴对齐、坐标偏差修正处理；3)手势描述：根据真实沙画绘制时的接触类绘制手法，结合触摸屏操作和Unity3D引擎处理特点，将模拟手势定义为手指单点与多点抹沙、手掌抹沙、手掌铺沙；使用图形建模的方式描述不同手势的特征；4)手势识别：采用图嵌入方法构建不同模拟绘制手势的特征向量，依据特征向量建立手势数据库，使用触摸屏采集触摸位置与库中手势进行匹配，从而完成对模拟绘制手势进行分类识别；5)虚拟沙画笔刷构建：根据真实沙画绘制效果，采用像素模拟真实沙粒的方法构建沙画绘制笔刷，依照手指抹沙和手掌抹沙、铺沙绘制特点，使用shader渲染实时赋予画板材质，从而对沙画绘制进行效果模拟；6)沙画绘制：结合触摸手势与绘制笔刷实现触摸屏虚拟沙画的绘制。2.根据权利要求1所述的一种基于触摸屏手势识别的虚拟沙画绘制方法，其特征在于：所述步骤2)中对触摸事件在三维场景内生成的实例化触点进行坐标轴对齐的方法为：实际触摸坐标和实例化触摸项坐标可用表示，采用如下公式对齐二者坐标原点：(x,y,z)＝(x′,1-y′,z′)×RR为坐标转换矩阵，W为相机渲染宽度cameraWidth，H为相机渲染高度cameraHight；坐标偏差修正方法为：将实际触摸位置与实例化触摸点位置导入MATLAB，采用线性拟合方法对二者进行拟合，依据如下公式对偏差进行修正：3.根据权利要求2所述的一种基于触摸屏手势识别的虚拟沙画绘制方法，其特征在于：所述步骤3)中，使用图形建模的方式描述不同手势的特征，将这一过程分为开始，中间与结束三部分，每个触摸点采用具有相同编号的顶点进行描述，采用边缘Bs(x,y)作为描述同一触摸点的位置变化关系，使用边缘Ast(x,y,t)描述不同触摸点间的相对位置关系，包括相对x位置、相对y位置和时序关联，下标s代表测量顶点间的距离，t为测量顶点间时序，Vs代表开始点，Vm为中间点，Ve为结束点；在描述绘制手势时，通过将点与点的位置关系Relative_X(R_X)和Relative_Y(R_Y)描述其在空间位置上的差异，通过时间关系Relative_T(R_T)描述不同点的触摸顺序，将三者对应到边缘关系Ast(x,y,t)＝{R_X，R_Y，R_T}；对于单...

【专利技术属性】
技术研发人员：况立群，孙鑫，杨晓文，熊风光，韩燮，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14