一种基于体感的虚拟矿井自然交互方法技术

本发明专利技术请求保护一种基于体感的虚拟矿井自然交互方法，该方法包括：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；通过图像预处理对手势信号里的图像、深度信息及骨骼信息进行平滑滤波；利用深度直方图分割出手势图像，再运用八邻域轮廓跟踪算法找出手势轮廓，识别静态手势；根据骨骼信息，用改进动态时间规划进行动态手势的特征匹配识别；利用手势识别结果触发相应的Win32指令消息，并将消息发送给虚拟现实引擎，把指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。本发明专利技术方法提高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感。能有效的普及虚拟现实与体感交互技术在煤矿及其他领域的应用。

【技术实现步骤摘要】

本专利技术属于体感技术、虚拟现实、自然人机交互等领域，具体涉及基于体感的虚拟 矿井自然交互。
技术介绍
近年来，随着语音识别技术、传感器技术、摄像照相技术以及计算机视觉技术 的深入发展，尤其是触摸屏技术的广泛应用，人机交互界面已经从早期的命令行、图形 用户、鼠标键盘交互等逐渐的转变为当前的研宄热点一自然用户界面（Natural User Interface, NUI)〇 体感交互技术是自然人机交互（Human-Computer Interface, HCI)的最新技术，可 以让人们直接通过身体运动与环境互动，"随心所欲"地操控环境，其核心价值在于，它让计 算机有了更精准有效的"眼睛"去观察这个世界，并根据人的动作来完成各种指令，实现与 人的实时交互。手势识别是通过计算机设备对人的手势进行精确解释，已成为一种基于体 感的自然人机交互的有效手段。2011年，微软公司开发的集图像识别、视频捕捉、语音控制 等多种技术于一体的体感器Kinect，实现了用户不需要借助任何手持设备，即可与计算机 进行自然交互，大幅降低了操作成本，为实现自然人机交互提供了一种有效方法。 体感技术与虚拟现实（Virtual Reality，VR)技术的有机结合，可以生成一个完全 逼真的，集视、听、触、情等多种感知的智能虚拟环境，给予人们自然、真实感受的同时，更能 从数字化虚拟空间自由获得丰富、准确的信息与知识。目前，VR技术在煤矿领域的应用研 宄还比较有限。运用VR技术，以计算机系统为基础，结合图像合成、数据库建立、人工智能 和物理环境模拟仿真等就可以模拟矿井常规工作、井下的抢险救灾、典型矿井事故等逼真 的三维虚拟矿井环境。然而，目前虚拟矿井中人机交互主要使用传统的键盘、鼠标等图形用 户界面（Graphical User Interface,⑶I)方式，让用户难以获得VR技术"身临其境"的真 实感，严重制约了虚拟矿井的实用价值。尽管一些虚拟矿井中，用户可以佩戴传感头盔、数 据手套、操纵杆等专用设备来与系统进行交互，实现对虚拟矿井稳定而精确的控制，但是其 缺点也是显而易见的：头盔数据手套等专用设备昂贵、笨重且不方便，也很难让操作人员产 生真实、自然的感觉。
技术实现思路
针对现有技术中现有虚拟矿井人机交互中自然性差、使用成本高、效率低、缺乏真 实感等问题的问题，本专利技术提供了一种提高了人机交互的自然高效性，增加了虚拟矿井表 现的沉浸感、自然感的基于体感的虚拟矿井自然交互方法，本专利技术的技术方案如下：一种基 于体感的虚拟矿井自然交互方法，其包括以下步骤： ，其特征在于，包括以下步骤： 101、建立手势识别模板库，然后进行数据获取步骤：运用Kinect体感器获取用户 的手势信号、深度信息以及骨骼点信息； 102、手势数据预处理步骤：将步骤101所获取的手势信号通过A/D转换处理，将其 转换为数字信号，所述手势信号包括单帧静态图像和连续多帧图像，然后通过图像预处理 对手势信号里的图像、深度信息及骨骼点信息进行平滑滤波，得到平滑滤波过的单帧静态 图像和平滑滤波过的连续多帧图像； 103、静态手势识别步骤：al、针对通过步骤102平滑滤波处理后的单帧静态图像， 利用深度直方图分割出静态手势图像；a2、在静态手势图像分割完成之后，将分割出的手势 图片进行二值化处理，转化为二值图；a3、再运用八邻域轮廓跟踪算法找出手势轮廓；a4、 最后，利用K曲率算法对手势轮廓的边界点进行判断得出手势轮廓的尖峰点个数即指尖点 个数，然后特征匹配识别，判断是否为模板手势； 104、动态手势识别步骤：针对经过步骤102平滑滤波处理过的连续多帧图像，根 据骨骼点的信息，将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，然 后再用改进动态时间规划算法进行动态手势的特征匹配识别，识别出是否为模板手势； 105、虚拟矿井交互，根据步骤103与步骤104的手势识别结果触发相应的Win32 指令消息，并将Win32指令消息发送给虚拟现实引擎，把Win32指令消息分别映射到虚拟矿 井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。 进一步的，所述静态手势为单帧图像，动态手势为连续多帧图像，所述深度信息 即为人到Kinect体感器的距离，主要为人手的深度信息，所述骨骼点信息为Kinect for Windows SDK开发包所提供的人体20个关节点信息，主要为手部、腕部、肘部、肩部关节点 信息。 进一步的，步骤103中a3步骤中八邻域轮廓跟踪算法具体为：以变量dir = 0为 初始扫描方向，扫描二值图，按照若dir为奇数取（dir+7)mod 8 ;若dir为偶数取（dir+6) mod 8的规则搜索当前像素的3*3邻域，如果在此邻域中搜索到的像素点值为1，则记录该 像素点，并标记该像素点为轮廓点，继而得到手形轮廓。 进一步的，步骤103中的K曲率算法对轮廓边界点进行处理具体为：判断手势轮廓 上的点P(i)和它前k个点P(i-k)之间向量，以及P(i)和它后k个点P(i+k)间向量的夹 角0是否在一定角度0范围内，从而判断P(i)是否为尖峰点，若是尖峰点则确定为指尖， 所述夹角0的判断范围是〇到55度，k的取值为22。 进一步的，步骤104中的动态时间规划算法具体为： 首先，选取模板手势手部关节点运动轨迹在三维空间XYZ三个平面的投影位置， 手部、肘部关节点的旋转角度混合组成特征数据向量V;其次，定义模板手势集为：L = (Ip 12, 13,. . .，ln)，待识别手势集为：R = (rp r2, r3,. . .，rm)，其中m辛n，待识别手势R与模 板手势结构相同，表示待识别的手势数据；并定义ln(i)为第n个模板手势的第i个特征数 据，相应的，r m(j)为第m个待识别手势的第j个特征数据，并用上述特征向量V来表示模板 手势的特征数据；最后，输入待识别手势，计算其与所有模板手势对应帧之间的欧几里得距 离d之和，所述对应帧即为关键帧，表示i帧和j帧在两个手部动作序列中所 对应的动作是相同的，计算所得欧几里得距离之和最小的待识别手势，即为对应的模板手 势。 本专利技术的优点及有益效果如下： 1、根据虚拟环境中人机交互的技术特点及要求，基于体感交互技术，首次提出了 基于体感的虚拟矿井自然交互方法，该方法用Kinect体感器采集用户的手势信息，然后对 手势语义进行识别解释，针对识别结果实时发出各种控制指令到虚拟现实引擎，使得用户 在贴近自己习惯的交互机制下，即可利用自己的手势动作与虚拟矿井进行交互，完全摆脱 了传统的鼠标键盘以及数据手套等复杂的动作捕捉设备。从而降低了用户的认知负荷，提 高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感。 2、本专利技术方法基于Kinect开发包提供的20个人体骨架节点信息以及深度信息， 分别采用基于Kinect的静态手势识别和基于Kinect的动态手势识别算法进行手势识别， 并通过识别出实际操作人员不同的静态手势以及动态手势得到相应的控制指令，具有计算 效率高、识别率高、实时性强等优点。 3、本专利技术方法是一种模块化的即插即用式虚拟矿井自然交互方法，即将基于 Kinect的手势识别程序与虚拟现实引擎分离开本文档来自技高网...

【技术保护点】
一种基于体感的虚拟矿井自然交互方法，其特征在于，包括以下步骤：101、建立手势识别模板库，然后进行数据获取步骤：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；102、手势数据预处理步骤：将步骤101所获取的手势信号通过A/D转换处理，将其转换为数字信号，所述手势信号包括单帧静态图像和连续多帧图像，然后通过图像预处理对手势信号里的图像、深度信息及骨骼点信息进行平滑滤波，得到平滑滤波过的单帧静态图像和平滑滤波过的连续多帧图像；103、静态手势识别步骤：a1、针对通过步骤102平滑滤波处理后的单帧静态图像，利用深度直方图分割出静态手势图像；a2、在静态手势图像分割完成之后，将分割出的手势图片进行二值化处理，转化为二值图；a3、再运用八邻域轮廓跟踪算法找出手势轮廓；a4、最后，利用K曲率算法对手势轮廓的边界点进行判断得出手势轮廓的尖峰点个数即指尖点个数，然后特征匹配识别，判断是否为模板手势；104、动态手势识别步骤：针对经过步骤102平滑滤波处理过的连续多帧图像，根据骨骼点的信息，将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，然后再用改进动态时间规划算法进行动态手势的特征匹配识别，识别出是否为模板手势；105、虚拟矿井交互，根据步骤103与步骤104的手势识别结果触发相应的Win32指令消息，并将Win32指令消息发送给虚拟现实引擎，把Win32指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。...

【技术特征摘要】

【专利技术属性】
技术研发人员：蔡林沁，张建荣，刘彬彬，虞继敏，杨卓，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;85