一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法技术

本发明专利技术公开了一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法，涉及混合现实自然交互技术领域，包括以下步骤：步骤1、使用传感器获取指定区域的操作者骨骼位置信息；步骤2、将所述操作者骨骼位置信息发送到HoloLens设备；步骤3、所述HoloLens设备接收所述操作者骨骼位置信息；步骤4、所述HoloLens设备反馈交互结果。本发明专利技术通过增加自然交互方式补充原本单一的交互方式，降低了用户使用难度，丰富了用户交互方式，在全息电子沙盘情境下用户与目标对象的交互方式更加自然。

【技术实现步骤摘要】
一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法
本专利技术涉及混合现实自然交互
，尤其涉及一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法。
技术介绍
HoloLens是微软推出的一款混合现实设备。此款设备可以将计算机生成的虚拟对象叠加于现实世界之上，给使用者一种混合现实的视界。HoloLens的佩戴体验真实感、自然度都远远超过市面上任何一款AR眼镜。随着硬件的迭代、软件的定制、产品内容的不断提升，使得AR技术被越来越多的用户知晓，并在很多领域崭露头角，例如游戏产品、广告营销、教育(早教、玩具等)、旅游服务、服装、医疗教学、手术直播、异地药监、远程查房、智能维修、电气机械、大众传播等领域。HoloLens自带的自然交互方式除了语音和凝视，只有两种手势——开花(Bloom)和点击(Airtap)。现有技术中，目前还没有针对电脑操作台的全息与自然交互技术，由于电脑操作台的制作费时费力，一旦确定型号，很难做出任何小改动，尤其是面向大型企业需要量产，更是牵一发而动全身，而且商家难以满足各类用户人群，传统的电脑操作台制作成本高、周期长、改造慢，使用十分不便。中国专利技术专利“基于HoloLens的电脑操作台全息展现与自然交互应用方法”CN201710872591.5，公开一种基于HoloLens的电脑操作台全息展现与自然交互应用方法，依次包括以下步骤：依照实际电脑操作台等比例缩小尺寸，建立电脑操作台模型并以此搭建虚拟场景，将虚拟场景导入HoloLens眼镜，全息显示在真实空间；通过HoloLens利用SLAM技术进行环境理解，定位用户，得到真实环境数据；通过HoloLens实现用户与虚拟电脑操作台的友好交互。本专利技术面向电脑操作台的3D展现与自然交互应用，通过环境感知与虚拟物体投射，通过视线、手势、语音等自然交互方式，调整电脑操作台的高矮、大小、屏幕倾斜度、单个操作台摆放的位置、角度及多种操作台之间的组合摆放，也可根据用户喜好变换不同材质、颜色、风格、款式。该专利技术面向电脑操作台的3D展现与自然交互应用。随着环境设备的不断增强，用于满足交互的基础设施逐渐完善，出现了多类型智能终端，一方面，体现在环境中多尺度显示屏的普及，以智能手机为代表的小型交互屏幕解决了交互屏的便携性问题，提供无处不在的交互界面；另一方面，以电子沙盘、数据墙、智能电视为代表的大型屏幕则具有较好的视觉效果和沉浸感，为基于肢体动作的交互提供了可能。全息技术分为物理全息、数字全息和计算全息。计算全息是基于波前再现的真三维显示技术，它的显示技术与光学全息显示相同，它的显示效果可与人眼三维视觉特性完全匹配，提供人眼视觉系统所需全部深度信息，它是信息时代光学全息发展的必然结果。计算全息技术具有极大的灵活性和独特的优点，它不仅可以把实际光波的振幅和相位全面地编码出来，还能把物理空间不存在的物体波前综合出来，因此计算全息是最有潜力的三维显示技术。HoloLens是当今全球最好的计算全息设备。中国专利技术专利“一种基于HoloLens的指挥所协同作业电子沙盘系统”CN201710689811.0，公开了一种基于HoloLens的指挥所协同作业电子沙盘系统，包括硬件支撑层、资源管理层、应用支撑层和业务功能层，硬件支撑层通过系统中的硬件采集指挥员的交互信息并将交互信息传输至资源管理层；资源管理层管理系统中的资源数据并向应用支撑层提供系统管理、资源管控和数据访问接口；应用支撑层实现全息影像计算以及为业务功能层提供应用开发和运行环境支撑；业务功能层实现全息态势展示、多角色作战人员互动、自然交互、协同标绘、研讨过程管控和全息影像生成。本领域的技术人员致力于开发一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是目前的，如何简单有效地增加自然手势交互方式，弥补HoloLens自带的自然手势交互方式极其有限的缺陷。为实现上述目的，本专利技术提供了一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法，包括以下步骤：步骤1、使用传感器获取指定区域的操作者骨骼位置信息；步骤2、将所述操作者骨骼位置信息发送到HoloLens设备；步骤3、所述HoloLens设备接收所述操作者骨骼位置信息；步骤4、所述HoloLens设备反馈交互结果。可选地，在上述实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤1还包括：步骤1.1、将上述传感器与计算机一相连；步骤1.2、在计算机一安装上述传感器的开发套件；步骤1.3、通过该开发套件获取上述传感器中的操作者骨骼位置信息；步骤1.4、在计算机一编写脚本一，存储和分析操作者骨骼位置信息，判断姿势动作；步骤1.5、在所述计算机一下载并安装HoloLens分享服务器，所述HoloLens分享服务器可以在其开源网站上获取；步骤1.6、在上述计算机编写脚本二，连接上述HoloLens分享服务器和发送自定义消息，将上述步骤1.4存储的操作者骨骼位置信息发送到上述HoloLens分享服务器；步骤1.7、将由所述脚本一、所述脚本二和所述开发套件中相关脚本组成的程序在所述计算机上运行。可选地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤1中的传感器可以获取到操作者骨骼位置信息的传感器，包括但不限于Kinect系列传感器。可选地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤1.2中的开发套件满足从传感器数据中计算出操作者骨骼位置信息的需要，为HoloLens官方提供。可选地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤1.4中的姿势动作包括“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等。进一步地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤1.4中的脚本一包括两个数组nowJointsPos和definedJointsPos和DTW(Dynamictimewarping，即动态时间调整算法)比对函数，所述nowJointsPos数组存储所述传感器获取的人体关节的实时位置信息，数组大约存储5秒的数据(按传感器帧存储)，所述definedJointsPos数组提前定义了一个动作的位置信息，比如向右挥手，DTW比对函数使用动态时间规整算法对这两个数组进行比对并根据设置的阈值判定所述传感器获取的动作是否是定义的动作。实现对操作者“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”等姿势动作的判定。可选地，脚本二发送自定义消息的函数如下：发送步骤1.4中脚本一判定过的姿态动作与上述函数类似，修改入口参数为约定的动作即可。可选地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤2，使用HoloLens分享服务器作为中转设备，或者通过使用unity3D编辑器提供的unet功能，将所述操作者骨骼位置信息发送到HoloLens设备。可选地，在上述任一实施例中的基于HoloLens和传感器的全息电子沙盘自然交互实现方法中，步骤2还包括：步本文档来自技高网...

【技术保护点】
1.一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法，其特征在于，所述方法包括以下步骤：步骤1、使用传感器获取指定区域的操作者骨骼位置信息；步骤2、将所述操作者骨骼位置信息发送到HoloLens设备；步骤3、所述HoloLens设备接收所述操作者骨骼位置信息；步骤4、所述HoloLens设备反馈交互结果。

【技术特征摘要】
1.一种基于HoloLens和传感器的全息电子沙盘自然交互实现方法，其特征在于，所述方法包括以下步骤：步骤1、使用传感器获取指定区域的操作者骨骼位置信息；步骤2、将所述操作者骨骼位置信息发送到HoloLens设备；步骤3、所述HoloLens设备接收所述操作者骨骼位置信息；步骤4、所述HoloLens设备反馈交互结果。2.如权利要求1所述的基于HoloLens和传感器的全息电子沙盘自然交互实现方法，其特征在于，所述步骤1还包括：步骤1.1、将所述传感器与计算机一相连；步骤1.2、在所述计算机一安装所述传感器的开发套件；步骤1.3、通过所述开发套件获取所述传感器中的所述操作者骨骼位置信息；步骤1.4、在所述计算机一编写脚本一，存储和分析操作者骨骼位置信息，判断姿势动作；步骤1.5、在所述计算机一下载并安装HoloLens分享服务器；步骤1.6、在所述计算机编写脚本二，连接所述HoloLens分享服务器和发送自定义消息，将所述步骤1.4存储的操作者骨骼位置信息发送到所述HoloLens分享服务器；步骤1.7、将由所述脚本一、所述脚本二和所述开发套件中相关脚本组成的程序在所述计算机上运行。3.如权利要求2所述的基于HoloLens和传感器的全息电子沙盘自然交互实现方法，其特征在于，所述姿势动作包括“向右挥手”、“向左挥手”、“双手侧平举”、“坐下”。4.如权利要求2所述的基于HoloLens和传感器的全息电子沙盘自然交互实现方法，其特征在于，所述步骤2还包括：步骤2.1、配置所述脚本二，连接到所述HoloLens分享服务器；步骤2.2、在所述计...

【专利技术属性】
技术研发人员：乔辉，朱恺真，刘莹，游冰，崔鹤，李豪，
申请(专利权)人：机械工业第六设计研究院有限公司，
类型：发明
国别省市：河南,41