基于AR技术的空间化信息沙盘手势操作系统及方法技术方案

本发明专利技术属于AR技术领域，是一种基于AR技术的空间化信息沙盘手势操作系统及方法，该系统包括AR显示装置获取真实手势操作信息，并投射显示主机系统发送的对应真实手势操作信息的空间化信息沙盘数据；主机系统配置生成空间化信息沙盘，及将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，并传输经所述通信单元至所述AR显示装置。本发明专利技术利用AR显示装置获取真实手势操作信息，再由主机系统将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，实现空间化信息沙盘手势操作，该过程无需增加新的独立的模块，只需在原有主机系统内进行功能改进即可，有效节省了成本。有效节省了成本。有效节省了成本。

【技术实现步骤摘要】
基于AR技术的空间化信息沙盘手势操作系统及方法


[0001]本专利技术属于AR
，是一种基于AR技术的空间化信息沙盘手势操作系统及方法。

技术介绍

[0002]AR（增强现实）技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。将原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。传统沙盘受到空间影响要经过大比例缩小，因此只能获得鸟瞰形象，无法以正常的比例与视角来感受展示区域的建筑空间，更无法获得人在其中走动的真实感觉，在细节表现上随精度增加而大幅度增加成本，且受到本身制作方法限制，使其对局部细节表现能力受到诸多限制。并且传统沙盘只能单一的进行展示，而不能实现多方面内容的结合。如果没有足够的沉浸感和互动性，就不能够给用户带来身临其境的体验。
[0003]因此目前将AR（增强现实）技术和电子沙盘相结合，进一步提高沙盘的全方位展示和用户体验。
[0004]手势运动操作系统及方法是一种利用成像学、计算机图形学和图像技术，将手势运动图形或图像信息转换为数据信息输入给AR头戴式设备，并与三维的空间化信息沙盘进行匹配，大大减少了操作难度，加快人类在数据信息末端的处理速度，使时刻都在更新的海量数据得到有效利用，令使用者轻松快捷地操作其中的内容、位置、交互逻辑，以便方便其使用。同时，空间化信息沙盘的手势操作技术扩大了用户应用的使用边界和逻辑交互，减少对空间化信息沙盘操作时所耗费的人力、物力、财力。
[0005]目前，目前通过虚拟按键进行AR显示设备操作的方式，对AR显示设备中的内容展示进行交互，是通过基于独立控制单元进行，通过独立控制单元上的按键输入进行内容上的操作实现。此交互方式要依靠一套单独的控制器单元模块，导致成本增加与操作的不便性。

技术实现思路

[0006]本专利技术提供了一种基于AR技术的空间化信息沙盘手势操作系统及方法，用于通过真实手势操作和沙盘进行交互。
[0007]有鉴于此，本申请第一方面提供了一种基于AR技术的空间化信息沙盘手势操作系统，包括主机系统、通信单元和AR显示装置；所述AR显示装置获取真实手势操作信息，并投射显示主机系统发送的对应真实手势操作信息的空间化信息沙盘数据，其中真实手势操作信息包括手势的运动方向信息、手势的关节运动信息和手势的数量信息；所述通信单元搭建所述AR显示装置和所述主机系统之间的通信链路；
所述主机系统配置生成空间化信息沙盘，及将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，并传输经所述通信单元至所述AR显示装置。
[0008]优选的，主机系统包括：第一信息处理模块，配置生成空间化信息沙盘，其中空间化信息沙盘包括空间化交互UI、空间化信息沙盘和沙盘展示数据；第二信息处理模块，将沙盘物体信息以信息空间化的方式叠加至空间化信息沙盘上，其中沙盘物体信息包含真实的物理空间沙盘及可检测的物体表面；第三信息处理模块，对接收到的真实手势操作信息进行解析，获得对应的虚拟手势操作信息，并将空间化信息沙盘与虚拟手势操作信息进行叠加，输出操作后的空间化信息沙盘；第四信息处理模块，将渲染后的空间化信息沙盘以流媒体输出的方式经通信单元发送至AR显示装置。
[0009]优选的，第三信息处理模块对接收到的真实手势操作信息进行解析，包括：利用镜头识别手势技术捕捉识别手指运动，获取对应的虚拟手势操作信息，将将空间化信息沙盘与虚拟手势操作信息进行叠加，输出操作后的空间化信息沙盘。
[0010]优选的，主机系统还包括数据库，存储空间化信息沙盘及手势操作逻辑信息。
[0011]优选的，AR显示装置包括：AR头戴式显示设备，投射显示主机系统发送的对应真实手势操作信息的空间化信息沙盘数据；摄像模块，设置在所述AR头戴式显示设备的前部外侧，捕捉真实手势操作信息；声音采集模块，设置在所述AR头戴式显示设备上，采集声音数据；无线传输模块，设置在所述AR头戴式显示设备上，建立所述AR显示装置之间的双向通信链路及所述AR显示装置与所述通信单元之间的双向通信链路；声音输出模块，设置在所述AR头戴式显示设备上，输出接收到的声音数据，其中声音数据包含沙盘中的音效数据；定位模块，设置在所述AR头戴式显示设备上，获取AR头戴显示设备的物理空间信息、位置信息、视角信息、手势操作信息；中央控制模块，通过无线传输模块与主机系统通信，控制AR头戴式显示设备、摄像模块、声音采集模块、无线传输模块、声音输出模块、定位模块动作。
[0012]有鉴于此，本申请第二方面提供了一种基于AR技术的空间化信息沙盘手势操作方法，包括AR显示装置获取真实手势操作信息，并经通信单元发送至主机系统；主机系统配置生成空间化信息沙盘，将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，并传输经所述通信单元至所述AR显示装置；AR显示装置投射显示操作后的空间化信息沙盘数据。
[0013]优选的，主机系统配置生成空间化信息沙盘，将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，并传输经所述通信单元至所述AR显示装置，包括：
第一信息处理模块配置生成空间化信息沙盘，并存储于数据库中；第二信息处理模块调取数据库中的空间化信息沙盘，将沙盘物体信息以信息空间化的方式叠加至空间化信息沙盘上，其中沙盘物体信息包含真实的物理空间沙盘及可检测的物体表面；第三信息处理模块接收真实手势操作信息并进行解析，获得对应的虚拟手势操作信息；第三信息处理模块将空间化信息沙盘与虚拟手势操作信息进行叠加，输出操作后的空间化信息沙盘；第四信息处理模块将渲染后的空间化信息沙盘以流媒体输出的方式经通信单元发送至AR显示装置。
[0014]优选的，在区域内有多台所述AR显示装置，主机系统能分别根据不同AR显示装置的真实手势操作信息，输出对应操作后的空间化信息沙盘数据，并传输至对应的AR显示装置进行投射显示。
[0015]本专利技术实施例针对现有通过虚拟按键进行AR显示设备操作的方式，对AR显示设备中的内容展示进行交互，是通过基于独立控制单元进行，通过独立控制单元上的按键输入进行内容上的操作实现，该方式依靠一套单独的控制器单元模块，导致成本增加与操作不便性的问题，利用AR显示装置获取真实手势操作信息，再由主机系统将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，实现空间化信息沙盘手势操作，该过程无需增加新的独立的模块，只需在原有主机系统内进行功能改进即可，有效节省了成本，并且该空间化信息沙盘手势操作实时且自动，有效保证了空间化信息沙盘手势操作的效率。
附图说明
[0016]附图1为本专利技术一个实施例的系统结构示意图。
[0017]附图2为本专利技术一个实施例又一种的系统结构示意图。
[0018]附图3为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR技术的空间化信息沙盘手势操作系统，其特征在于，包括主机系统、通信单元和AR显示装置；所述AR显示装置获取真实手势操作信息，并投射显示主机系统发送的对应真实手势操作信息的空间化信息沙盘数据，其中真实手势操作信息包括手势的运动方向信息、手势的关节运动信息和手势的数量信息；所述通信单元搭建所述AR显示装置和所述主机系统之间的通信链路；所述主机系统配置生成空间化信息沙盘，及将真实手势操作信息与空间化信息沙盘进行交互，输出操作后的空间化信息沙盘数据，并传输经所述通信单元至所述AR显示装置。2.根据权利要求1所述的基于AR技术的空间化信息沙盘手势操作系统，其特征在于，所述主机系统包括：第一信息处理模块，配置生成空间化信息沙盘，其中空间化信息沙盘包括空间化交互UI、空间化信息沙盘和沙盘展示数据；第二信息处理模块，将沙盘物体信息以信息空间化的方式叠加至空间化信息沙盘上，其中沙盘物体信息包含真实的物理空间沙盘及可检测的物体表面；第三信息处理模块，对接收到的真实手势操作信息进行解析，获得对应的虚拟手势操作信息，并将空间化信息沙盘与虚拟手势操作信息进行叠加，输出操作后的空间化信息沙盘；第四信息处理模块，将渲染后的空间化信息沙盘以流媒体输出的方式经通信单元发送至AR显示装置。3.根据权利要求2所述的基于AR技术的空间化信息沙盘手势操作系统，其特征在于，所述第三信息处理模块对接收到的真实手势操作信息进行解析，包括：利用镜头识别手势技术捕捉识别手指运动，获取对应的虚拟手势操作信息，将空间化信息沙盘与虚拟手势操作信息进行叠加，输出操作后的空间化信息沙盘。4.根据权利要求2或3所述的基于AR技术的空间化信息沙盘手势操作系统，其特征在于，所述主机系统还包括数据库，存储空间化信息沙盘及手势操作逻辑信息。5.根据权利要求1或2所述的基于AR技术的空间化信息沙盘手势操作系统，其特征在于，所述AR显示装置包括：AR头戴式显示设备，投射显示主机系统发送的对应真实手势操作信息的空间化信息沙盘数据；摄像模块，设置在所述AR头戴式显示设备的前部外侧，捕捉真实手势操作信息；声音采集模块，设置在所述AR头戴式显示设备上，采集声音数据；无线传输模块，设置在所述AR头戴式显示设备上，建立所述AR显示装置之间的双向通信链路及所述AR显示装置与所述通信单元之间的双向通信链路；声音输出模块，设置在所述AR头戴式显示设备上，输出接收到的声音数据，其中声音数据包含沙盘中的音效数据；定位模块，设置在所述AR头戴式显示设备上，获取AR头戴显示设备的物理空间信息、位置信息、视角信息、手势操作信息；中央控制模块，通过无线传输模块与主机系统通信，控...

【专利技术属性】
技术研发人员：王牧，高月，
申请(专利权)人：北京涅墨西斯科技有限公司，
类型：发明
国别省市：