一种人体数据及空间定位的增强现实的方法及系统技术方案

本发明专利技术公开了 一种人体数据及空间定位的增强现实的方法及系统，属于空间定位的增强现实技术领域，一种人体数据及空间定位的增强现实系统包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。匹配进行增强现实的渲染。匹配进行增强现实的渲染。

【技术实现步骤摘要】
ꢀ
一种人体数据及空间定位的增强现实的方法及系统


[0001]本专利技术涉及 一种人体数据及空间定位的增强现实系统，具体是 一种人体数据及空间定位的增强现实的方法及系统。

技术介绍

[0002]增强现实技术是当今科技发展的重要领域之一，其通过实时计算摄像机的位姿，将相应的预设信息叠加显示在摄像机采集的影像中，从而实现虚拟空间与真实空间的交互。目前增强现实技术已被广泛应用于教育、娱乐、医疗等多个领域。
[0003]增强现实系统主要是由增强现实定位引擎、展示模块以及交互模块所构成,其中定位引擎负责通过传感器采集到的数据对设备在三位空间中的位置进行定位，并输出位姿（位置与旋转角）；然后展示模块接受位姿并在指定的位置渲染出虚拟的信息；最后用户可以通过交互模块进行虚实交互。可以看到，定位引擎是增强现实系统的基础。
[0004]现有的实现诸如在视频图像上进行虚拟物挂账或者绘制，以达到增强现实效果的方式，主要是利用单个摄像头应用AR技术对单一人体的动作进行识别及跟踪，如此，对于多人同时需要进行行为分析互动的场景，由于摄像头在同一时刻只能聚焦到一个人体对象物体上，从而整体所能够实现的互动场景比较单一，且增强现实的效果也欠佳。

技术实现思路

[0005]专利技术目的： 一种人体数据及空间定位的增强现实的方法及系统，以解决现有技术存在的上述问题。
[0006]技术方案： 一种人体数据及空间定位的增强现实系统，包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。
[0007]在进一步实例中，所述人机交互模块可以通过鼠标、键盘、数控板、手势识别、语音识别任一设备与真实场景下的虚拟模块或信息进行交互操作；所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式和工具交互模式。
[0008]在进一步实例中，所述三维注册模块包括硬件传感器组件与所述硬件传感器组件连接的计算机视觉组件，与所述计算机视觉组件连接的混合跟踪组件。
[0009]在进一步实例中，所述计算机视觉组件包括人工标志物、自热标注物与同时定位
与建图；通过图像估计相机或者摄像头在三维空间中的位姿。
[0010]在进一步实例中，所述混合跟踪组件通过视觉传感器与电磁式传感器结合，视觉传感器与惯性传感器结合以及视觉传感器与全球定位系统结合组合而成。
[0011]在进一步实例中，所述命令交互模式通过预先设定动作或者状态作为输入的命令，命令对应着虚拟物体的特定的操作，用户做出特定手势或者特定语音时，便可触发相应的命令；所述空间交互模式通过精准定位对场景中所有虚拟物体在真实三维空间中的位置，通过三维空间点位置进行选点实现实时定位；所述工具交互模式是通过硬件交互设备实现交互，通过识别工作的动作作为输入命令。
[0012]在进一步实例中，所述硬件传感器模块包括机械式传感器，与所述机械式传感器连接的全球定位系统，与所述全球定位系统连接的惯性传感器，与所述惯性传感器连接的电磁式传感器。
[0013]在进一步实例中，包括如下步骤；步骤1、通过相机或者摄像头获取图像；步骤2、提取中图像的特征成生相应的特征描述；然后前后连续的多张图像特征依次配准；步骤3、识别出场景的特征点信息，并且通过图像的变化反向计算得到相机或者摄像头的运动；步骤4、将获取的环境数据和特征信息，利用3D计算，将读入的深度图形转换为三维点云计算每一点的法向量；步骤5、将带有法向量的点云和通过光线投影算法根据前一帧位置从模型投影出来的点云，利用
ꢁ
ICP
ꢁ
点云配准算法计算位置；步骤6、根据相机的位置，将当前帧的点云融合到网格模型中去；步骤7、利用当前图像计算出的相机位置，通过光线投影算法从模型投影得到当前视角下的点云并计算其法向量，用来对下一张图像的输入进行配准。
[0014]有益效果：本专利技术公开了 一种人体数据及空间定位的增强现实系统，采用三维跟踪模块，根据定位不同的类别采用不同的传感器器进行跟踪定位保证了系统的通用性。设计混合跟踪的方式通过多组传感器融合实现跟踪定位，同时结合硬件传感器和计算机视觉应该范围更广。
附图说明
[0015]图1为本专利技术的增加实现系统框架图；图2为本专利技术的空间定位的流程图；图3为本专利技术相邻图像的特征匹配示意图。
具体实施方式
[0016]本专利技术通过 一种人体数据及空间定位的增强现实的方法及系统，现有的实现诸如在视频图像上进行虚拟物挂账或者绘制，以达到增强现实效果的方式，主要是利用单个
摄像头应用AR技术对单一人体的动作进行识别及跟踪，如此，对于多人同时需要进行行为分析互动的场景，由于摄像头在同一时刻只能聚焦到一个人体对象物体上，从而整体所能够实现的互动场景比较单一，且增强现实的效果也欠佳。下面通过实施例，并结合附图对本方案做进一步具体说明。
[0017] 为了实现空间定位，需要解决一个“我在哪”的问题，也就是地图，主要通过硬件和基数视觉两种跟踪定位，具体的，本专利技术包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。整个系统通过相机、ＩＭＵ等传感器获取真实世界信息后输入到三维注册模块进行三维空间定位，然后将输出的位姿输入图形渲染模块，结合预先设置好的虚拟信息将虚拟信息输出显示到屏幕上，用户可以通过人机交互模块和虚拟信息进行实时的交互。
[0018]为了保证虚拟物体和真实世界融合的真实感，将真实世界的图像和虚拟对象渲染到预先设置好的渲染平面上，通过虚拟的渲染平面和虚拟相机模拟真实世界相机的成像，并通过同时渲染保证相机位姿数据和渲染顿率的一致性，即虚拟场景构建和同时渲染。具体的，人机交互技术在增强现实应用中反映为用户可以通过设备和真实场景下的虚拟模型或信息进行一定程度的操作，以此实现用户和设备的交互操作，实现人与虚拟物体的互动。人机交互技术能够大幅度提升用户对于增强现实的体验，扩展了增强现实应用的范畴，人机交互技术可以通过鼠标、键盘、触控板、手势识别、语音识别等方式实现交互，在增强现实应用中，人机交互的方式一般可以分为以下三种，所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体数据及空间定位的增强现实系统，其特征在于：包括传感器输入模块，与所述传感器输入模块连接的三维注册模块，与所述三维注册模块连接的图像渲染模块，与所述图像渲染模块连接的虚拟信息模块和人机交互模块，以及与所述图像渲染模块连接的输出显示模块；通过摄像头或相机传感器输入模块获得信息后输入到三维注册信息模块进行三维空间等位，将输出的位置、位姿输入到图像渲染模块，预先设定好的虚拟信息将虚拟信息输出到显示屏幕上；通过三维注册模块进行空间定位，并且通过渲染模块进行虚实匹配进行增强现实的渲染。2.根据权利要求1所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述人机交互模块可以通过鼠标、键盘、数控板、手势识别、语音识别任一设备与真实场景下的虚拟模块或信息进行交互操作；所述人机交互模块有至少三种模式，包括命令交互模式、空间交互模式和工具交互模式。3.根据权利要求1所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述三维注册模块包括硬件传感器组件与所述硬件传感器组件连接的计算机视觉组件，与所述计算机视觉组件连接的混合跟踪组件。4.根据权利要求3所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述计算机视觉组件包括人工标志物、自热标注物与同时定位与建图；通过图像估计相机或者摄像头在三维空间中的位姿。5.根据权利要求3所述的 一种人体数据及空间定位的增强现实系统，其特征在于：所述混合跟踪组件通过视觉传感器与电磁式传感器结合，视觉传感器与惯性传感器结合以及视觉传感器与全球定位系统结合组合而成。6.根据权利要求2所述的 一种人体数据及空间...

【专利技术属性】
技术研发人员：蔡明，
申请(专利权)人：迅诊南通数字科技有限公司，
类型：发明
国别省市：