一种融合现实互动系统和方法技术方案

本发明专利技术实施例公开了一种融合现实互动系统和方法。该系统包括：裸眼3D显示设备，用于获取并显示融合现实图像；互动设备，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据；处理设备，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3D显示设备。该系统解决了用户在体验过程中需穿戴设备而导致的活动与视野受限，并且不能直接观看现实目标的问题。并且不能直接观看现实目标的问题。并且不能直接观看现实目标的问题。

【技术实现步骤摘要】
一种融合现实互动系统和方法


[0001]本专利技术实施例涉及虚拟现实技术，尤其涉及一种融合现实互动系统和方法。

技术介绍

[0002]随着人类科技的迭代发展，虚拟现实技术已经越来越深入人们的生活。现如今，人们更加渴望将真实世界的用户与虚拟世界之间搭起一个能够交互反馈的信息回路，来增强用户更加真实的体验感。
[0003]在现有的虚拟现实、增强现实及融合现实的显示互动系统中，需要用户使用穿戴式设备来体验虚拟的世界，或与“实幻交织”的世界进行互动。
[0004]然而，在用户进行体验的过程中，穿戴式设备进行体验的方式需要与人体接触。用户体验活动与视野会受到限制，并且不能直接观看现实目标。

技术实现思路

[0005]本专利技术实施例提供一种融合现实互动系统和方法，用以解决现有技术中的缺陷，以实现用户在体验过程中活动与视野不受限制，并且能够直接观看到现实目标的目的。
[0006]第一方面，本专利技术实施例提供了一种融合现实互动系统，包括：
[0007]裸眼3D显示设备，用于获取并显示融合现实图像；
[0008]互动设备，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据；
[0009]处理设备，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3D显示设备。
[0010]第二方面，本专利技术实施例还提供了一种融合现实互动方法，包括：<br/>[0011]分别获取虚拟图像、实体图像和互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像；
[0012]将所述融合现实图像提供给所述裸眼3D显示设备。
[0013]本专利技术实施例通过采用一种裸眼3D显示设备显示融合现实图像的交互系统，解决了用户在体验过程中需穿戴设备而导致活动与视野受限的问题，实现了用户在体验过程中能够直接观看到现实目标效果。
附图说明
[0014]图1为本专利技术实施例一中的一种融合现实互动系统的结构示意图；
[0015]图2是本专利技术实施例二中的一种融合现实互动系统的结构示意图；
[0016]图3A是本专利技术实施例三中的一种融合现实互动方法的流程图；
[0017]图3B是本专利技术实施例三中的一种融合现实互动方法示意图；
[0018]图3C是本专利技术实施例三中的基于多人远程互动融合现实互动方法示意图。
具体实施方式
[0019]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0020]实施例一
[0021]图1为本专利技术实施例一提供的一种融合现实互动系统的结构示意图。如图1所示，所述融合现实互动系统包括：裸眼3D显示设备110、互动设备120和处理设备130。
[0022]裸眼3D显示设备110，用于获取并显示融合现实图像。
[0023]互动设备120，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据。
[0024]处理设备130，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3D显示设备。
[0025]其中，所述实体对象可以为用户自身、用户的四肢或一切现实世界的物体，可以通过互动设备120中的摄像头等采集设备获取。所述虚拟图像可以为从任意软件平台或软件引擎中获取到的模型图像数据。所述融合现实图像可以为通过互动设备采集到的现实世界模型图像与已有的虚拟世界模型图像，根据映射关系相结合生成的新世界模型图像。
[0026]其中，所述裸眼3D显示设备110为通过显示屏本身的分光特性，分别给左右眼投射视差视图形成立体效果的显示器。所述裸眼3D显示设备包括且不限于单屏与多屏，数量可以为一个或多个。分光元件包括且不限于柱透镜、光栅、指向性点光源等。所述裸眼3D显示设备110不需要任何辅助设备(如3D眼镜，头盔等)即可获得具有空间、深度的逼真立体形象。
[0027]可选的，所述裸眼3D显示设备还用于根据所述处理设备的渲染控制指令，对获取到的所述融合现实图像进行渲染后进行显示。所述渲染控制指令例如可以是利用嵌入裸眼3D显示器中的硬件完成3D内容生成、交织处理等。
[0028]可选的，所述互动设备120可以为接触式采集设备与非接触式采集设备。例如优选的是，互动设备120采用非接触式采集设备，非接触式采集设备可以为摄像头、红外传感器、麦克风、超声传感器和3D传感器等。
[0029]所述互动设备120可以用于采集实体对象的实体图像，所述实体图像可以通过互动设备120当中的图像采集装置获取，所述图像采集装置可以为摄像头、3D激光扫描仪或3D视觉图像传感器等，本专利技术实施例对此不进行限制。所述互动设备120还用于采集所述实体对象的互动输入数据。
[0030]可选的，所述互动输入数据包括下述至少一项：所述实际对象的整体移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、所述实际对象的音频、和/或所述实际对象操作输入设备产生的输入事件等。设定部位的移动轨迹例如是眼球移动轨迹或手臂移动轨迹等。
[0031]其中，所述实际对象的整体移动轨迹可以通过互动设备120当中的人体跟踪传感器获取，所述人体跟踪传感器能够对所述裸眼3D显示设备110的观看范围内的人体进行位置跟踪，所述人体跟踪传感器可以为人体红外传感器等其他能够进行人体跟踪的传感器。
所述实际对象眼球移动轨迹可以通过能够进行人眼追踪类的装置获取，例如可以是智能视觉跟踪仪。所述实际对象的设定部位的移动轨迹，例如可以是所述实际对象的手势、姿态、表情，可以通过姿态传感器等设备来获取。所述实际对象的音频可以通过麦克风等语音识别类设备获取，所述实际对象的操作输入事件可通过输入设备产获取，例如输入设备可以是手柄、手环、手套等，本专利技术实施例对此不进行限制。
[0032]具体的，如果互动设备120实时性不能满足对实际对象位置移动或实际对象设定部位移动或实际对象手势、姿态、表情等图像3D模型采集时，可预先将实际对象等图像采集录入到系统中，仅实时追踪其位置即可。
[0033]所述处理设备130可以为用户端主机，分别与互动设备120与裸眼3D显示设备110通过传输介质连接，传输方式可以为有线通信或无线通信。所述处理设备130可以接收互动设备120采集到的所述实体对象的互动输入数据，并对所述互动输入数据进行处理。
[0034]可选的，所述处理设备130还用于根据所述互动输入数据调整所述融合现实图像。所述处理设备120可以根据所述互动输入数据当中的实际对象的整体移动轨迹、实际本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合现实互动系统，其特征在于，包括：裸眼3D显示设备，用于获取并显示融合现实图像；互动设备，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据；处理设备，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3D显示设备。2.根据权利要求1所述的系统，其特征在于，所述裸眼3D显示设备还用于根据所述处理设备的渲染控制指令，对获取到的所述融合现实图像进行渲染后进行显示。3.根据权利要求1所述的系统，其特征在于，所述互动设备包括非接触式采集设备；所述非接触式采集设备包括摄像头，还包括下述至少一种：红外传感器、麦克风、超声传感器和3D传感器。4.根据权利要求1所述的系统，其特征在于，所述互动输入数据包括下述至少一种：所述实际对象的整体移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、所述实际对象的音频、和/或所述实际对象操作输入设备产生的输入事件。5.根据权利要求1所述的系统，其特征在于，互动设备还包括：人体跟踪传感器，用于对所述裸眼3D显示设备的观看范围内的人体进行位置跟踪；相应的，所述处理设备，与所述人体跟踪传感器相交互，还用于根据人体跟踪位置，调整所述融合现实图像，以使所述融合现实图像在所述人体跟踪位置处呈现3D显示效果。6.根据权利要求1所述的系统，其特征在于，所述裸眼3D显示设备的数量为一个或多个；所述处理设备，分别与各裸眼3D显示设备相交互，还用于根据所述融合现实图像确定相同或不同的分屏现实图像，分别提供给各所述裸眼3D显示设备进行显示。7.根据权利要求1或2所述的系统，其特征在于，所述处理设备包括：虚拟图像转换单元，用于获取虚拟图像，并将所述虚拟图像按照虚拟融合转换关系，从虚拟坐标系转换至融合坐标系；实体图像转换单元，用于获取实体图像，并将所述实体图像按照实体融合转换关系，从实体坐标系转换至融合坐标系；图像融合单元，用于在所述融合坐标系下，将转换后的虚拟图像和实体图像进行叠加，以形成所述融合现实图像；互动调整单元，用于根据互动设备采集的互动输入数据和预设的互动策略，确定虚拟图像的调整策略，并根据所述调整策略调整所述虚拟图像，将调整后的...

【专利技术属性】
技术研发人员：汪洋，
申请(专利权)人：纵深视觉科技南京有限责任公司，
类型：发明
国别省市：