一种基于虚拟现实的实时人机交互系统及方法技术方案

本发明专利技术提供了一种基于虚拟现实的实时人机交互系统，三维图像采集模块对真实场景进行图像采集，并将三维图像信息传输至虚拟场景处理模块；虚拟场景处理模块对真实场景虚拟构建与实时渲染，为控制者提供真实场景三维实时模拟；控制模块对各模块统筹控制与信息传输，同时接收控制者的控制指令并将其发送至运动反馈模块和外接设备；运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；虚拟现实头盔作为虚拟场景呈现设备，佩戴于控制者并在其中实现沉浸式的实时人机交互。同时提供了一种实时人机交互方法。本发明专利技术实现了虚拟现实环境下的实时人机交互。

【技术实现步骤摘要】
一种基于虚拟现实的实时人机交互系统及方法
本专利技术涉及虚拟现实
，尤其涉及一种在虚拟现实环境中实现实时人机交互的基于虚拟现实的实时人机交互系统及方法。
技术介绍
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。通过对虚拟现实技术的应用，可以采用更为自然的人机交互手段实现对控制过程的模拟，塑造出更具沉浸感的控制环境和现实情况下难以实现的条件，并赋予控制模拟以新的含义。经调研，目前发现没有其他专利实现了虚拟环境下的实时人机交互。专利CN201610365024.6“一种虚拟现实实时交互中虚拟对现实自主响应方法”实现了虚拟场景与真实场景的实时交互，但是并没有涉及到人机交互的功能。CN201520627434.4“一种基于虚拟现实技术的人机交互系统”实现了纯粹虚拟环境下的人机交互，但是并不具备实时性。利于虚拟现实技术进行实时人机交互这一功能在许多领域都具有很高的应用价值，例如在控制模拟领域，在控制无人机进行飞行模拟的过程中，借助于在虚拟环境中进行的实时人机交互，一方面可以及时地获取当前的飞行环境信息，避免不必要的操作失误；另一方面，可以为控制者带来身临其境的控制体验，提高可操作性。此外，这一功能还可应用于应急救灾，勘探等场合，控制者可通过虚拟环境中的实时模拟了解当前场合的详细情况，做出最准确的判断，同时还可以控制外接设备实现相应的操作，完成某一具体的任务。因此，如何实现虚拟现实环境中的人机实时交互，成为本领域亟待解决的问题。
技术实现思路
针对上述现有技术中存在的上述不足，本专利技术的目的是提出一种基于虚拟现实的实时人机交互系统及方法。本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种基于虚拟现实的实时人机交互系统，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备；其中：所述三维图像采集模块搭载于外接设备，用于实现对真实场景的三维图像采集，并将采集到的三维图像信息传输至虚拟场景处理模块；所述虚拟场景处理模块与虚拟现实头盔相连接，用于实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输，同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备；所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；所述虚拟现实头盔作为虚拟场景的呈现设备，佩戴于控制者，并在其中实现沉浸式的实时人机交互。优选地，所述三维图像采集模块包括双目摄像机和图传模块，其中：所述双目摄像机用于实现真实场景的三维图像采集，通过搭载于不同的外接设备实现不同运动视角下的三维图像采集；所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。优选地，所述外界设备采用如下任意一项或多项：-无人机；-小车；-机械手。优选地，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，所述虚拟场景处理模块根据所接收到的三维图像信息，在虚拟环境内完成真实场景的构建，并根据不断更新传输的三维图像信息完成对场景的实时渲染。优选地，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，是通过虚幻引擎4的蓝图功能，将特定的底层函数进行封装实现模块化，再利用节点将不同的模块进行连接完成一系列相应的功能。优选地，所述控制模块主要由指令输入端和数传模块组成，其中：所述指令输入端用于指代不同形式的控制指令输入设备；所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处，同时服务于三维图像采集模块、虚拟场景处理模块、运动反馈模块之间的信息传输，实现统筹控制。优选地，所述运动反馈模块基于软件虚幻引擎4编程实现，通过外接设备预先设定特定的运动方式和指令对应关系，保证真实与虚拟条件下场景变换方式的一致性以及准确的实时控制对应关系。优选地，所述运动反馈模块基于软件虚幻引擎4编程实现，是通过虚幻引擎4的蓝图功能，将特定的底层函数进行封装实现模块化，再利用节点将不同的模块进行连接完成一系列相应的功能。优选地，所述运动反馈模块还用于记录控制对象的运动轨迹，并与实际的指令操作进行比对，得到的比对结果用于判断控制方式的效果以及为控制策略的制定提供参考。根据本专利技术的另一个方面，提供了一种基于虚拟现实的实时人机交互方法，通过上述系统完成，包括步骤如下：步骤S1、选定外接设备，搭载三维图像采集模块，并在运动反馈模块中设定虚拟控制对象的运动方式与指令对应关系；步骤S2、控制者佩戴虚拟现实头盔，启动三维图像采集模块的双目摄像机，在虚拟环境内完成真实场景的构建；步骤S3、控制者发送控制指令，运动反馈模块接收到控制指令，操纵虚拟控制对象完成相应动作；同时，外接设备接收到控制指令，操纵搭载着双目摄像机的外接设备完成同样的动作；步骤S4、在步骤S3的过程中，虚拟场景处理模块根据双目摄像机在运动过程中所采集得到的三维图像信息对虚拟场景进行实时渲染；重复步骤S1～S4，完成虚拟场景下的实时人机交互。优选地，所述步骤S1中，虚拟控制对象根据外接设备进行三维模型建模，通过对运动反馈模块的设置，使虚拟控制对象具备与外接设备一致的运动方式，为控制者提供实时的控制反馈。优选地，所述步骤S2中，虚拟现实头盔利用双目视觉的成像原理为控制者提供三维立体的虚拟环境。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术实现了虚拟环境下的人机实时交互，为虚拟现实技术与其他领域交叉结合运用提供了新的思路；2、本专利技术同时具有较高的实用价值，可用于控制模拟、应急救灾、勘探等多种场合。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术的系统结构示意图；图2是本专利技术实施例效果示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进。这些都属于本专利技术的保护范围。实施例本实施例提供了一种基于虚拟现实的实时人机交互系统及方法，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备。所述三维图像采集模块搭载于外接设备，主要实现对真实场景的图像采集，并将三维图像信息传输至虚拟场景渲染模块；所述虚拟场景处理模块实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；所述控制模块主要用于实现各模块(三维图像采集模块、虚拟场景处理模块、运动反馈模块)的统筹控制与信息传输，同时接收来自控制者的控制指令并将其发送至运动反馈模块和外接设备处；所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的反馈；所述虚拟现实头盔作为虚拟场景的呈现设备，控制者在佩戴之后即可在其中实现沉浸式的实时人机交互。进一步地，所述三维图像采集模块包括双目本文档来自技高网...

【技术保护点】
一种基于虚拟现实的实时人机交互系统，其特征在于，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备；其中：所述三维图像采集模块搭载于外接设备，用于实现对真实场景的三维图像采集，并将采集到的三维图像信息传输至虚拟场景处理模块；所述虚拟场景处理模块与虚拟现实头盔相连接，用于实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输，同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备；所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；所述虚拟现实头盔作为虚拟场景的呈现设备，佩戴于控制者，并在其中实现沉浸式的实时人机交互。

【技术特征摘要】
1.一种基于虚拟现实的实时人机交互系统，其特征在于，包括三维图像采集模块、虚拟场景处理模块、控制模块、运动反馈模块、虚拟现实头盔以及外接设备；其中：所述三维图像采集模块搭载于外接设备，用于实现对真实场景的三维图像采集，并将采集到的三维图像信息传输至虚拟场景处理模块；所述虚拟场景处理模块与虚拟现实头盔相连接，用于实现真实场景的虚拟构建与实时渲染，为控制者提供真实场景的三维实时模拟；所述控制模块主要用于实现对三维图像采集模块、虚拟场景处理模块、运动反馈模块的统筹控制与信息传输，同时接收来自控制者的控制指令并将控制指令发送至运动反馈模块和外接设备；所述运动反馈模块在接收到控制指令后，根据预先设定的运动方式操纵虚拟环境中的控制对象完成相应的动作，为控制者在虚拟环境中提供控制效果的实时反馈；所述虚拟现实头盔作为虚拟场景的呈现设备，佩戴于控制者，并在其中实现沉浸式的实时人机交互。2.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述三维图像采集模块包括双目摄像机和图传模块，其中：所述双目摄像机用于实现真实场景的三维图像采集，通过搭载于不同的外接设备实现不同运动视角下的三维图像采集；所述图传模块用于实现采集到的三维图像信息与虚拟场景处理模块之间的传输。3.根据权利要求2所述的基于虚拟现实的实时人机交互系统，其特征在于，所述外界设备采用如下任意一项或多项：-无人机；-小车；-机械手。4.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述虚拟场景处理模块基于软件虚幻引擎4编程实现，所述虚拟场景处理模块根据所接收到的三维图像信息，在虚拟环境内完成真实场景的构建，并根据不断更新传输的三维图像信息完成对场景的实时渲染。5.根据权利要求1所述的基于虚拟现实的实时人机交互系统，其特征在于，所述控制模块主要由指令输入端和数传模块组成，其中：所述指令输入端用于指代不同形式的控制指令输入设备；所述数传模块用于接收控制指令并将控制指令发送至运动反馈模块和外接设备处，同时...

【专利技术属性】
技术研发人员：张定国，李仁杰，王萌，何文谦，徐瑜健，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31