一种智能人机交互方法技术

本发明专利技术公开了一种智能人机交互方法，包括如下步骤：佩戴视觉设备，通过视觉设备的红外传感器实时检测预设范围内是否有人；当检测结果为是时，控制音频交互单元开始运行，并采集三维图像信息而获取不同角度的深度图；客户端生成图像信息，并从存储器中调取3D虚拟场景数据与预存的音频指令文件；将音频输入单元检测到的音频操作指令与预存的音频指令文件进行匹配，匹配成功后，实时获取成功匹配的音频操作指令；根据音频操作指令，进行手势操作，视觉设备的惯性传感器获取位置与姿势信息，视觉传感器实时捕捉人手的位置并识别人手的姿势。本发明专利技术打造写实的虚拟环境，真实性更强，能够在高仿真度的场景下进行对照学习，更加便捷和高效。

An Intelligent Human-Computer Interaction Method

【技术实现步骤摘要】
一种智能人机交互方法
本专利技术涉及人机交互
，尤其涉及了一种智能人机交互方法。
技术介绍
随着动态手势识别的发展，对于智能控制和视频监控领域的发展都产生了重大的影响，而动态手势识别的一个重要的用途就是人机交互，目前动态手势交互中的手势很多，手势运用不合理，手势的滥用，也造成了人机交互中易用性和体验性的下降。尤其是应用在教学时，现有大多采用观看视频及收听语音的方式，学习者智能被动的看或听预存的文件，无法产生互动，后来采用VR设备进行呈现，但是真实性的效果差。
技术实现思路
针对现有技术存在的不足，本专利技术的目的就在于提供了一种智能人机交互方法，打造写实的虚拟环境，真实性更强，能够在高仿真度的场景下进行对照学习，更加便捷和高效。为了实现上述目的，本专利技术采用的技术方案是这样的：一种智能人机交互方法，包括如下步骤：(1)将视觉设备佩戴在演示者上，另外根据学习者数量佩戴相应数量的视觉设备；(2)通过视觉设备的红外传感器实时检测预设范围内是否有人；(3)当步骤(2)中的检测结果为否时，重复步骤(2)，当步骤(2)中的检测结果为是时，控制音频交互单元开始运行，并通过视觉传感器采集三维图像信息而获取不同角度的深度图；(4)客户端通过图形处理器生成图像信息，并从存储器中调取3D虚拟场景数据与预存的音频指令文件；(5)将步骤(3)中音频输入单元检测到的音频操作指令与步骤(4)中预存的音频指令文件进行匹配，匹配成功后，实时获取成功匹配的音频操作指令；(6)根据音频操作指令，演示者进行手势操作，视觉设备的惯性传感器获取位置与姿势信息，视觉传感器实时捕捉人手的位置并识别人手的姿势。作为一种优选方案，所述步骤(6)中的惯性传感器包括加速度计与陀螺仪。作为一种优选方案，所述步骤(3)中的音频交互单元包括语音输入模块、语音识别模块、语音输出模块。作为一种优选方案，所述步骤(3)中的视觉传感器包括图像信息摄像头与深度信息摄像头。作为一种优选方案，所述视觉设备为MR视镜。作为一种优选方案，所述客户端为PC电脑。与现有技术相比，本专利技术的有益效果：本专利技术打造写实的虚拟环境，真实性更强，能够在高仿真度的场景下进行对照学习，更加便捷和高效。附图说明图1是本专利技术的原理框图。具体实施方式下面结合具体实施例对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例：一种智能人机交互方法，包括如下步骤：(1)将视觉设备佩戴在演示者上，另外根据学习者数量佩戴相应数量的视觉设备；(2)通过视觉设备的红外传感器实时检测预设范围内是否有人；(3)当步骤(2)中的检测结果为否时，重复步骤(2)，当步骤(2)中的检测结果为是时，控制音频交互单元开始运行，并通过视觉传感器采集三维图像信息而获取不同角度的深度图；(4)客户端通过图形处理器生成图像信息，并从存储器中调取3D虚拟场景数据与预存的音频指令文件；(5)将步骤(3)中音频输入单元检测到的音频操作指令与步骤(4)中预存的音频指令文件进行匹配，匹配成功后，实时获取成功匹配的音频操作指令；(6)根据音频操作指令，演示者进行手势操作，视觉设备的惯性传感器获取位置与姿势信息，视觉传感器实时捕捉人手的位置并识别人手的姿势。具体的，所述步骤(6)中的惯性传感器包括加速度计与陀螺仪。进一步的，采用加速度计与陀螺仪获取位置与姿势信息，灵敏度高，运行稳定。具体的，所述步骤(3)中的音频交互单元包括语音输入模块、语音识别模块、语音输出模块。进一步的，所述语音输入模块可以采用麦克风录入音频，语音输出模块可以采用扬声器播放音频。具体的，所述步骤(3)中的视觉传感器包括图像信息摄像头与深度信息摄像头。进一步的，所述图形信息摄像头与深度信息摄像头用于摄入图像信息。具体的，所述视觉设备为MR视镜，所述客户端为PC电脑。进一步的，如图1所示，使用时MR视镜至少有两个以上，采用视频分配器与PC电脑相连接，而MR视镜设置有微处理器，该微处理器与红外传感器、视觉传感器、惯性传感器、音频交互单元相连接；PC电脑设置有主处理器，该主处理器与图像处理器相连接；具体实施时MR视觉与PC电脑通过蓝牙模块或者WIFI模块等通信单元相连接。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种智能人机交互方法，其特征在于，包括如下步骤：(1)将视觉设备佩戴在演示者上，另外根据学习者数量佩戴相应数量的视觉设备；(2)通过视觉设备的红外传感器实时检测预设范围内是否有人；(3)当步骤(2)中的检测结果为否时，重复步骤(2)，当步骤(2)中的检测结果为是时，控制音频交互单元开始运行，并通过视觉传感器采集三维图像信息而获取不同角度的深度图；(4)客户端通过图形处理器生成图像信息，并从存储器中调取3D虚拟场景数据与预存的音频指令文件；(5)将步骤(3)中音频输入单元检测到的音频操作指令与步骤(4)中预存的音频指令文件进行匹配，匹配成功后，实时获取成功匹配的音频操作指令；(6)根据音频操作指令，演示者进行手势操作，视觉设备的惯性传感器获取位置与姿势信息，视觉传感器实时捕捉人手的位置并识别人手的姿势。

【技术特征摘要】
1.一种智能人机交互方法，其特征在于，包括如下步骤：(1)将视觉设备佩戴在演示者上，另外根据学习者数量佩戴相应数量的视觉设备；(2)通过视觉设备的红外传感器实时检测预设范围内是否有人；(3)当步骤(2)中的检测结果为否时，重复步骤(2)，当步骤(2)中的检测结果为是时，控制音频交互单元开始运行，并通过视觉传感器采集三维图像信息而获取不同角度的深度图；(4)客户端通过图形处理器生成图像信息，并从存储器中调取3D虚拟场景数据与预存的音频指令文件；(5)将步骤(3)中音频输入单元检测到的音频操作指令与步骤(4)中预存的音频指令文件进行匹配，匹配成功后，实时获取成功匹配的音频操作指令；(6)根据音频操作指令，演示者进行手...

【专利技术属性】
技术研发人员：何建军，
申请(专利权)人：河北识缘信息科技发展有限公司，
类型：发明
国别省市：河北,13