一种多模态人机交互系统技术方案

本实用新型专利技术实施例公开了一种多模态人机交互系统，所述多模态人机交互系统包括3D摄像机、显示屏、头戴式可穿戴设备和主机；所述3D摄像机和所述显示屏分别与所述主机有线通信连接；所述头戴式可穿戴设备内置无线信号发射模块，所述主机内置无线信号接收模块，所述无线信号发射模块与所述无线信号接收模块建立数据通信。通过3D摄像机、显示屏、主机和头戴式可穿戴设备共同完成手术的操作，提高了操作的效率、灵敏性及精准性。灵敏性及精准性。灵敏性及精准性。

【技术实现步骤摘要】
一种多模态人机交互系统


[0001]本技术涉及智能控制领域，尤其涉及一种多模态人机交互系统。

技术介绍

[0002]科技的进步，直接带来的是生活上的方便和快捷，直接影响的是生活质量的提升，针对手术治疗方面则尤其明显。以手术治疗为例，在医生进行手术时，通常需要间或进行电子计算机断层扫描(Computed Tomography，CT)图像操作来参考患者信息，但由于无菌的考虑，医生在手术时，若需要进行CT图像操作，则需要手术室外助理帮忙进行操作，效率低下，操作无法精准，延长手术时间和增加医护人员的疲劳程度。
[0003]目前，通常使用3D手势来进行CT图像的浏览、翻页、选择及细节调整等等操作。多数设备仅允许医护人员在屏幕前进行隔空手势操作，极少将语音和手势结合，缺乏调节的灵活度及精准度。同时，现有设备面对手术中的视觉和图像盲点时，仅能依据医生经验去规避重要神经与血管，无法通过增强现实以更好地规避风险。

技术实现思路

[0004]有鉴于此，本技术的目的之一在于提供一种多模态人机交互系统，能够至少解决上述部分问题。
[0005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态人机交互系统，其特征在于，所述多模态人机交互系统包括3D摄像机、显示屏、头戴式可穿戴设备和主机；所述3D摄像机和所述显示屏分别与所述主机有线通信连接；所述头戴式可穿戴设备内置无线信号发射模块，所述主机内置无线信号接收模块，所述无线信号发射模块与所述无线信号接收模块建立数据通信。2.根据权利要求1所述的多模态人机交互系统，其特征在于，所述多模态人机交互系统还包括活动底座，所述活动底座上固定有两个可伸缩的柱状支架，所述显示屏安装在两个可收缩的所述柱状支架上；所述柱状支架的背板设有开槽，所述主机安装在所述开槽内。3.根据权利要求1所述的多模态人机交互系统，其特征在于，所述3D摄像机通过螺栓固定在所述显示屏的顶盖上。4.根据权利要求1所述的多模态人机交互系统，其特征在于，所述头戴式可穿戴设备为智能眼镜，所述智能眼镜包括两个镜圈和两个镜脚，其中，两个所述镜脚分别装配在所述镜圈的两侧，形成佩戴空间；所述智能眼镜上与两个所述镜圈等距离，且远离所述佩戴空间的一侧嵌设所述无线信号发射模块；一个镜圈远离所述佩戴空间的一侧嵌设一个景深摄像头，所述景深摄像头与所述无线信号发射模块通信连接。5.根据权利要...

【专利技术属性】
技术研发人员：王时惠，黄伟红，胡建中，井然，谭嵘，
申请(专利权)人：中南大学，
类型：新型
国别省市：