医用人机交互辅助系统及含该程序的计算机可读存储介质技术方案

本发明专利技术公开了一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低的缺点。一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，还包括执行如下步骤的程序：由所述传感器输入多模态传感信息；对多模态传感信息进行融合计算，获得融合后的多模态信息；对获取的多模态信息进行语义理解和分析；将分析结果利用交互式方法进行系统反馈。还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。本发明专利技术为现今医疗行业提供一个模态丰富且高效的边缘智能终端。

【技术实现步骤摘要】
医用人机交互辅助系统及含该程序的计算机可读存储介质
本专利技术涉及一种医用人机交互辅助系统，还涉及一种包括该程序的计算机可读存储介质。
技术介绍
多年来，现实中的人机交互技术不断发展并取得较大进步，现有的人机交互技术主要有手势识别技术、语音交互技术、触觉反馈技术、眼动跟踪技术、生理计算技术等。医用人机交互辅助系统可以利用智能化和信息化技术提升医疗服务的品质和效率，但现有的医用人机交互辅助系统利用单一的交互技术，感知范围窄；算力有限，对复杂且高维度的信息进行处理延时较高、系统的交互频率低。这是现有技术的不足。
技术实现思路
针对现有技术的不足，本专利技术要解决的技术问题是提供一种医用人机交互辅助系统，它克服了目前医用人机交互辅助系统功能单一、感知范式窄、交互频率低等缺点，为现今医疗行业提供一个模态丰富且高效的边缘智能终端。为了解决上述技术问题，本专利技术的技术方案是：一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：由所述传感器输入多模态传感信息；...

【技术保护点】
1.一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：/n由所述传感器输入多模态传感信息；/n对多模态传感信息进行融合计算，获得融合后的多模态信息；/n对多模态信息进行语义理解和分析；/n将分析结果利用交互式方法进行系统反馈。/n

【技术特征摘要】
1.一种医用人机交互辅助系统，包括处理器、存储器和若干传感器，其特征是还包括执行如下步骤的程序：
由所述传感器输入多模态传感信息；
对多模态传感信息进行融合计算，获得融合后的多模态信息；
对多模态信息进行语义理解和分析；
将分析结果利用交互式方法进行系统反馈。


2.如权利要求1所述的医用人机交互辅助系统，其特征是还包括若干分布式设备，多模态信息融合后，将融合的多模态信息分配给所述分布式设备进行分布式边缘计算。


3.如权利要求1所述的医用人机交互辅助系统，其特征是所述传感器包括获取视觉信息的红外摄像头、获取语音信息的超声波设备、获取力学信息的压力传感器和陀螺仪。


4.如权利要求1所述的医用人机交互辅助系统，其特征是所述对多模态传感信息进行融合计算的具体步骤是：
首先，将输入的多模态传感信息利用系统标定算法对场景进行一个自标定；
其次，将标定完成的信息输入事先训练完成的信息配准深度网络进行多模态信息配准；
最后，将配准完成后的多模态信息利用融合算法提取深层次的特征信息构成多模态融合信息。


5.如权利要求4所述的医用人机交互辅助系统，其特征是所述语义理解和分析的具体步骤是：
利用事先训练好的卷积神经网络，对每个分布式设备中的多模态融合信息进行特征提取；
利用主成分分析方法对...

【专利技术属性】
技术研发人员：张立华，谢媛媛，杜洋涛，董志岩，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31