一种多模态人机交互的性能评估方法及系统技术方案

本发明专利技术属于人机交互技术领域，提供了一种多模态人机交互的性能评估方法及系统，包括：获取实时的多模态人机交互数据，其中，所述多模态人机交互数据至少包括手势、眼部、语音交互数据以及用户生理信号；对所获取的多模态人机交互数据进行预处理，得到目标交互数据；提取所得到的目标交互数据中的手势特征数据、眼部特征数据、语音特征数据以及用户生理特征数据；根据所提取到的手势特征数据、眼部特征数据、语音特征数据以及用户生理特征数据，以及基于长短期时间记忆网络的性能评估模型进行多模态人机交互的性能评估，得到多模态人机交互的性能的评估结果。

【技术实现步骤摘要】

本专利技术属于人机交互，具体涉及一种多模态人机交互的性能评估方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、在多模态人机交互系统中，数据是核心不仅可以帮助系统更准确地理解用户的意图和需求，还可以为系统的优化和改进提供有力支持。因此，如何有效地采集、处理和分析多模态数据成为了多模态人机交互技术发展的关键。

3、评估多模态人机交互性能时所采用的数据较为单一，导致无法全面准确的评估多模态人机交互的性能，因此，为了评估多模态人机交互系统的性能，需要一种全面、准确且高效的评估方法。然而，由于多模态数据的复杂性和多样性，传统的评估方法往往难以胜任。因此，亟需开发一种能够综合考虑多种模态数据、提取关键特征并输出准确评估结果的评估方法。

技术实现思路

1、为了解决上述问题，本专利技术提出了一种多模态人机交互的性能评估方法及系统，通过综合多种交互模态、精细化的特征提取以及高效的评估模型构建，实现对人机交互系统性能的全面、准确评估，为系统的设计本文档来自技高网...

【技术保护点】

1.一种多模态人机交互的性能评估方法，其特征在于，包括：

2.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述对所获取的多模态人机交互数据进行预处理得到目标交互数据的过程为：

3.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述提取所得到的目标交互数据中的手势特征数据、眼部特征数据、语音特征数据以及用户生理特征数据的过程为：

4.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述手势特征数据包括但不限于手指、手掌的位置、方向和角度几何特征、手势的速度、加速度、轨迹动态特征、手势的轮廓、边缘...

【技术特征摘要】

1.一种多模态人机交互的性能评估方法，其特征在于，包括：

2.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述对所获取的多模态人机交互数据进行预处理得到目标交互数据的过程为：

3.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述提取所得到的目标交互数据中的手势特征数据、眼部特征数据、语音特征数据以及用户生理特征数据的过程为：

4.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述手势特征数据包括但不限于手指、手掌的位置、方向和角度几何特征、手势的速度、加速度、轨迹动态特征、手势的轮廓、边缘、纹理形状特征；

5.如权利要求1中所述的一种多模态人机交互的性能评估方法，其特征在于，所述基于长短期时间记忆网络的性能评估模型的构建过...

【专利技术属性】
技术研发人员：张金国，徐康，李正浩，李琪，张连越，孟祥鹿，张凯，马琳，刘珅岐，石鑫磊，
申请(专利权)人：国网山东省电力公司信息通信公司，
类型：发明
国别省市：