一种关于虚拟场景的多模态人机交互的性能评估方法技术

本发明专利技术提供了一种关于虚拟场景的多模态人机交互的性能评估方法，包括：步骤1，分析需求：确定效能评估的环境条件；步骤2，建立人机交互效能评价体系；步骤3，确定评估方法；步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；步骤5，获得评估结果，对系统效能进行综合评估与决策。本发明专利技术采取主观和客观相结合的方法设计人机交互效能评估的评价体系，提出用户认知能力监控方法、人机交互负荷量化方法，给出人机交互效能综合评价模型，为沉浸式虚拟场景的人机交互系统设计提供参考，确保人机交互能发挥最大的效能。能发挥最大的效能。能发挥最大的效能。

【技术实现步骤摘要】
一种关于虚拟场景的多模态人机交互的性能评估方法


[0001]本专利技术属于人机交互效能评估领域，特别涉及一种关于虚拟场景的多模态人机交互的性能评估方法。

技术介绍

[0002]当前基于VR/AR的沉浸式虚拟场景自然人机交互成为关注点，但大多数是研究交互手段的精准性、便捷性等性能指标上，很少有研究人员研究在虚拟场景中的人机交互效能，但是由于虚拟场景需要佩戴VR/AR智能眼镜等设备，并且用户沉浸式在虚拟场景中互动，存在交互的疲劳和认知负荷等问题，如何对用户的人机交互效能进行评估是一个新问题。

技术实现思路

[0003]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种关于虚拟场景的多模态人机交互的性能评估方法。
[0004]本专利技术的多模态人机交互的性能评估是指对沉浸式人机交互系统中的人机交互效能进行综合评估，所述沉浸式人机交互系统包含沉浸式显示子模块、眼动交互子模块、语音交互子模块、手势交互子模块。
[0005]本专利技术人机交互效能综合评估的过程包含5个步骤：
[0006]步骤1，分析需求：确定效能评估的环境条件，对沉浸式人机交互系统进行分析，明确人机交互评估对象及人机交互评估任务，确定人机交互评估任务的影响因素及相互关系；
[0007]步骤2，建立人机交互效能评价体系：依据将要进行效能评估的对象的影响因素，建立合理的人机交互效能评估的指标体系；
[0008]步骤3，确定评估方法：依据评估条件、评估对象的特点和评估指标体系，选择合适的评估方法，所述评估方法包括用户认知能力监控方法和人机交互负荷量化方法；
[0009]步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；
[0010]步骤5，获得评估结果：通过构建的人机交互效能综合评价模型与收集的实验数据进行测试实验，并对数据进行处理和分析，获取评估的结果，对系统效能进行综合评估与决策。
[0011]步骤1中，所述确定效能评估的环境条件是指要求测试者头部佩戴脑电设备 (Neuroscan 128导)、AR设备(HoloLens)和语音采集设备(讯飞语音识别平台配套语音采集麦克风)，上臂佩戴肌电采集设备(MYO肌电臂环)，手部佩戴数据手套手势交互设备(VRTRIX)，AR设备中部署沉浸式电子沙盘软件，测试时启动所述软件，测试者在AR环境下，浏览众多不同风格、形式和深度的虚拟沉浸式人机交互界面，并通过语音、手势和眼动等交互方式在AR环境中操作，部署在PC上的脑电数据采集系统实时采集脑电数据，供后续进行
脑电数据评估分析；
[0012]所述人机交互评估对象是指测试者在AR环境中通过语音、手势、眼动等交互方式进行操控时的认知能力以及交互负荷，所述人机交互评估任务是指计算获取认知能力和交互负荷的量化结果，人机交互评估任务的影响因素有客观条件、装置、实验环境、手势、语音、眼动识别的客观提取测量以及主观评价等。本专利技术不考虑客观条件、装置、实验环境影响，重点分析手势、语音、眼动识别的客观提取测量分析以及用户的主观评价结果。
[0013]步骤1中，所述沉浸式人机交互系统包含沉浸式电子沙盘展现子模块、眼动交互子模块、语音交互子模块、手势交互子模块；
[0014]所述沉浸式电子沙盘展现子模块用于对电子沙盘整体地形、地貌、道路、水系、植被、军事设施以及军事目标(空中、地面)进行沉浸式360
°
AR逼真展现；
[0015]所述眼动交互子模块提供眼睛凝视、扫视、尾随、眼跳等方式操控沉浸式场景中的虚拟物体；
[0016]所述语音交互子模块提供命令词和连续语音交互识别操控虚拟物体能力；
[0017]所述手势交互子模块提供捏取移动、旋转、放缩、挥动、握拳、张开等连续手势以及OK等静态手势识别操控虚拟物体能力。
[0018]步骤2中，所述建立人机交互效能评价体系，是指采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，包括手势交互评价指标体系、语音交互评价指标体系和眼动交互评价指标体系；
[0019]所述采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，是将系统自上而下逐步细化，每一层都是对上一层问题的具体划分，逐层细划直到得出整体的指标体系架构为止；例如，顶层是沉浸式人机交互评价指标体系，再往下层就是手势交互评价指标体系、语音交互评价指标体系、眼动交互评价指标体系，其中手势交互评价指标体系，再往下分就是运动手势交互评价指标体系、视觉手势交互评价指标体系、肌电手势交互评价指标体系等。
[0020]所述手势交互评价指标体系，具体是指多模态手势(运动、视觉、肌电)传感器采样延迟率、动态和静态手势类别数、手势识别率；
[0021]所述语音交互评价指标体系具体包含命令词识别和连续语音识别准确率，恶劣环境下的命令词语音识别率以及命令词识别词汇量；
[0022]所述眼动交互评价指标体系具体包含支持的眼部动作类别数、眼动识别率等。
[0023]人机交互效能评价包括人机交互客观评价和人机交互主观评价，所述人机交互客观评价采用绩效度量方法，在绩效度量中的参照数包括：任务时间、任务成功、任务效率和任务错误；
[0024]虚拟场景的人机交互操作任务的成功测量即为被试者(人机交互操作完成者)能在最大程度上有效完成一系列人机交互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：
[0025][0026][0027][0028]其中表示平均任务时间，n表示测试者人数，N表示错误次数，η
i
表示效率， i＝1,2,...,n；t
n
表示完成第n个任务所需时间，n
n
表示第n个任务的错误次数，x
i
表示第i个任务成功完成所需时间，t
i
表示第i个任务完成所需时间(包含错误完成时间)；
[0029]任务时间是指被试者完成一项实验任务的用时并进行记录；任务成功是指测量过程中实验任务完成度，记录是否完成；
[0030]任务效率是指被测试者完成任务所完成的状态，也能够记录被测试者完成任务的成功完成时间；
[0031]任务错误是指测量过程中被试者在完成任务过程中所进行的错误操作次数；
[0032]所述人机交互主观评价采用量表形式完成。
[0033]步骤3中，所述用户认知能力监控方法，认知能力是指用户在与系统进行交互过程中的所有感知和反应，关注用户交互使用系统过程的流畅性、自主性、解决问题的效率；用户认知能力监控方法，采用脑电EEG(Electro
‑
Encephalo Gram，脑电图)不间断地记录用户在与系统人机交互过程中的脑神经反应情况，测量动态性的认知能力，在测量过程中结合主观测量量表和行为绩效方面的数据综合反映认知能力水平。
[0034]步骤3中，所述人机交互负荷量化方法，一是，首先对脑电信号数据进行预处理，包含：脑电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关于虚拟场景的多模态人机交互的性能评估方法，其特征在于，包括以下步骤：步骤1，分析需求：确定效能评估的环境条件，对沉浸式人机交互系统进行分析，明确人机交互评估对象及人机交互评估任务，确定人机交互评估任务的影响因素及相互关系；步骤2，建立人机交互效能评价体系：依据将要进行效能评估的对象的影响因素，建立合理的人机交互效能评估的指标体系；步骤3，确定评估方法：依据评估条件、评估对象的特点和评估指标体系，选择合适的评估方法，所述评估方法包括用户认知能力监控方法和人机交互负荷量化方法；步骤4，建立评估模型：依据人机交互效能评价体系和选择的评估方法，构建人机交互效能综合评价模型；步骤5，获得评估结果：通过构建的人机交互效能综合评价模型与收集的实验数据进行测试实验，并对数据进行处理和分析，获取评估的结果，对系统效能进行综合评估与决策。2.根据权利要求1所述的方法，其特征在于，步骤1中，所述确定效能评估的环境条件是指要求测试者头部佩戴脑电设备、AR设备和语音采集设备，上臂佩戴肌电采集设备，手部佩戴数据手套手势交互设备，AR设备中部署沉浸式电子沙盘软件，测试时启动所述软件，测试者在AR环境下，浏览虚拟沉浸式人机交互界面，并通过语音、手势和眼动在AR环境中操作，部署在PC上的脑电数据采集系统实时采集脑电数据；所述人机交互评估对象是指测试者在AR环境中通过语音、手势、眼动进行操控时的认知能力以及交互负荷，所述人机交互评估任务是指计算获取认知能力和交互负荷的量化结果。3.根据权利要求2所述的方法，其特征在于，步骤1中，所述沉浸式人机交互系统包含沉浸式电子沙盘展现子模块、眼动交互子模块、语音交互子模块、手势交互子模块；所述沉浸式电子沙盘展现子模块用于对电子沙盘整体地形、地貌、道路、水系、植被、军事设施以及军事目标进行沉浸式360
°
AR展现；所述眼动交互子模块提供眼睛凝视、扫视、尾随、眼跳操控沉浸式场景中的虚拟物体；所述语音交互子模块提供命令词和连续语音交互识别操控虚拟物体能力；所述手势交互子模块提供捏取移动、旋转、放缩、挥动、握拳、张开手势以及静态手势识别操控虚拟物体能力；步骤2中，所述建立人机交互效能评价体系，是指采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，包括手势交互评价指标体系、语音交互评价指标体系和眼动交互评价指标体系；所述采用自顶向下递阶层次指标体系建立法来构建的系统的指标体系，是将系统自上而下逐步细化，每一层都是对上一层问题的具体划分，逐层细划直到得出整体的指标体系架构为止；所述手势交互评价指标体系，具体是指多模态手势传感器采样延迟率、动态和静态手势类别数、手势识别率；所述语音交互评价指标体系具体包含命令词识别和连续语音识别准确率，恶劣环境下的命令词语音识别率以及命令词识别词汇量；所述眼动交互评价指标体系具体包含支持的眼部动作类别数、眼动识别率；人机交互效能评价包括人机交互客观评价和人机交互主观评价，所述人机交互客观评
价采用绩效度量方法，在绩效度量中的参照数包括：任务时间、任务成功、任务效率和任务错误；虚拟场景的人机交互操作任务的成功测量即为被试者能在最大程度上有效完成一系列人机交互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：互任务，用R表示任务完成结果，如果任务成功，则R＝1；如果任务失败，则R＝0：其中表示平均任务时间，n表示测试者人数，N表示错误次数，η
i
表示效率，i＝1,2,...,n；t
n
表示完成第n个任务所需时间，n
n
表示第n个任务的错误次数，x
i
表示第i个任务成功完成所需时间，t
i
表示第i个任务完成所需时间；任务时间是指被试者完成一项实验任务的用时并进行记录；任务成功是指测量过程中实验任务完成度，记录是否完成；任务效率是指被测试者完成任务所完成的状态，也能够记录被测试者完成任务的成功完成时间；任务错误是指测量过程中被试者在完成任务过程中所进行的错误操作次数；所述人机交互主观评价采用量表形式完成。4.根据权利要求3所述的方法，其特征在于，步骤3中，所述用户认知能力监控方法...

【专利技术属性】
技术研发人员：陈杰，李清伟，李晓禹，罗子娟，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：