面向基于多通道人机交互技术的驾驶舱任务流程评估方法技术

本发明专利技术提供一种面向基于多通道人机交互技术的驾驶舱任务流程评估方法，其包括以下步骤：S1、构建基于多通道交互技术的驾驶舱任务网络模型；S2、构建驾驶舱的任务流程合理性评估模型，用于对任务流程进行评估，具体包括：S21、构建任务冲突评估模型；S22、构建通道冲突评估模型；S23、构建通道负荷冲突评估模型。S3、根据任务流程选择步骤S2中的某个评估模型对任务M进行评估，当存在冲突时对任务流程进行优化。其提出面向驾驶舱的驾驶操作任务流程的评估方法，根据任务设计的详细程度选择评估模型对多通道人机交互任务流程设计合理性进行准确评估。准确评估。准确评估。

【技术实现步骤摘要】
面向基于多通道人机交互技术的驾驶舱任务流程评估方法


[0001]本专利技术涉及人机工程及人机交互领域，具体涉及一种面向基于多通道人机交互技术的驾驶舱任务流程评估方法。

技术介绍

[0002]多通道人机交互是基于眼动追踪、语音识别、手势输入、感觉反馈等新的交互技术，利用多个感觉通道和效应通道的并行、协作与计算机进行交互，力求将“人机交互”演变为“人人交互”，提高人机交互的高效性和自然性。
[0003]在多通道人机交互技术认知机理的研究层面。石汪春运从临床角度对听觉、视觉、触觉、痛觉、温觉、味觉等多通道感官进行了感觉増强的原因和效果分析。陈有国利用特异化模型、分布网络模型、局部任务依赖模型对视觉、听觉、触觉通道进行了时间知觉进程分析，讨论了三个通道的始潜时、原定位、和加工模式的差异。陈静析对视觉、触觉、听觉及视听、视触、听触的多通道组合模式进行了简单反应时测定，证明了触觉反应时较快、通道组合的复合刺激反应时快于单一通道。王立平对单一触觉通道模式和听触结合的多通道模式进行了实验研究，提出听觉和触觉具有进行信息转换和整合的能力。闫慧芳对视觉、听觉、触觉、视听、视听触两种多通道刺激模式下的加工机理和反应机制进行了研究分析。郝飞研究了人腕部的振动触觉感知和短时记忆特性，提出了触觉记忆容量稳定值小于听觉和视觉，且再认反应效率较低。胡俊分析了触觉通道的生理特征和心理特征，强调了各不同感觉通道的认知相似性和突显性。
[0004]在多通道人机交互技术的应用层面，国内外研究学者对多通道人机交互技术的应用研究涉及键盘、鼠标器之外的输入通道主要是语音、手势、书写和眼动方面。Kim J等人设计和实现了一个基于视觉、语音和手写笔的多通道PDA操作系统，构建了一种多通道移动式只能用户界面。张国华等人基于指挥控制系统，结合多人多通道人机交互概念模型和系统模型，设计了一种结合多点触摸技术和语音控制技术的态势情报综合分析系统。法国舰艇建造局(DCNS)自2007年开始研究的下一代潜艇作战系统，试用大型触摸屏显示器，并结合3D可视化技术访问空间态势。程飞指出，当前国内潜艇控制系统中采用视觉辅助以语音提示、蜂鸣提示等听觉通道输出，以多通道交互方式提高舰艇指挥系统的高效性。路璐等人以触觉相关的多通道交互技术为基础，提出了一种融合触、听、视觉的多通道认知和交互模型。荷兰THN man Factors公司受计了一款基于8个振动单元的振动触觉表达装置，安装在驾驶员座椅上，实现了利用触觉通道辅助驾驶。麻省理工学院的Jones LA等人设计了一种阵列式触觉表达腰带装置，用于辅助导航。东南大学的机器人传感与控制技术实验室提出了一种穿戴式触觉感知腰带，它可以利用均匀安装的12个振动器组合工作，用于方向和距离信息进行提示。
[0005]纵观国内外研究现状可知，在多通道人交互技术研究方面，学者们多注重于多通道人机交互技术的认知机理和应用形式方面的探索。在多通道人机交互工效学评估方面，脑电、眼动等实验评估技术活方法应用较为广泛，但大部分研究是针对显示界面的评估，缺
少对多通道人机交互技术融合的工效学评估。
[0006]从自然交互的角度，人类在感知信息过程中的通道是并行的。多通道人机交互模式的目的是合理分配和调用视觉外的其他通道，以提高交互的自然性和可靠性。开展多通道人机交互技术的综合评估，应与单一人机交互技术评估向不同，要综合考虑多种交互方式综合影响；建立多通道人机交互技术中的人员信息认知加工模型对理解本研究的对象具有重要作用。
[0007]综上，目前缺少评估多种通道交互方式融合的合理性与科学性的方法，因此不能很好的判断多种通道交互方式的合理性，无法提供更优化的多种通道交互方式。

技术实现思路

[0008]为了解决上述现有技术中提到的缺点，本专利技术提供一种面向基于多通道人机交互技术的驾驶舱任务流程评估方法，其提出面向驾驶舱的驾驶操作任务流程分解的任务合理性评估方法，通过“任务冲突评估模型
‑
通道冲突评估模型
‑
通道负荷评估模型”准确度逐层递进的多通道交互技术评估方法，能够对基于任务流程的多通道人机交互融合性能进行科学准确的评估，从而对驾驶舱任务流程的设计方案进行优化，减少后续实际执行的修正时间并避免产生不必要的损失。
[0009]具体地，本专利技术提供一种面向基于多通道人机交互技术的驾驶舱任务流程评估方法，其包括以下步骤：
[0010]S1、构建基于多通道交互技术的驾驶舱任务网络模型，其具体包括以下子步骤：
[0011]S11、输入任一驾驶操作任务M，根据驾驶舱具备的多通道人机交互方式得到任务流程；
[0012]S12、对任一个任务M根据时间顺序提取任务M的任务片段，形成任务M的任务片段集，并利用以下数据集进行表示：M＝{m1，m2，m3，
……
，m
x
，
……
，m
n
}；
[0013]S13、以任务片段m
x
为基础进行分解，形成按照任务操作顺序排列的操作任务task，在任务片段m
x
下，存在一个或多个task，用B
jt
表示任务片段m
x
某一时刻t时的操作任务task的数量；
[0014]S14、以操作任务task为基础，将操作任务task分解为视觉通道、听觉通道、认知通道以及动作通道，形成基于时间序列的通道行为；各通道行为占用需求的数量是随机的，用数据B
vjt
表示任务片段m
x
下某一时刻t的视觉通道占用需求数量，用数据B
ajt
表示任务片段m
x
下某一时刻t的听觉通道占用需求数量，用数据B
cjt
表示任务片段m
x
下某一时刻t的认知通道占用需求数量，用数据B
pjt
表示任务片段m
x
下某一时刻t的动作通道占用需求数量；
[0015]S15、形成输入任务M基于任务片段的任务序列、基于操作任务task的操作任务序列以及基于行为要素的行为要素序列；其中，操作任务序列与行为要素序列分别存在同一时刻下多个task或行为要素并存的情况；分解完成后，基于操作任务task的操作任务序列以及基于行为要素的行为要素序列均成网络式排布；
[0016]S2、构建驾驶舱的任务流程合理性评估模型，用于对任务流程进行评估，任务流程合理性评估模型包括基于任务冲突评估模型、通道冲突评估模型以及通道负荷评估的评估模型，不同精度的任务流程选择不同的评估模型进行评估，具体包括以下子步骤：
[0017]S21、构建任务冲突评估模型：
[0018]任务冲突模型基于任务网络模型中的操作任务序列构建，用于分析多通道交互任务下的作业人员的任务冲突，任务冲突计算公式为：
[0019][0020]其中，B
jt
表示时刻t下需要完成的第j个操作任务task，当t时刻下，存在第j个操作任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向基于多通道人机交互技术的驾驶舱任务流程评估方法，其特征在于：其包括以下步骤：S1、构建基于多通道交互技术的驾驶舱任务网络模型，其具体包括以下子步骤：S11、输入任一驾驶操作任务M，根据驾驶舱具备的多通道人机交互方式得到任务流程；S12、对任一个任务M根据时间顺序提取任务M的任务片段，形成任务M的任务片段集，并利用以下数据集进行表示：M＝{m1，m2，m3，
……
，m
x
，
……
，m
n
}；S13、以任务片段m
x
为基础进行分解，形成按照任务操作顺序排列的操作任务task，在任务片段m
x
下，存在一个或多个task，用B
jt
表示任务片段m
x
某一时刻t时的操作任务task的数量；S14、以操作任务task为基础，将操作任务task分解为视觉通道、听觉通道、认知通道以及动作通道，形成基于时间序列的通道行为；各通道行为占用需求的数量是随机的，用数据B
vjt
表示任务片段m
x
下某一时刻t的视觉通道占用需求数量，用数据B
ajt
表示任务片段m
x
下某一时刻t的听觉通道占用需求数量，用数据B
cjt
表示任务片段m
x
下某一时刻t的认知通道占用需求数量，用数据B
pjt
表示任务片段m
x
下某一时刻t的动作通道占用需求数量；S15、形成输入任务M基于任务片段的任务序列、基于操作任务task的操作任务序列以及基于行为要素的行为要素序列；其中，操作任务序列与行为要素序列分别存在同一时刻下多个task或行为要素并存的情况；分解完成后，基于操作任务task的操作任务序列以及基于行为要素的行为要素序列均成网络式排布；S2、构建驾驶舱的任务流程合理性评估模型，用于对任务流程进行评估，任务流程合理性评估模型包括基于任务冲突评估模型、通道冲突评估模型以及通道负荷评估的评估模型，不同精度的任务流程选择不同的评估模型进行评估，具体包括以下子步骤：S21、构建任务冲突评估模型：任务冲突模型基于任务网络模型中的操作任务序列构建，用于分析多通道交互任务下的作业人员的任务冲突，任务冲突计算公式为：其中，B
jt
表示时刻t下需要完成的第j个操作任务task，当t时刻下，存在第j个操作任务task时B
jt
＝1，否则B
jt
＝0；N
t
表示t时刻下的作业人员的操作任务数量；当N
t
＝1或N
t
＝0时，分别表示在时间t下，作业人员处理一个task，或无task需要处理，此时判定作业人员操作任务无冲突；当N
t
＞1时，表示在时间t下，作业人员需要处理多个任务单元，判定作业人员操作任务出现冲突；S22、构建通道冲突评估模型：通道冲突评估模型用于评估多通道交互任务下作业人员的通道内部冲突，通道冲突评估模型包括视觉通道冲突模型、听觉通道冲突模型和动作通道冲突模型；S23、构建通道负荷冲突评估模型：通道负荷评估模型基于任务网络模型中通道行为要素构建，能够分析作业人员在任务操作下的各通道资源需求变化情况，计算公式为：
或其中，W
T
表示时刻T的工作负荷；i,j＝1
…
l，表示不同资源通道；t＝1
…
m，表示操作者的任务或行为；a
s,i
表示任务s时，i通道的资源需求值；a
s,j
表示任务s时，j通道的资源需求值；a
i,j
表示i通道和j通道的资源需求值；a
t,i
表示任务t时，i通道的资源需求值；a
t,j
表示任务t时，j通道的资源需求值；c
i,j
表示通道i与j之间的冲突值；c
i,i
表示通道i与i之间的冲突值；若a
t,i
或a
s,j
＝0，那么(a
t,i
+a
s,j
)＝0；若a
t,j
或a
s,i
＝0，那么(a
t,j
+a
s,i
)＝0；当W
T
大于预设值时，判定当前时间点作业人员工作负荷水平超载，即多通道人机交互流程存在不合理；S3、针对驾驶舱任务流程的具体内容，选择步骤S2中与该任务流程匹配的某个评估模型对...

【专利技术属性】
技术研发人员：孙国强，苗冲冲，吴旭，丁霖，王满玉，任文明，彭文胜，安凯，张睿明，贾万琛，郭司南，韩冰，汪宇宁，佟佩声，
申请(专利权)人：中国航空综合技术研究所，
类型：发明
国别省市：