一种复合材料维修手册阅读工效预测方法和系统技术方案

本发明专利技术公开一种复合材料维修手册阅读工效预测方法和系统，包括以下步骤：获取维修人员手册阅读视频及其面部表情AU；构建基于AU的维修手册阅读工效度量模式；构建基于支持向量机的维修手册阅读工效预测模型；通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。采用本发明专利技术的技术方案，可以支持阅读工效的动态监测与干预，从源头上减少复合材料结构适航维修中的人为差错并提高工作效率。

【技术实现步骤摘要】
一种复合材料维修手册阅读工效预测方法和系统
本专利技术属于航空维修
，尤其涉及一种利用复合材料结构适航维修中维修人员的面部表情(AU)来预测维修手册阅读工效的系统及方法。
技术介绍
大量应用复合材料的民用飞机服役使得复合材料结构的适航维修成为飞机运行保障的一个新课题。复合材料适航维修是一项复杂的系统工程活动，人为因素对维修差错和效率均具有重要影响。而根据2010-2015年的不安全事件统计报告，事故征候中的维修人为差错因素呈上升趋势。因此，复合材料适航维修中的人为因素控制对于保障航空安全和提高维修经济效益均具有重要意义。结构维修手册(SRM)是复合材料结构适航维修工作的主要依据。维修人员首先要通过对SRM的阅读，提取视觉信息，然后将其转化为文字描述，最后从阅读中得到所需信息以支持维修实践活动的开展。综上所述，手册阅读是维修工作的重要环节，需要维修人员精神高度集中，在这个过程中的人为差错将直接引发不安全事件及事故的发生。阅读工效综合体现了阅读速度和准确率，是信息显示是否符合人因工程的主要评价指标，已经成为当前“以人为中心”的产品设计能否成功的关键。阅读工效已经用于评价电子书、PPT和各类电子显示设备是否符合人因工程。近年来，也涌现出通过主观问卷和客观的眼动、生理电和脑电等情感信号来度量阅读工效的方法。然而，主观的方法是“事后型”评价，不能支持复合材料维修手册阅读工效的过程监测与干预，而客观的眼动、生理电和脑电等情感信号需要佩带专业的设备，这将干扰维修作业。面部表情占人类情感表达的50％以上，是一种与眼动和脑电等同等重要的情感信号，并且面部表情可以利用无接触拍摄的视频来提取，进而利用面部表情来度量阅读工效，从而实现其在线监测，对维修作业却没有任何干扰，有利于采取积极主动的干预以提高维修活动质量并减少维修差错。面部活动单元(ActionUnit,AU)是基于面部行为编码系统对面部表情行为的编码。在情感计算中，AU实时提取的鲁棒性和精度得到了显著提升，为各类应用奠定了基础。针对航空维修这一特殊领域，尚未构建显著影响阅读工效的AU模式，以致未能构建满足复合材料适航维修需求的阅读工效预测模型。
技术实现思路
为了实现对复合材料适航维修中SRM阅读工效的实时监测，本专利技术提供一种基于维修人员手册阅读的实时视频提取面部表情(AU)来预测维修人员阅读工效的方法与和系统，支持阅读工效的动态监测与干预，从源头上减少复合材料结构适航维修中的人为差错并提高工作效率。本为实现上述目的，本专利技术采用如下的技术方案：一种复合材料维修手册阅读工效预测方法，包括以下步骤：步骤1、获取维修人员手册阅读视频及其面部表情AU；步骤2、构建基于AU的维修手册阅读工效度量模式；步骤3、构建基于支持向量机的维修手册阅读工效预测模型；步骤4、通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。作为优选，步骤1中，在民机复合材料结构适航维修地布置用于获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。作为优选，所述摄像头是TP-LINK无线监控摄像头，AU采样频率为25帧/秒。作为优选，步骤2中，对提取的每帧出现的AU及其强度采用AU频率AUP、平均强度AUI量化；设Ti是34维的由AUP和AUI构成的特征向量，yi为该特征向量对应的阅读工效值；Ti的每一维与yi进行Pearson相关性分析，在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi。作为优选，步骤3中，首先通过mapminmax函数对由面部表情组成的特征向量xi进行归一化处理，处理后的每个特征向量xi与阅读工效yi一一对应，形成训练样本集和测试样本集；然后通过fitrsvm函数完成训练样本集的学习训练，得到维修手册阅读工效预测模型。作为优选，步骤4中，通过predict函数对测试样本集计算阅读工效值，对计算的阅读工效值与真实值，计算均方误差MSE和决定系数，验证预测精度和模型的有效性；同时通过predict函数计算其阅读工效值，将该值与训练样本集中的阅读工效均值比较，如果大于等于均值，则无需干预，如果小于均值，系统则输出提示音，提醒维修人员注意工作状态。作为优选，步骤4中，完成预测后，预测人员的面部表情模式及其预测的阅读工效值加入到训练样本集中，以持续改进维修手册阅读工效预测模型的精度。本专利技术还提供一种复合材料维修手册阅读工效预测系统，包括：面部表情采集模块，用于获取维修人员手册阅读视频及其面部表情AU；AU处理模块，用于构建基于AU的维修手册阅读工效度量模式；阅读工效预测模块，用于构建基于支持向量机的维修手册阅读工效预测模型；反馈与干预模块，用于通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。本专利技术对复合材料结构适航维修中维修手册阅读过程的阅读工效进行预测，利用不影响维修作业的非接触式系统提取与阅读工效显著相关的面部表情模式，形成了度量阅读工效的客观指标。基于AU模式的SVM预测模型能支持阅读工效的在线监测和干预，在复合材料结构适航维修中的人机交互的工效评价中采用本专利技术技术方案，对提高维修活动质量，减少维修差错等具有重要意义。附图说明图1为本专利技术复合材料维修手册阅读工效预测方法的流程示意图；图2为复合材料维修手册阅读工效预测模型构建的流程示意图；图3为复合材料维修手册阅读工效预测模型的预测效果示意图；图4为本专利技术复合材料维修手册阅读工效预测系统的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。如图1、2所示，本专利技术提供一种复合材料维修手册阅读工效预测方法，包括以下步骤：步骤1、获取维修人员手册阅读视频及其面部表情AU在民机复合材料结构适航维修地布置能清晰获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。本专利技术采用的摄像头是TP-LINK无线监控摄像头，计算机是HP348G3，AU提取工具为开源软件OpenFace，采样频率为25帧/秒，该软件能提取的AU及其涵义如表1所示。表1步骤2、构建基于AU的维修手册阅读工效度量模式对提取的每帧出现的AU及其强度采用AU频率(AUP)和平均强度(AUI)来量化，即A本文档来自技高网...

【技术保护点】
1.一种复合材料维修手册阅读工效预测方法，其特征在于，包括以下步骤：/n步骤1、获取维修人员手册阅读视频及其面部表情AU；/n步骤2、构建基于AU的维修手册阅读工效度量模式；/n步骤3、构建基于支持向量机的维修手册阅读工效预测模型；/n步骤4、通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。/n

【技术特征摘要】
1.一种复合材料维修手册阅读工效预测方法，其特征在于，包括以下步骤：
步骤1、获取维修人员手册阅读视频及其面部表情AU；
步骤2、构建基于AU的维修手册阅读工效度量模式；
步骤3、构建基于支持向量机的维修手册阅读工效预测模型；
步骤4、通过所述维修手册阅读工效预测模型，实现复合材料结构适航维修中维修手册阅读工效的预测，以及对所述维修手册阅读工效预测模型进行反馈干预。


2.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤1中，在民机复合材料结构适航维修地布置用于获得维修人员面部图像的摄像头，并将视频实时传输到计算机上，利用面部行为分析软件工具提取视频每帧图像中出现的AU及其强度。


3.如权利要求2所述的复合材料维修手册阅读工效预测方法，其特征在于，所述摄像头是TP-LINK无线监控摄像头，AU采样频率为25帧/秒。


4.如权利要求1所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤2中，对提取的每帧出现的AU及其强度采用AU频率AUP、平均强度AUI量化；设Ti是34维的由AUP和AUI构成的特征向量，yi为该特征向量对应的阅读工效值；Ti的每一维与yi进行Pearson相关性分析，在置信度95％下，与阅读工效显著相关的AUI和AUP构成了能度量阅读工效的面部表情模式xi。


5.如权利要求4所述的复合材料维修手册阅读工效预测方法，其特征在于，步骤3中，首先通...

【专利技术属性】
技术研发人员：贺强，杨晓强，谭德强，王凯，
申请(专利权)人：中国民用航空飞行学院，
类型：发明
国别省市：四川;51