基于数据可靠性评价的非接触式负性心境检测方法和装置制造方法及图纸

本发明专利技术提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，涉及负性心境检测技术领域。本发明专利技术实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。

【技术实现步骤摘要】
基于数据可靠性评价的非接触式负性心境检测方法和装置
本专利技术涉及负性心境检测
，具体涉及一种基于数据可靠性评价的非接触式负性心境检测方法和装置。
技术介绍
心境是一种内在的、主观的、不易被特定事件刺激的较持久而又微弱的情绪状态。心境分为积极心境和消极心境，消极心境主要包括紧张、压抑、愤怒、疲劳等方面。由于人类会同时存在多种心境状态，目前的基于面部特征的心境状态识别研究是对于单一负性心境状态的识别，如抑郁心境状态、焦虑心境状态、压力心境状态等等，目前的负性心境检测在数据特征融合时，特征向量拼接融合方法未能够考虑数据的可靠性，无法有效区分不同模态数据对于负性心境检测的重要性，模型的鲁棒性不高。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，解决了目前的特征向量拼接融合方法未能够考虑数据的可靠性的问题。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：第一方面，提供了一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。进一步的，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值将图像质量平均值作为每个通道人脸图像序列对应的动态可靠性；且每个通道人脸图像序列的总体可靠性TDR为：进一步的，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。进一步的，在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。第二方面，提供了一种基于数据可靠性评价的非接触式负性心境检测装置，该装置包括：人脸双光视频采集模块，用于获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；两通道人脸图像序列提取模块，用于基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；总体可靠性计算模块，用于分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；负性心境状态识别模块，用于将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。进一步的，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值将图像质量平均值作为每个通道人脸图像序列对应的动态可靠性；且每个通道人脸图像序列的总体可靠性TDR为：进一步的，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21本文档来自技高网...

【技术保护点】
1.一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：/n获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；/n基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列V

【技术特征摘要】
1.一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。


2.如权利要求1所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：
将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；
对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值将图像质量平均值作为每个通道人脸图像序列对应的动态可靠性；
且每个通道人脸图像序列的总体可靠性TDR为：





3.如权利要求1所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：
每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：



其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。


4.如权利要求3所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。


5.一种基于数据可靠性评价的非接触式负性心境检测装置，其特征在于，该装置包括：
人脸双光视频采集模块，用于获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
两通道人脸图像序列提取模块，用于基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序...

【专利技术属性】
技术研发人员：戎千，丁帅，李霄剑，欧阳波，宋程，岳子杰，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34