一种基于视频的AU检测方法技术

本发明专利技术涉及一种基于视频的AU检测方法，包括：人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；所述AU检测模型基于卷积神经网络和时间递归网络建立。与现有技术相比，本发明专利技术可实现AU自动化检测工作，减轻人工标注人员的工作量，考虑了AU在人脸的区域分布性质、时间序列上人脸表情之间的相关性和AU之间存在相关性，大大提升了AU检测的准确率。

【技术实现步骤摘要】
一种基于视频的AU检测方法
本专利技术涉及视频检测
，涉及一种AU检测方法，尤其是涉及一种基于视频的AU检测方法。
技术介绍
AU(ActionUnit，动作单元)是加州大学旧金山分校教授PaulEkman等人于1978年所发表的FACS(FacialActioncodingsystem，面部表情编码系统)中所提出的一个概念，在后续的几十年中不断得以完善。FACS系统根据人脸的解剖学特点，将人脸划分为若干个既相互独立又相互联系的动作单元，并分析了这些动作单元的运动特征及其所控制的主要区域以及与之相关的表情。在不断地使用和完善过程中，FACS逐渐成为理解面部行为及面部表情的一个标准，不仅广泛应用于行为科学领域中，还逐渐在其它领域中，例如计算机自动分析面部表情，在医学领域，FACS被应用于抑郁症分析及帮助那些无法说出病痛的患者描述它们的疼痛。使用FACS系统，标注者几乎能够编码任意解剖学上可能发生的脸部运动和表情，将其划分为一个或者多个AU的组合，以及该表情所发生的时间段。AU表示一块或者多块肌肉的收缩和松弛行为，由于AU的定义是独立于其它假设和解释的，仅依靠解剖学上肌肉分布与运动特征，AU可以应用于任何较为抽象的任务，如基本表情的识别或者环境智能情况中的预编程命令。FACS中定义了多种类型的AU，可分为与表情直接相关的、定义头部运动的、定义眼睛运动的、定义是否脸部部分或全部可见的、以及整体行为的。常见的与表情直接相关的AU如表1所示。表1常见AU代码及其FACS名称与相关肌肉FACS对人脸进行了细致的区分，AU之间相互分离却又存在相关性，将复杂的人脸表情拆分成多个AU的组合，大大促进了研究人员对于表情和脸部行为的理解。然而正由于这个原因，表情数据中AU的标注依赖于专业标注人员的工作，标注人员需要先对FACS系统进行细致的学习和练习，标注工作耗时且十分费力。目前，研究人员致力于自动化AU检测技术的研究，希望通过计算机的帮助对人脸表情进行自动化检测。视频中的自动化AU检测是一项涉及计算机视觉、模式识别、人工智能及心理学分析等多领域的研究课题，其在情感分析、心理学研究、动画制作等领域蕴含着广泛的应用价值。随着计算机硬件及算法的快速发展，AU检测变得可行，成为了当前人们研究的一个热点。然而，由于人脸表情的多样性及脸部肌肉运动的复杂性，仍然很难去提出一种稳健及准确的方法来对AU进行检测。由于光照、肤色、年龄、人种的不同，以及多样化的头部姿态的影响，对视频中的人进行自动化AU检测是一个具有挑战性的任务。专利CN105117703B公开一种基于矩阵乘法的快速动作单元识别方法，通过事先训练，得到针对每个动作单元的模型矩阵：M1,M2,…,ML,其中Mi∈RmnL是动作单元的数量，m和n分别是训练图像的长和宽。每个矩阵与训练图像的尺寸是相同的。对于待检测的人脸图像，首先将其缩放至与训练图像相同尺寸，然后与每个模型矩阵进行点乘，得到的响应对应该动作单元；将得到的所有动作单元对应的响应归一化，然后进行离散化，即得到该动作单元存在与否。具体步骤为：(1)使用预先训练，得到模型矩阵阵列：M＝[M1,M2,…,ML]T,M∈Rmn*L(2)对于一幅面部图像，对其进行人脸检测和切割，并缩放成尺寸为m*n的图像，将人脸图像向量化，得到人脸图像向量：X∈Rmn；(3)计算模型M对于人脸图像X的响应：R＝XTM(4)计算归一化的响应：此步骤将所有响应归一化到[0,1]之间，方便设定有意义的阈值。(5)识别：找出对应R>0.5的位置，则这些位置对应的动作单元在表情图像X中出现，其他的动作单元没有出现。其中，训练过程为利用坐标下降法循环优化下列目标方程：S＝(1-p)UUT,T＝(1-p2)UUT+p(1-p)δ(UUT)其中，Ui是Xi对应的动作单元组合，Ui{0，1}L，L是动作单元的数量，1表示动作单元出现，0表示不出现。B是扩充矩阵，对现有动作单元标签进行损失，通过B将损失后的标签扩充得到现有标签。α,β,γ是各自对应项的权重。上述现有技术的缺点在于：1.将人脸表示为一个向量，不能很好地解释动作单元的区域特征；2.基于矩阵乘法对各个动作单元分别建模，提取得到的是浅层特征，该方法相对来说提取特征能力较差，影响AU检测性能；3.该技术处理的数据是单张人脸图片，不能对视频进行自动化分析。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种提高AU检测准确率的基于视频的AU检测方法。本专利技术的目的可以通过以下技术方案来实现：一种基于视频的AU检测方法，包括：人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；所述AU检测模型基于卷积神经网络和时间递归网络建立。进一步地，所述AU检测模型采用的训练数据库中，每一张图片对应一标签文件，所述标签文件的第一列为文件名，其余列表示AU是否存在，以1代表存在，-1代表不存在，0代表没有标签或者设置为0用于平衡正负样本比例。进一步地，所述AU检测模型的训练过程具体包括：A1)从训练数据库中获取人脸序列，提取总体特征；A2)根据区域划分大小及待检测AU数量，从所述总体特征中提取每个AU的区域特征；A3)利用三层LSTM网络融合时间序列上的信息，获得预测结果；A4)利用多标签交叉熵损失函数更新模型参数。进一步地，所述提取每个AU的区域特征的公式为：其中，pc(i,j)表示c个AU的第(i,j)个区域的区域特征提取结果，Fi,j,c表示某一张特征图，(x,y)∈Region(i,j)代表Fi,j,c这张特征图第(i,j)块区域的像素点，n为像素点数量。进一步地，所述多标签交叉熵损失函数表示为：其中，代表AU出现的预测结果，Y表示标注真值，C为待检测AU数量，Yc表示c个AU出现的预测结果。进一步地，所述人脸处理步骤中，K>32。进一步地，所述人脸处理步骤中，在进行人脸检测前，采用帧差法判断镜头是否发生变化，若是，则重新获取连续K帧图片。进一步地，所述人脸处理步骤中，获得人脸序列的具体过程包括：B1)经人脸检测获得一系列人脸框；B2)取所述连续K帧图片的第一帧，为该帧中的每一个人脸建立追踪数组；B3)遍历剩余K-1帧图片，对每个人脸，计算该人脸与所述追踪数组中人脸的交并比，判断交并比否大于设定阈值，若是，则将该人脸添加入追踪数组中，若否，则舍弃该有脸；B4)判断追踪数组中的人脸数是否大于或等于32，若是，则抽取追踪数组的前32张人脸组成初始序列，若否，则舍弃追踪数组；B5)对各所述初始序列进行人脸特征点检测、人脸对齐处理，获得人脸序列。本专利技术基于AU分布于脸部不同位置的先验知识和时序上的相关性信息，利用卷积神经网络和时间递归网络(LSTM)建立AU检测模型，将需要处理的视频切帧，对每一小段时间内的视频帧统一进行分析，首先得到视频帧中的每个人脸，将人脸进行对齐，减少头部姿态对AU检测的影响，最终得出每帧中每个人的AU表现情况。与现有技术相比，本专利技术具有以如下有益效果：1.本专利技术所提出的A本文档来自技高网...

【技术保护点】
1.一种基于视频的AU检测方法，其特征在于，包括：人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；所述AU检测模型基于卷积神经网络和时间递归网络建立。

【技术特征摘要】
1.一种基于视频的AU检测方法，其特征在于，包括：人脸处理步骤：获取待测视频，以T秒为间隔从待测视频中抽取连续K帧图片，对所述连续K帧图片依次进行人脸检测、人脸特征点检测及人脸对齐处理，获得人脸序列；AU检测步骤：根据所述人脸序列和经训练的AU检测模型进行AU检测，获得待测视频的AU表现情况；所述AU检测模型基于卷积神经网络和时间递归网络建立。2.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述AU检测模型采用的训练数据库中，每一张图片对应一标签文件，所述标签文件的第一列为文件名，其余列表示AU是否存在，以1代表存在，-1代表不存在，0代表没有标签或者设置为0用于平衡正负样本比例。3.根据权利要求1所述的基于视频的AU检测方法，其特征在于，所述AU检测模型的训练过程具体包括：A1)从训练数据库中获取人脸序列，提取总体特征；A2)根据区域划分大小及待检测AU数量，从所述总体特征中提取每个AU的区域特征；A3)利用三层LSTM网络融合时间序列上的信息，获得预测结果；A4)利用多标签交叉熵损失函数更新模型参数。4.根据权利要求3所述的基于视频的AU检测方法，其特征在于，所述提取每个AU的区域特征的公式为：其中，pc(i，j)表示c个AU的第(i，j)个区域的区域特征提取结果，Fi，j，c表示...

【专利技术属性】
技术研发人员：梅传能，申瑞民，姜飞，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31