基于自适应补丁学习的面部AU检测模型建立方法及应用技术

本发明专利技术公开了一种基于自适应补丁学习的面部AU检测模型建立方法及应用，属于计算机视觉技术领域，包括：建立初始神经网络模型并训练，得到面部AU检测模型；模型包括：全局特征学习模块，用于从人脸图像中提取全局人脸特征F

Method and application of facial Au detection model based on adaptive patch learning

【技术实现步骤摘要】
基于自适应补丁学习的面部AU检测模型建立方法及应用


[0001]本专利技术属于计算机视觉
，更具体地，涉及一种基于自适应补丁学习的面部AU检测模型建立方法及应用。

技术介绍

[0002]面部动作单元(Action Unit,AU)是人脸动作编码系统(Facial Action Coding System,FACS)定义的局部面部区域中的基本面部运动，它描述了面部表情的细粒度变化。人脸运动单元检测是指确定给定的人脸图像中各类AU是否出现。AU检测是一项重要的人脸分析任务，通过计算机自动检测AU及其组合，有助于准确分析面部表情和理解个体情绪，应用于健康、娱乐、公共安全等各个领域。
[0003]AU本质是人脸局部区域的肌肉激活模式，每个AU标签对应了一些特定肌肉运动，不同的AU具有不同的结构和纹理信息，因此显式的局部特征学习有助于提升AU检测的精度。传统的局部区域划分方法将输入的卷积特征图均匀划分为若干个补丁区域，并对每个补丁区域采用不同的卷积核进行局部特征学习。这类方法无法在不同头部姿态下裁剪出语义对齐的补丁区域，使得AU检测的精度受本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，包括：建立初始神经网络模型并对其进行训练，得到所述面部AU检测模型；所述初始神经网络模型包括：全局特征学习模块，用于对包含人脸的输入图像进行特征提取，得到包含了全局人脸结构和上下文特征的全局人脸特征；人脸关键点位置学习模块，用于从所述全局人脸特征中学习得到人脸关键点位置；自适应多尺度补丁学习模块，包括：自适应补丁提案子模块，用于根据所述人脸关键点位置从所述全局人脸特征中划分出多种尺度的补丁区域；多尺度补丁学习子模块，用于对所述多种尺度的补丁区域进行补丁学习，得到各补丁区域的特征后将所得到的补丁区域特征级联为AU特征；所述多种尺度的补丁区域包括AU级尺度区域；所述AU级尺度区域为以AU中心位置为中心的正方形区域；以及，AU预测模块，用于根据所述AU特征预测各AU标签出现的概率。2.如权利要求1所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：关联级尺度区域；所述关联级尺度区域为依赖性和空间关联性均满足预设条件的两个AU级尺度区域的最小外接矩形区域。3.如权利要求2所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：人脸级尺度区域；所述人脸级尺度区域为位于同一人脸情绪表达区域内的AU级尺度区域的最小外接矩形区域。4.如权利要求2所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，空间关联性满足预设条件是指：同一个关联级尺度区域中，两个AU级尺度区域的AU中心位置之间的距离小于预设阈值。5.如权利要求1所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述多种尺度的补丁区域还包括：人脸级尺度区域；所述人脸级尺度区域为位于同一人脸情绪表达区域内的AU级尺度区域的最小外接矩形区域。6.如权利要求1～5任一项所述的基于自适应补丁学习的面部AU检测模型建立方法，其特征在于，所述初始神经网络模型的训练包括：第一阶段：冻结所述自适应多尺度补丁学习模块的所有参数，利用由已标注人脸关键点位置标签的人脸图像所构成的第一数据集对所述初始神经网络模型进行训练，得到中间模型；第二阶段：不冻结参数，利用由已标注人脸关键点位置标签和AU标签的人脸图像所构成的第二数据集对所述中间模型整体进行训练，得到所述面部AU检测模型。7.如权利要求6所述的基于自适应补丁学习的面部AU检测模型建立...

【专利技术属性】
技术研发人员：喻莉，杜聪炬，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：