一种基于多任务学习的人脸状态判断方法和系统技术方案

本发明专利技术涉及一种基于多任务学习的人脸状态判断方法和系统，属于图像处理技术领域，用以解决缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断的问题，方法包括以下步骤：分别获取人脸状态美感判断数据集和人脸表情识别数据集；构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替

【技术实现步骤摘要】
一种基于多任务学习的人脸状态判断方法和系统


[0001]本专利技术涉及图像处理
，尤其涉及一种基于多任务学习的人脸状态判断方法和系统。

技术介绍

[0002]随着人工智能等技术不断发展，人工智能的市场规模逐渐扩大。据艾瑞咨询发布的《2021年中国智能产业研究报告（IV）》显示，2021年人工智能的核心规模估计达到1998亿元，到2026年，将超过6000亿元。人工智能技术深刻地改变了人类的生活方式和生产方式，新闻生产与人工智能结合后能够极大地提高新闻生产的效率。机器生产内容(Machine Generated Content，MGC)，即利用机器智能生产的新闻，多家媒体机构开发了生产MGC新闻的智能产品、智能平台，例如新华社的“媒体大脑”、光明网的智能发稿系统等等。
[0003]传统图文报道中的新闻配图通常由摄影记者拍摄。但是由于直播活动很多，直播现场可能缺少摄影记者。摄影记者拍摄新闻图片时会受到空间的限制，可能无法从合适的角度拍照，比如无法获得摇臂摄像机的角度进行拍摄，又或者最佳的机位被摄影师占据。此外，摄影记者也无法在演播室内拍照。在图文新闻生产中的配图素材采集环节，运用人工智能技术直接对直播视频流进行分析，获得新闻的配图能够有效补充摄影记者的短板，扩大新闻配图的取材范围。新闻配图的中景、近景和人脸特写中，人脸的状态十分重要。人脸的状态判断包括人脸状态美感判断和人脸表情识别，其中，人脸状态美感判断任务是挑选出人脸状态佳、适合出现在新闻配图中的“Nice”人脸图像，尽可能筛除人脸状态美感较差的“Unsatisfied”人脸，但是目前尚缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断。

技术实现思路

[0004]鉴于上述的分析，本专利技术实施例旨在提供一种基于多任务学习的人脸状态判断方法和系统，用以解决缺乏人脸状态美感判断数据集和相关的算法，无法有效进行人脸状态判断的问题。
[0005]一方面，本专利技术实施例提供了一种基于多任务学习的人脸状态判断方法，包括以下步骤：分别获取人脸状态美感判断数据集和人脸表情识别数据集；构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替
‑
联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果。
[0006]基于上述技术方案的进一步改进，所述基于自注意力机制的多任务学习模型包括共享特征提取模块、自注意力机制模块和多任务学习模块；
所述共享特征提取模块用于提取图像特征；所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征；所述多任务学习模块包括人脸状态美感判断子模块和人脸表情识别子模块；所述人脸状态美感判断子模块用于根据所述加权图像特征进行人脸状态美感判断；所述人脸表情识别子模块用于根据所述加权图像特征进行人脸表情识别。
[0007]进一步地，所述采用交替
‑
联合训练方法对所述多任务学习模型进行训练，包括：根据所述人脸状态美感判断数据集和所述人脸表情识别数据集的大小，分别计算所述人脸状态美感判断任务和人脸表情识别任务的batch
‑
size；从人脸状态美感判断数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸状态美感判断任务的损失；从人脸表情识别数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸表情识别任务的损失；根据所述人脸状态美感判断任务的损失和所述人脸表情识别任务的损失计算联合损失，基于所述联合损失优化模型参数。
[0008]进一步地，所述共享特征提取模块包括卷积层、第一残差块和两个第二残差块；所述第一残差块包括两个串联的第一残差子块，每个所述第一残差子块均包括两个卷积层、两个批量归一化层和一个激活层；每个所述第二残差块包括两个串联的残差子块，每个所述残差子块的主分支均包括两个卷积层、两个批量归一化层和一个激活层；第一个残差子块的辅助分支还包含一个卷积层和一个批量归一化层。
[0009]进一步地，所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征，包括：将共享特征提取模块提取的每张特征图转化为一维特征向量；将所有特征图对应的一维特征向量组成自注意力机制中的Q、K和V矩阵；基于所述Q、K和V矩阵采用多头自注意力机制计算得到加权特征矩阵；将所述加权特征矩阵转化为二维特征图，得到加权图像特征。
[0010]进一步地，所述人脸状态美感判断子模块和人脸表情识别子模块均包括依次连接的第三残差块、自适应平均池化层和全连接层；所述第三残差块包括两个串联的残差子块，所述第三残差块的两个残差子块的主分支均包括两个卷积层、两个批量归一化层和一个激活层；第一个残差子块的辅助分支还包含一个卷积层和一个批量归一化层。
[0011]另一方面，本专利技术实施例提供了一种基于多任务学习的人脸状态判断系统，包括以下模块：数据集获取模块，用于分别获取人脸状态美感判断数据集和人脸表情识别数据集；模型训练模块，用于构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替
‑
联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；
人脸状态判断模块，用于将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果。
[0012]进一步地，所述模型训练模块构建的自注意力机制的多任务学习模型包括共享特征提取模块、自注意力机制模块和多任务学习模块；所述共享特征提取模块用于提取图像特征；所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征；所述多任务学习模块包括人脸状态美感判断子模块和人脸表情识别子模块；所述人脸状态美感判断子模块用于根据所述加权图像特征进行人脸状态美感判断；所述人脸表情识别子模块用于根据所述加权图像特征进行人脸表情识别。
[0013]进一步地，所述模型训练模块采用交替
‑
联合训练方法对所述多任务学习模型进行训练，包括：根据所述人脸状态美感判断数据集和所述人脸表情识别数据集的大小，分别计算所述人脸状态美感判断任务和人脸表情识别任务的batch
‑
size；从人脸状态美感判断数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸状态美感判断任务的损失；从人脸表情识别数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸表情识别任务的损失；根据所述人脸状态美感判断任务的损失和所述人脸表情识别任务的损失计算联合损失，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的人脸状态判断方法，其特征在于，包括以下步骤：分别获取人脸状态美感判断数据集和人脸表情识别数据集；构建基于自注意力机制的多任务学习模型；基于所述人脸状态美感判断数据集和人脸表情识别数据集，采用交替
‑
联合训练方法对所述多任务学习模型进行训练，得到训练好的多任务学习模型；所述多任务包括人脸状态美感判断任务和人脸表情识别任务；将待判断的人脸图像输入所述多任务学习模型，得到所述人脸图像的人脸状态判断结果。2.根据权利要求1所述的基于多任务学习的人脸状态判断方法，其特征在于，所述基于自注意力机制的多任务学习模型包括共享特征提取模块、自注意力机制模块和多任务学习模块；所述共享特征提取模块用于提取图像特征；所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征；所述多任务学习模块包括人脸状态美感判断子模块和人脸表情识别子模块；所述人脸状态美感判断子模块用于根据所述加权图像特征进行人脸状态美感判断；所述人脸表情识别子模块用于根据所述加权图像特征进行人脸表情识别。3.根据权利要求1所述的基于多任务学习的人脸状态判断方法，其特征在于，所述采用交替
‑
联合训练方法对所述多任务学习模型进行训练，包括：根据所述人脸状态美感判断数据集和所述人脸表情识别数据集的大小，分别计算所述人脸状态美感判断任务和人脸表情识别任务的batch
‑
size；从人脸状态美感判断数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸状态美感判断任务的损失；从人脸表情识别数据集中提取对应的batch
‑
size大小的训练集输入所述多任务学习模型，根据模型输出结果计算人脸表情识别任务的损失；根据所述人脸状态美感判断任务的损失和所述人脸表情识别任务的损失计算联合损失，基于所述联合损失优化模型参数。4.根据权利要求2所述的基于多任务学习的人脸状态判断方法，其特征在于，所述共享特征提取模块包括卷积层、第一残差块和两个第二残差块；所述第一残差块包括两个串联的第一残差子块，每个所述第一残差子块均包括两个卷积层、两个批量归一化层和一个激活层；每个所述第二残差块包括两个串联的残差子块，每个所述残差子块的主分支均包括两个卷积层、两个批量归一化层和一个激活层；第一个残差子块的辅助分支还包含一个卷积层和一个批量归一化层。5.根据权利要求2所述的基于多任务学习的人脸状态判断方法，其特征在于，所述自注意力机制模块用于为提取的图像特征赋予权重，得到加权图像特征，包括：将共享特征提取模块提取的每张特征图转化为一维特征向量；将所有特征图对应的一维特征向量组成自注意力机制中的Q、K和V矩阵；基于所述Q、K和V矩阵采用多头自注意力机制计算得到加权特征矩阵；将所述加权特征矩阵转化为二维特征图，得到加权图像特征。6.根据权利要求2所述的基于多任务学习的人脸...

【专利技术属性】
技术研发人员：张亚娜，张连谊，杨成，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：