一种去噪扩散的微表情数据生成方法及分类网络训练方法技术

本发明专利技术公开了一种基于去噪扩散隐式模型的微表情数据生成方法。本发明专利技术包括以下步骤：获取微表情序列；在微表情序列中提取顶点帧，提取顶点帧及左右的若干帧作为选定帧；使用选定帧训练微表情扩散模型；将纯高斯噪声和选定帧作为输入进行融合采样，融合采样过程包括根据纯高斯噪声通过训练好的微表情扩散模型生成生成图片，根据生成图片和选定帧计算生成图片的FID指标，以FID指标对生成图片进行筛选。本发明专利技术有效地增加了微表情数据的数据量，同时提高了生成图片的质量，使其可以达到提升分类模型分类准确率的要求。模型分类准确率的要求。模型分类准确率的要求。

【技术实现步骤摘要】
一种去噪扩散的微表情数据生成方法及分类网络训练方法


[0001]本专利技术属于表情识别
，具体涉及一种去噪扩散的微表情数据生成方法及分类网络训练方法。

技术介绍

[0002]面部微表情是一个人在经历情绪时自发地、不自觉地发生的面部动作。这些微表情通常出现在高风险的场合，比如刑事审讯、面试、政治辩论等。因此，多任务计算分析和微表情自动识别已成为人脸研究的一个新兴领域。
[0003]微表情具有强度低、振幅弱、持续时间短的特点，大多数自发的微表情无法被肉眼观察到，因此微表情识别是一项具有挑战性的任务。由于微表情的短暂性和微小性，收集和检测微表情的难度较大，从而导致了微表情数据的严重不足，没有大规模的数据集可用。
[0004]在中小数据集的训练过程中，数据扩充一直是防止过拟合的重要环节。传统的数据增强方法包括对图像进行随机翻转、旋转、剪切、变形缩放、添加噪声、颜色扰动等。但是，对于数据多样性的增加有一定的局限性。近年来，卷积神经网络(convolutional neural networks,CNNs)在计算机视觉中得到了广泛的应用，提取合适的特征通常可以提高网络的性能，这就是现在很多研究倾向于设计一种新的特征提取方法的原因。许多方法都致力于改造网络模型和改进特征提取器，使网络能够提取不同的特征。然而，对微表情数据增强的研究还很少。因此，数据集不足仍然是一个致命的问题。如果不能有效解决这一问题，就很难有效提高微表情识别的精度。

技术实现思路

[0005]基于现有技术中存在的上述缺点和不足，本专利技术的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本专利技术的目的之一是提供满足前述需求之一或多个的一种去噪扩散的微表情数据生成方法。
[0006]为了达到上述专利技术目的，本专利技术采用以下技术方案：
[0007]一种去噪扩散的微表情数据生成方法，包括：
[0008]S1、获取微表情序列；
[0009]S2、在微表情序列中提取顶点帧，提取顶点帧及左右的若干帧作为选定帧；
[0010]S3、使用选定帧训练微表情扩散模型，微表情扩散模型用于生成微表情数据；微表情扩散模型中包含了交叉注意力U
‑
Net模型，交叉注意力U
‑
Net模型用于对加噪后的选定帧图片去噪，预测将加噪样本还原所需的去噪数据，通过计算正向加噪扩散生成的图片与反向去噪还原生成的图片的损失训练微表情扩散模型；
[0011]S4、将纯高斯噪声和选定帧作为输入进行融合采样，融合采样过程包括根据纯高斯噪声通过训练好的微表情扩散模型生成生成图片，根据生成图片和选定帧计算生成图片的FID指标，以FID指标对生成图片进行筛选。
[0012]作为一种优选方案，步骤S3包括如下步骤：
[0013]S31、对选定帧逐步加噪扩散，生成若干加噪样本；
[0014]S32、使用微表情扩散模型预测将加噪样本还原所需的去噪数据；
[0015]S33、使用去噪数据将加噪样本反向还原；
[0016]S34、计算每一次加噪的样本与加噪后反向去噪的样本的损失，根据损失修正预测过程。
[0017]作为一种优选方案，步骤S4包括：
[0018]S41、随机生成纯高斯噪声图像；
[0019]S42、将纯高斯噪声图像输入训练好的微表情扩散模型；
[0020]S43、利用训练好的微表情扩散模型对纯高斯噪声图像去噪，从而生成对应的生成图片；
[0021]S44、根据选定帧计算生成图片的FID指标，以FID指标对生成图片进行筛选。
[0022]作为一种进一步优选的方案，筛选具体为：根据选定帧计算生成图片的FID指标；
[0023]删除FID指标高于预设值的生成图片。
[0024]作为一种进一步优选的方案，纯高斯噪声图像的大小为224
×
224，由纯高斯噪声组成。
[0025]作为一种优选方案，步骤S2中，提取顶点帧及左右各两帧作为选定帧。
[0026]作为一种优选方案，交叉注意力U
‑
Net模型包括下采样部分、中间部分、上采样部分和输出部分。
[0027]另一方面，本专利技术还提供一种微表情分类网络训练方法，其特征在于，使用如前述任一项的方法生成生成图片，生成图片经筛选得到筛选后的图片，使用筛选后的图片与选定帧中划分出的训练集组成微表情分类数据，以训练分类网络。
[0028]本专利技术与现有技术相比，有益效果是：
[0029]本专利技术的方法针对微表情数据集不足的问题，基于扩散模型对微表情数据集进行扩充，通过对用于微表情扩散模型的数据进行加噪扩散与去噪逆扩散，训练微表情扩散模型，利用该模型实现微表情图片的生成构造，并利用融合采样过程对生成的图片加以筛选，从而有效地增加了微表情数据的数据量；另外，本专利技术的方法将上述微表情数据添加到分类网络中加以利用，从而有效提升各分类模型的识别精度和准确率。
附图说明
[0030]图1表示本专利技术中基于微表情扩散模型的微表情数据增强方法的流程图。
[0031]图2表示本专利技术中微表情扩散模型的结构图。
[0032]图3表示本专利技术中的微表情扩散模型的流程图。
[0033]图4表示本专利技术中的交叉注意力U
‑
Net结构图。
[0034]图5表示本专利技术的交叉注意力U
‑
Net结构中的交叉注意力块的详细结构图。
[0035]图6表示本专利技术的融合采样过程的结构图。
[0036]图7表示本专利技术提出的融合采样过程的流程图。
具体实施方式
[0037]下面将结合本申请实施例中的图，对本申请实施例中的技术方案进行清楚、完整
的描述。
[0038]在下述介绍中提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
[0039]下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
[0040]本申请提供一种去噪扩散的微表情数据生成方法，其流程图如图1所示，包括：
[0041]S1、获取微表情序列；这一微表情序列通过图像采集得到，并选取其中的关键片段生成。
[0042]S2、在微表情序列中提取顶点帧，提取顶点帧左右的若干帧作为选定帧。
[0043]其中，顶点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去噪扩散的微表情数据生成方法，其特征在于，包括：S1、获取微表情序列；S2、在所述微表情序列中提取顶点帧，提取所述顶点帧及左右的若干帧作为选定帧；S3、使用所述选定帧训练微表情扩散模型，所述微表情扩散模型用于生成微表情数据；所述微表情扩散模型中包含了交叉注意力U
‑
Net模型，所述交叉注意力U
‑
Net模型用于对加噪后的选定帧图片去噪，预测将加噪样本还原所需的去噪数据，通过计算正向加噪扩散生成的图片与反向去噪还原生成的图片的损失训练所述微表情扩散模型；S4、将纯高斯噪声和所述选定帧作为输入进行融合采样，融合采样过程包括根据所述纯高斯噪声通过训练好的所述微表情扩散模型生成生成图片，根据所述生成图片和所述选定帧计算所述生成图片的FID指标，以所述FID指标对所述生成图片进行筛选。2.如权利要求1所述的一种去噪扩散的微表情数据生成方法，其特征在于，所述步骤S3包括如下步骤：S31、对所述选定帧逐步加噪扩散，生成若干加噪样本；S32、使用所述微表情扩散模型预测将所述加噪样本还原所需的去噪数据；S33、使用所述去噪数据将所述加噪样本反向还原；S34、计算每一次加噪的样本与加噪后反向去噪的样本的损失，根据所述损失修正预测过程。3.如权利要求1所述的一种去噪扩散的微表情数据生成方法，其特征在于...

【专利技术属性】
技术研发人员：付晓峰，吴文彬，孙曜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：