本发明专利技术涉及一种基于集成卷积网络的人脸表情识别方法，包括：获取原始图像数据；对获取的原始图像数据进行预处理，得到训练集和测试集；构建集成卷积网络模型：集成卷积网络模型由共享卷积层和集成卷积分支两部分组成；对集成卷积网络模型进行训练；将待识别的人脸表情图像输入到训练后的集成卷积网络模型中，训练后的集成卷积网络模型输出最终的识别结果，即人脸表情对应的分类标签。本发明专利技术还公开了基于集成卷积网络的人脸表情识别系统。本发明专利技术减少冗余和计算负载，同时保持多样性和泛化能力，通过共享卷积层自动提取人脸图像特征，捕捉微妙表情差异，显著提升识别准确度；有效地克服了传统方法的限制，提高了人脸表情识别的效率和准确性。
【技术实现步骤摘要】
本专利技术涉及人脸表情识别，尤其是一种基于集成卷积网络的人脸表情识别方法及系统。
技术介绍
1、在当代数字化社会，人机交互和情感分析成为了人工智能领域的热门研究方向。人脸表情识别作为情感分析的重要组成部分，具有广泛的应用前景，涵盖了情感研究、智能用户体验、社交媒体、虚拟现实、智能驾驶等领域。然而，由于人脸表情的多样性和复杂性，传统方法和部分基于深度学习的技术仍然存在一些显著的缺点和限制。
2、传统方法主要有以下缺点。传统方法通常基于手工提取的特征，如lbp、hog等，这些特征通常需要基于领域专业知识，并且难以适应不同场景的变化，这种依赖性导致了在不同数据集上的表现差异，同时也限制了方法的泛化能力；传统方法容易受到光照变化和遮挡的影响，导致在真实场景中的应用受限，人脸表情受光照变化和遮挡影响较大，传统方法在处理这些干扰时表现不佳；人类的情感表达非常多样，传统方法往往无法准确地区分不同的情感状态。
3、现有基于深度学习的人脸识别技术也存在一些缺点。深度学习模型通常具有复杂的结构，需要大量的计算资源和时间来训练，这限制了这些方法在资源受限环境下的应用，且提高了系统的成本；在实时视频流分析等场景下，现有技术可能由于计算复杂度高而难以实现实时的情感识别，影响了其在实际应用中的可用性；部分现有技术在面对不同年龄、性别的人脸时，泛化能力较差，导致识别结果的可靠性下降。
4、综上所述，这些缺点和限制影响了人脸表情识别在现实场景中的应用效果和可靠性，迫切需要更加创新和高效的方法来克服这些挑战。
技术实现思路
1、为了解决现有技术存在的泛化能力低、模型复杂度高、计算成本高的问题，本专利技术的首要目的在于提供一种通过多层次卷积网络自动提取人脸图像的特征，有效地捕捉了表情的细微差异，提高识别准确性、鲁棒性和效率，减少冗余和计算负载的基于集成卷积网络的人脸表情识别方法。
2、为实现上述目的，本专利技术采用了以下技术方案：一种基于集成卷积网络的人脸表情识别方法，该方法包括下列顺序的步骤：
3、(1)获取原始图像数据：下载指定数据集ck+到本地；
4、(2)对获取的原始图像数据进行预处理，得到训练集和测试集；
5、(3)构建集成卷积网络模型：集成卷积网络模型由共享卷积层和集成卷积分支两部分组成；
6、(4)对集成卷积网络模型进行训练：将训练集和测试集输入到成卷积网络模型中，分两阶段进行训练，得到训练后的集成卷积网络模型；
7、(5)将待识别的人脸表情图像输入到训练后的集成卷积网络模型中，训练后的集成卷积网络模型输出最终的识别结果，即人脸表情对应的分类标签。
8、所述步骤(2)具体包括以下步骤：
9、(2a)使用viola-jones算法检测原始图像中的人脸区域，并裁剪出来；
10、(2b)将裁剪出的人脸图像统一调整到96×96像素大小；
11、(2c)将裁剪后的人脸图像转换为灰度图，再进行数据增强，组成训练数据集；所述数据增强包括旋转、缩放、平移、亮度变化和对比度变化；
12、(2d)把训练数据集中每个人脸表情数据序列的第一帧图像标记为中性表情即中性脸帧，最后三帧标记为8种人脸表情类别之一即表情峰值帧，得到标记后的训练数据集；
13、(2e)将标记后的训练数据集按照9：1的比例划分为训练集和测试集，用于后续模型评估的交叉验证。
14、所述步骤(3)具体包括以下步骤：
15、(3a)首先，构建用于提取低级语义特征的共享卷积层，共享卷积层由三个卷积层、三个批量归一化层和两个最大池化层组成；所述三个卷积层为第一、二、三卷积层，所述三个批量归一化层为第一、二、三批量归一化层，所述两个最大池化层为第一、二最大池化层；所述第一、二、三卷积层之后分别一一对应设置第一、二、三批量归一化层，所述第二、三批量归一化层之后分别一一对应设置第一、二最大池化层；
16、(3b)构建集成卷积分支，集成卷积分支由n个卷积分支组成，每个卷积分支由两个卷积层、两个批量归一化层、第三最大池化层、全局平均池化层和线性输出层组成，所述两个卷积层为第四、五卷积层，所述两个批量归一化层为第四、五批量归一化层，第四、五卷积层之后分别一一对应设置第四、五批量归一化层，第四批量归一化层之后设置第三最大池化层，第五批量归一化层之后设置全局平均池化层；
17、(3c)最后，将所有卷积分支的输出进行集成，得到基于共享表示的集成卷积网络模型。
18、所述步骤(4)具体包括以下步骤：
19、(4a)首先，训练共享卷积层：
20、设置参数：优化函数选择随机梯度下降sgd，动量因子设置为0.9，初始学习率为0.1；
21、使用4折交叉验证方式训练共享卷积层，训练目标是最小化交叉熵损失函数；
22、每训练250个轮次后，学习率以0.5的比例进行衰减；
23、训练过程中，对每批次数据加入随机数据增强，包括调整亮度、对比度、水平翻转、旋转和缩放；
24、在测试集上测试共享卷积层的性能，保存平均识别准确度最高的共享卷积层；
25、(4b)训练集成卷积分支，初始化共享卷积层的参数，把共享卷积层学习率设置为0；
26、逐步添加卷积分支，新加入的卷积分支在共享卷积层的基础上进行训练；
27、对每一批训练数据，计算每个存在卷积分支的损失，并构建联合损失函数；
28、通过反向传播优化整个集成卷积网络模型；
29、每增加一个卷积分支，使用训练集继续训练；
30、(4c)重复步骤(4a)和步骤(4b)，直到集成卷积网络模型收敛；
31、(4d)最后，训练完成，得到基于共享表示的集成卷积网络模型。
32、在步骤(5)中，所述人脸表情对应的分类标签一共有8种，分别是中性、快乐、恐惧、愤怒、惊讶、厌恶、悲伤和蔑视。
33、本专利技术的另一目的在于提供一种基于集成卷积网络的人脸表情识别系统，包括前端模块和后端模块，所述前端模块包括：
34、图像获取模块，用于获取用户上传的人脸图片、视频文件，或者是用摄像头采集的实时视频流；
35、图像上传模块，用于将图像获取模块获取的图像数据，传输到数据接收模块；
36、接收识别结果模块，用于接收后端模块返回的识别结果数据；
37、结果展示模块，用于把接收识别结果模块接收到的识别结果，实时更新展示在前端界面；
38、所述后端模块包括：
39、数据接收模块，用于接收图像上传模块传输的图像数据，并存储到指定的目录；
40、图像预处理模块，用于对数据接收模块接收的静态图像或实时视频帧，使用viola-jones算法定位图像中的人脸区域；
41、图像识别模块，用于针对图像预处理模块定位的人脸区域，使用预训练的集成卷本文档来自技高网
...
【技术保护点】
1.一种基于集成卷积网络的人脸表情识别方法，其特征在于：该方法包括下列顺序的步骤：
2.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：所述步骤(2)具体包括以下步骤：
3.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：所述步骤(3)具体包括以下步骤：
4.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：所述步骤(4)具体包括以下步骤：
5.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：在步骤(5)中，所述人脸表情对应的分类标签一共有8种，分别是中性、快乐、恐惧、愤怒、惊讶、厌恶、悲伤和蔑视。
6.实施权利要求1至5中任一项所述的基于集成卷积网络的人脸表情识别方法的系统，其特征在于：包括前端模块和后端模块，所述前端模块包括：
【技术特征摘要】
1.一种基于集成卷积网络的人脸表情识别方法，其特征在于：该方法包括下列顺序的步骤：
2.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：所述步骤(2)具体包括以下步骤：
3.根据权利要求1所述的基于集成卷积网络的人脸表情识别方法，其特征在于：所述步骤(3)具体包括以下步骤：
4.根据权利要求1所述的基于集成卷积网络的人脸表情识别方...
【专利技术属性】
技术研发人员：陈鹏，徐畅，章军，夏懿，郑春厚，王兵，梁栋，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。