应用于流动人群的表情识别方法、系统及存储介质技术方案

本发明专利技术公开了应用于流动人群的表情识别方法、系统及存储介质，其中方法包括：构建三个数据库；分别预训练人脸检测网络、预训练超分辨率生成网络和表情识别网络；分别对三个网络进行域适应；将流动人群的图像输入至由三个网络组成的表情识别模型进行表情识别；在预训练和域适应的过程中，对于三个网络分开训练，对于不同的网络采用不同的数据进行训练提高分类精度，且先通过非指定场合的图像预训练再通过指定场合的图像域适应进一步提高分类精度；对于流动人群的低分辨率图像，使用超分辨率生成网络提高图像的分辨率，大大提高表情识别模型整体的表情识别精度。

【技术实现步骤摘要】
应用于流动人群的表情识别方法、系统及存储介质
本专利技术涉及机器视觉领域，特别是应用于流动人群的表情识别方法、系统及存储介质。
技术介绍
机器视觉领域中的人脸表情识别技术已越来越多地应用在日常生活中，为大众生活带来众多的方便。但应用于流动人群的人脸表情识别技术却由于摄像头与人的距离远、拍摄目标众多且拍摄目标在移动，获得的人脸图像往往分辨率低且模糊不清，但模糊的人脸图像并不有利于人脸表情识别，因此现有的人脸表情识别技术对流动人群的识别效果并不理想、识别精度低。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供应用于流动人群的表情识别方法、系统及存储介质，解决对流动人群的表情识别精度低的问题。本专利技术解决其问题所采用的技术方案是：应用于流动人群的表情识别方法，包括以下步骤：构建第一数据库、第二数据库和第三数据库，其中所述第一数据库包含拍摄于多种场合的人脸检测图像，所述第二数据库包含拍摄于多种场合的表情检测图像，所述第三数据库包含拍摄于指定场合的行人图像；利用所述第一数据库预训练人脸检测网络，利用所述第二数据库预训练超分辨率生成网络和表情识别网络；利用所述第三数据库对经预训练的所述人脸检测网络、经预训练的所述超分辨率生成网络进行域适应，以及利用所述第二数据库和第三数据库对经预训练的所述表情识别网络进行域适应；将流动人群的图像输入至表情识别模型进行表情识别；其中，所述表情识别模型是由经预适应的所述人脸检测网络、经预适应的所述超分辨率生成网络和经预适应的所述表情识别网络依次连接得到；所述流动人群的图像经所述人脸检测网络提取得到标记人脸的第一人脸图像，所述第一人脸图像经所述超分辨率生成网络提高分辨率得到第二人脸图像，所述第二人脸图像经所述表情识别网络识别得到表情类别。根据本专利技术的第一方面，所述人脸检测网络包括第一特征提取模块和第一分类模块，所述第一特征提取模块是由多个第一卷积块结构、多个第一上采样层和一个第二卷积块结构组成的自下而上的网络结构；所述第一分类模块包括第三卷积块结构、第四卷积块结构和分类层。根据本专利技术的第一方面，所述超分辨率生成网络是包括生成器和判别器的对抗生成网络，所述生成器包括由多个残差块堆叠成的编码器和解码器，所述判别器包括第二特征提取模块和第二分类模块。根据本专利技术的第一方面，所述表情识别网络包括第三特征提取模块和第三分类模块；所述第三特征提取模块包括依次连接的多个特征提取子模块，其中所述特征提取子模块包括残差块、分道处理模块和通道注意力结构，所述残差块和所述分道处理模块跳跃连接后与所述通道注意力结构串联。根据本专利技术的第一方面，利用所述第二数据库预训练所述超分辨率生成网络具体包括以下步骤：清洗所述第二数据库；裁剪所述第二数据库的所述表情检测图像为统一尺寸；对所述表情检测图像下采样处理；将经下采样处理的所述表情检测图像作为输入图像和对应的原表情检测图像作为目标图像，对所述超分辨率生成网络训练直至所述超分辨率生成网络收敛。根据本专利技术的第一方面，利用所述第三数据库对经预训练的所述人脸检测网络进行域适应具体包括以下步骤：对所述第一特征提取模块进行权重冻结；利用所述第三数据库的具有标签的行人图像对所述第一分类模块进行权重微调。根据本专利技术的第一方面，利用所述第三数据库对经预训练的所述超分辨率生成网络进行域适应具体包括以下步骤：裁剪并上采样所述第三数据库的具有标签的行人图像，使其尺寸与经裁剪后的所述表情检测图像的尺寸一致；对经上采样的所述行人图像下采样处理；将经下采样处理的所述行人图像作为输入图像和对应的经上采样的所述行人图像作为目标图像，对所述超分辨率生成网络进行权重微调。根据本专利技术的第一方面，利用所述第二数据库和第三数据库对经预训练的所述表情识别网络进行域适应具体包括以下步骤：利用经域适应的所述人脸检测网络处理所述第三数据库的具有标签的行人图像得到第一处理图像；利用经域适应的所述超分辨率生成网络处理所述第一处理图像得到第二处理图像；利用所述第二处理图像对所述表情识别网络进行第一次权重微调；对增加适应层的所述表情识别网络分别进行有监督训练和无监督训练进而优化损失函数；利用所述第二处理图像对去除分类层且在所述适应层后增加全连接层和激活函数层的所述表情识别网络进行权重微调。本专利技术的第二方面，应用如本专利技术第一方面所述的表情识别方法的表情识别系统，包括：数据库构建模块，用于构建第一数据库、第二数据库和第三数据库，其中所述第一数据库包含拍摄于多种场合的人脸检测图像，所述第二数据库包含拍摄于多种场合的表情检测图像，所述第三数据库包含拍摄于指定场合的行人图像；预训练模块，用于利用所述第一数据库预训练人脸检测网络，利用所述第二数据库预训练超分辨率生成网络和表情识别网络；域适应模块，用于利用所述第三数据库对经预训练的所述人脸检测网络、经预训练的所述超分辨率生成网络进行域适应，以及利用所述第二数据库和第三数据库对经预训练的所述表情识别网络进行域适应；表情识别模块，用于将流动人群的图像输入至表情识别模型进行表情识别；其中，所述表情识别模型是由经预适应的所述人脸检测网络、经预适应的所述超分辨率生成网络和经预适应的所述表情识别网络依次连接得到；所述流动人群的图像经所述人脸检测网络提取得到标记人脸的第一人脸图像，所述第一人脸图像经所述超分辨率生成网络提高分辨率得到第二人脸图像，所述第二人脸图像经所述表情识别网络识别得到表情类别。本专利技术的第三专利技术，存储介质存储有可执行指令，可执行指令能被计算机执行，使所述计算机执行如权利要求1至8任一项所述的表情识别方法。上述方案至少具有以下的有益效果：在预训练和域适应的过程中，对于三个网络分开训练，对于不同的网络采用不同的数据进行训练提高分类精度，且先通过非指定场合的图像预训练再通过指定场合的图像域适应进一步提高分类精度；且先通过大量的非指定场合的图像预训练再通过少量的带标签的指定场合的图像域适应，能无需大量地对第三数据库的行人图像打标签，在保留高精度的前提下大大减少工作量；对于流动人群的低分辨率图像，使用超分辨率生成网络提高图像的分辨率，大大提高表情识别模型整体的表情识别精度。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明下面结合附图和实例对本专利技术作进一步说明。图1是本专利技术实施例应用于流动人群的表情识别方法的流程图；图2是人脸检测网络的网络结构图；图3是空间注意力结构的结构图；图4是超分辨率生成网络的生成器的结构图；图5是超分辨率生成网络的判别器的结构图；图6是表情识别网络的网络结构图；图7是通道注意力结构的结构图；图8是本专利技术实施例应用于流动人群的表情识系统的结构图。具体实施方式本部分将详细描述本专利技术的具体实施例本文档来自技高网...

【技术保护点】
1.应用于流动人群的表情识别方法，其特征在于，包括以下步骤：/n构建第一数据库、第二数据库和第三数据库，其中所述第一数据库包含拍摄于多种场合的人脸检测图像，所述第二数据库包含拍摄于多种场合的表情检测图像，所述第三数据库包含拍摄于指定场合的行人图像；/n利用所述第一数据库预训练人脸检测网络，利用所述第二数据库预训练超分辨率生成网络和表情识别网络；/n利用所述第三数据库对经预训练的所述人脸检测网络、经预训练的所述超分辨率生成网络进行域适应，以及利用所述第二数据库和所述第三数据库对经预训练的所述表情识别网络进行域适应；/n将流动人群的图像输入至表情识别模型进行表情识别；其中，所述表情识别模型是由经预适应的所述人脸检测网络、经预适应的所述超分辨率生成网络和经预适应的所述表情识别网络依次连接得到；所述流动人群的图像经所述人脸检测网络提取得到标记人脸的第一人脸图像，所述第一人脸图像经所述超分辨率生成网络提高分辨率得到第二人脸图像，所述第二人脸图像经所述表情识别网络识别得到表情类别。/n

【技术特征摘要】
1.应用于流动人群的表情识别方法，其特征在于，包括以下步骤：
构建第一数据库、第二数据库和第三数据库，其中所述第一数据库包含拍摄于多种场合的人脸检测图像，所述第二数据库包含拍摄于多种场合的表情检测图像，所述第三数据库包含拍摄于指定场合的行人图像；
利用所述第一数据库预训练人脸检测网络，利用所述第二数据库预训练超分辨率生成网络和表情识别网络；
利用所述第三数据库对经预训练的所述人脸检测网络、经预训练的所述超分辨率生成网络进行域适应，以及利用所述第二数据库和所述第三数据库对经预训练的所述表情识别网络进行域适应；
将流动人群的图像输入至表情识别模型进行表情识别；其中，所述表情识别模型是由经预适应的所述人脸检测网络、经预适应的所述超分辨率生成网络和经预适应的所述表情识别网络依次连接得到；所述流动人群的图像经所述人脸检测网络提取得到标记人脸的第一人脸图像，所述第一人脸图像经所述超分辨率生成网络提高分辨率得到第二人脸图像，所述第二人脸图像经所述表情识别网络识别得到表情类别。


2.根据权利要求1所述的应用于流动人群的表情识别方法，其特征在于，所述人脸检测网络包括第一特征提取模块和第一分类模块，所述第一特征提取模块是由多个第一卷积块结构、多个第一上采样层和一个第二卷积块结构组成的自下而上的网络结构；所述第一分类模块包括第三卷积块结构、第四卷积块结构和分类层。


3.根据权利要求1所述的应用于流动人群的表情识别方法，其特征在于，所述超分辨率生成网络是包括生成器和判别器的对抗生成网络，所述生成器包括由多个残差块堆叠成的编码器和解码器，所述判别器包括第二特征提取模块和第二分类模块。


4.根据权利要求1所述的应用于流动人群的表情识别方法，其特征在于，所述表情识别网络包括第三特征提取模块和第三分类模块；所述第三特征提取模块包括依次连接的多个特征提取子模块，其中所述特征提取子模块包括残差块、分道处理模块和通道注意力结构，所述残差块和所述分道处理模块跳跃连接后与所述通道注意力结构串联。


5.根据权利要求3所述的应用于流动人群的表情识别方法，其特征在于，利用所述第二数据库预训练所述超分辨率生成网络具体包括以下步骤：清洗所述第二数据库；裁剪所述第二数据库的所述表情检测图像为统一尺寸；对所述表情检测图像下采样处理；将经下采样处理的所述表情检测图像作为输入图像和对应的原表情检测图像作为目标图像，对所述超分辨率生成网络训练直至所述超分辨率生成网络收敛。


6.根据权利要求2所述的应用于流动人群的表情识别方法，其特征在于，利用所述第三数据库对经预训练的所述人脸检测网络进行域适应具体包括以下步骤：对所述第...

【专利技术属性】
技术研发人员：翟懿奎，周文略，柯琪锐，甘俊英，应自炉，徐颖，麦超云，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东;44