本发明专利技术公开了一种基于视觉的面部情绪监测分析系统及其分析方法，属于人工智能应用领域。所述方法包括如下步骤：相机采集图像数据预处理步骤、数据训练步骤，面部区域提取模块，面部情绪分类识别模块，损失函数改进步骤，以及图像数据测试步骤。所述方法基于深度学习、计算机视觉、目标识别检测等领域的基本算法。所述方法对复杂背景环境下对拍摄采集的图像进行识别，图像预处理模块将在相机拍摄得到的图片进行增强处理，提高图像整体检测识别效果，因此，该处理技术在较差背景环境中仍能保持一定的检测能力。在整个识别检测过程中，对网络模型进行合理改进以适应对人体、面部的特征提取、检测效果。检测效果。检测效果。
【技术实现步骤摘要】
一种基于视觉的面部情绪监测分析系统及其分析方法
[0001]本专利技术属于人工智能技术应用的
，特别是涉及一种基于视觉的面部情绪监测分析系统及其分析方法。
技术介绍
[0002]面部情绪监测是一种依据人脸图像进行情绪识别的生物特征识别技术。面部情绪是综合了人的感觉、思想和行为的一种状态，一定程度上表现了人对外界或自身刺激的反应，因此通过对于人体面部情绪特征的识别是非常有意义的。随着20世纪中期，对人脸识别技术的开始研究，对于面部情绪、虹膜识别等一系列生物特征的识别也开始展开。通常，面部情绪识别技术的难点在于人脸生理结构相似性导致不同个体之间面部特征差异并不显著，而对于同一个体来说，在不同年龄、光照、遮挡、妆饰等干扰因素下变化显著，因而面部情绪监测技术需要在提取出的诸多特征中类内变化干扰的情况下尽可能增大类间差距用以区分不同样本，其关键点在于从复杂背景中剥离人脸区域图像以及从获得的人脸图像中提取有利于识别情绪的特征。随着数字信息技术、微电子技术及大数据等相关领域的发展，深度学习等新兴技术开始逐步应用于面部情绪识别方面，并仍处于不断发展的阶段。
[0003]作为基于人工神经网络的机器学习中的深度学习，抛弃了依靠先验知识与人工经验提取特征的传统方法，将输入图像低级特征转换成稍微抽象和复合的特征，对提前设定好的目标数据集，通过建立一个使用多个层逐步从原始输入中逐步提取更高级别特征的网络模型，进行训练、验证、调整网络参数，获得更高的识别检测准确率。
[0004]数字图像处理技术产生于20世纪中期，早期主要用于改善图像质量，以人为对象，已改善人的视觉效果为目的。数字图像处理结合计算机技术的发展，实现对图像的去除噪声、增强、复原和分割等一系列处理。随着硬件处理器的快速升级，90年代开始图像处理技术已经能对图片中隐藏的数字信息进行提取，分析目标的特征。后来处理技术发展到对文字检测、语音检测、物体检测等多个方面，并在农业、工业、医学等领域中得到了广泛的应用，促进了现代智能化生活发展。在传统图像分类与检测方法中通过特征子与支持向量机、朴素贝叶斯、随机森林和最近邻等分类器结合的技术是最主要的分类检测方法。但这些分类检测方式都属于浅层机器学习模型，只能够提取局部的浅层特征，无法对目标对象的整体特征进行分析处理，在复杂背景的干扰下准确率低；且传统目标检测算法需要人工针对不同任务手工设计相应特征，过程即费时又费力，不利于大范围推广。
技术实现思路
[0005]本专利技术为解决上述
技术介绍
中存在的技术问题，提供了一种基于视觉的面部情绪监测分析系统及其分析方法。
[0006]本专利技术采用以下技术方案：一种基于视觉的面部情绪监测分析方法，包括以下步骤：
[0007]图像的预处理：获取含有人员面部的环境图像，基于算法对所述环境图像进行增
强处理，得到均一化的输出图像；
[0008]面部区域的提取：将所述输出图像输入至多层网络级联中，获取置信度最高的区域为最终的面部区域；
[0009]面部情绪的识别：对所述面部区域进行不同尺度的缩放，生成关于同一面部区域的多个不同分辨率的中间图像；将所述中间图像输入至改进的AlexNet网络中，从不同尺度识别面部情绪。
[0010]在进一步的实施例中，还包括以下步骤：
[0011]创建特征空间，获取输出图像或者面部区域中的特征标签集，对所述特征标签集中的每个标签元素输入预先生成的锚框，并将对应标签元素的人员面部和背景分别标记为正、负样本；
[0012]通过函数计算，使得同一标签元素的锚框与负样本之间的距离为最远，与正样本之间的距离为最近。
[0013]在进一步的实施例中，所述图像的预处理具体包括以下流程：
[0014]步骤101、设环境图像I
i
(x,y)，设定响应三个不同尺度的围绕函数，所述围绕函数的比例保持在3：16：50；
[0015]步骤102、对环境图像I
i
(x,y)的R、G、B维度分别按照所述围绕函数进行高斯模糊G
i
(x,y)，得到模糊后的入射图像L
i
(x,y)，其中i表示尺度数，计算公式如下：
[0016]L
i
(x,y)＝I(x,y)*G
i
(x,y)
[0017]步骤103、对于每个尺度下的图像做以下处理：
[0018]Log[R(x,y)]＝Weight(i)*(log[I
i
(x,y)]‑
Log[L
i
(x,y)])
[0019]其中，R(x,y)表示期望获得的反射图像，Weight(i)表示尺度数为i所对应的权重，其中所有的权重之和为1；
[0020]步骤104、将获得的Log[R(x,y)]进行反对数运算，再将R、G、B三个维度增强后的R(x,y)进行融合，得到输出图像。
[0021]在进一步的实施例中，所述面部区域的提取具体包括以下步骤：
[0022]基于现有的卷积神经网络网络骨架中三个级联网络的卷积层深度降低并调整相应特征提取卷积层的相关参数得到改进后的P
‑
Net、R
‑
Net、O
‑
Net级联网络；将输出图像依次经过所述改进后的P
‑
Net、R
‑
Net、O
‑
Net级联网络，获取置信度最高的面部识别区域；
[0023]于O
‑
Net层中引入Dropout层，所述Dropout层的比例参数设定为0.4。
[0024]在进一步的实施例中，所述面部情绪的提取具体包括以下步骤：
[0025]将具有最高级别分辨率的面部区域放在底部，以金字塔形状排列，从底部至顶部依次经过高斯核卷积和金字塔扩展式卷积，直至金字塔的顶部仅包含最小像素点的图像。
[0026]在进一步的实施例中，所述金字塔扩展式卷积公式如下：
[0027]式中，j，k表示高斯卷积核的尺寸；
[0028]所述高斯卷积核参数取值为：
[0029]在进一步的实施例中，采用以下公式计算目标函数：在进一步的实施例中，采用以下公式计算目标函数：
[0030]式中：表示的是正样本与锚框之间的欧氏距离度量，表示的是负样本和锚框之间的欧氏距离度量，margin为x
a
与x
n
之间的距离和x
a
与x
p
之间的距离的最小间隔，公式表现如下：
[0031][0032]其中，锚框、正样本和负样本的特征表达满足
[0033]则，目标函数的梯度求解过程如下：
[0034][0035]式中N为整个模型训练集的大小。
[0036]一种用于实现如上所述监测分析方法的系统，包括：
[0037]图像的预处理模块，被设置为获取含有人员面部的环境图像，基于算法对所述环境图像进行增强处理，得本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视觉的面部情绪监测分析方法，其特征在于，包括以下步骤：图像的预处理：获取含有人员面部的环境图像，基于算法对所述环境图像进行增强处理，得到均一化的输出图像；面部区域的提取：将所述输出图像输入至多层网络级联中，获取置信度最高的区域为最终的面部区域；面部情绪的识别：对所述面部区域进行不同尺度的缩放，生成关于同一面部区域的多个不同分辨率的中间图像；将所述中间图像输入至改进的AlexNet网络中，从不同尺度识别面部情绪。2.根据权利要求1所述的一种基于视觉的面部情绪监测分析方法，其特征在于，还包括以下步骤：创建特征空间，获取输出图像或者面部区域中的特征标签集，对所述特征标签集中的每个标签元素输入预先生成的锚框，并将对应标签元素的人员面部和背景分别标记为正、负样本；通过函数计算，使得同一标签元素的锚框与负样本之间的距离为最远，与正样本之间的距离为最近。3.根据权利要求1所述的一种基于视觉的面部情绪监测分析方法，其特征在于，所述图像的预处理具体包括以下流程：步骤101、设环境图像I
i
(x，y)，设定响应三个不同尺度的围绕函数，所述围绕函数的比例保持在3∶16∶50；步骤102、对环境图像I
i
(x，y)的R、G、B维度分别按照所述围绕函数进行高斯模糊G
i
(x，y)，得到模糊后的入射图像L
i
(x，y)，其中i表示尺度数，计算公式如下：L
i
(x，y)＝I(x，y)*G
i
(x，y)步骤103、对于每个尺度下的图像做以下处理：Log[R(x，y)]＝Weight(i)*(Log[I
i
(x，y)]
‑
Log[L
i
(x，y)])其中，R(x，y)表示期望获得的反射图像，Weight(i)表示尺度数为i所对应的权重，其中所有的权重之和为1；步骤104、将获得的Log[R(x，y)]进行反对数运算，再将R、G、B三个维度增强后的R(x，y)进行融合，得到输出图像。4.根据权利要求1所述的一种基于视觉的面部情绪监测分析方法，其特征在于，所述面部区域的提取具体包括以下步骤：基于现有的卷积神经网络网络骨架中三个级联网络的卷积层深度降低并调整相应特征提取卷积层的相关参数得到改进后的P
‑
Net、R
‑
Net、O
‑
【专利技术属性】
技术研发人员：季利鹏，吴世龙，孙志远，顾小清，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。