【技术实现步骤摘要】
本专利技术涉及表情识别，具体为一种图片角色表情特征提取及表情识别、变脸的方法。
技术介绍
1、图片人脸表情识别属于计算机视觉中的一个方向，用于判断人的情绪状态，通常应用于人机交互或表情变脸中，构建了许多图片人脸表情识别数据集(包括受控环境与非受控环境)，并在此基础上提出了许多图片人脸表情识别算法。
2、但是由于文化环境以及个体差异，人们对于人脸表情的理解并不完全统一，这使得各个数据集的标注数据存在偏差，导致大部分人脸表情识别算法无法很好的进行跨数据集或跨领域识别，从而导致大部分人脸表情识别算法在落地使用时需要各个场景下的大量标注数据，对于不同目标域数据集需将该超参设置不同数值，需大量实验进行探究，无法做到较好的通用设置，且仅使用人脸全局特征，并未考虑人脸基于三庭五眼的局部特征以及人脸全局特征与局部特征间的关联，识别与变脸效果不佳。
技术实现思路
1、(一)技术方案
2、为实现上述考虑人脸基于三庭五眼的局部特征以及人脸全局特征与局部特征间的关联，提高识别与变脸效果，本专利技术提供如下技术方案：一种图片角色表情特征提取及表情识别、变脸的方法，包括以下步骤：
3、s1、对相机进行立体标定获得左右相机之间的相对位置关系矩阵，在图片的的四个角点处分别设置边界特征点，根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸表情特征图，并通过无线传输设备发送至远程控制平台；
4、s2、通过光流特征提取模块，将图片表情等分为若干片段，在每个片
5、s3、对矫正后的图片目标表情进行目标区域背景移除，提取包含面部三庭五眼的目标区域二值图像，采用resnet18网络模型从每一片段的光流融合特征中提取深度特征，并将属于一个微表情图片的所有深度特征采用自注意力权重融合成一个图片级别深度特征；
6、s4、对二值图像进行形态学滤波后对经形态学滤波后的二值图像中组头区域和组成员区域进行判别性特征，提取利用源域特征数据集的表情标签及人脸表情特征图像对特征提取器及分类器进行预训练；
7、s5、将训练好的resnet18网络模型部署在远程控制平台，采集图片目标表情进行识别学习；
8、s6、利用加权深度特征提取模块，用于将图片级别深度特征与每个片段的深度特征再次拼接作为对应片段的新的深度特征，并将属于一个图像的所有新的深度特征采用相关注意力权重融合成一个考虑到片段与图像比例之间关系的加权视频级别深度特征；
9、s7、通过重定向单元用以将源域特征数据集内部存储的不同类别的图片表情移植到目标图片表情。
10、优选的，所述步骤s1中，通过视差法提取图片的边缘信息，配合霍夫变换提取图片的的四个边界特征点，利用霍夫变换计算得到图片人脸图像中边界特征点区域轮廓坐标，即边界特征点。
11、优选的，所述步骤s1中，人脸表情特征图y各特征点位通过以下数学表达式进行表示：
12、y＝(v,a)，其中
13、v{vsh,vsle,vsre,vsno,vslm,vsrm,vth,vtle,vtre,vtno,vtlm,vtrm}，vsh表示源域的全局特征，vsle表示源域的左眼区域的局部特征，vsre表示源域的右眼区域的局部特征，vsno表示源域的鼻子区域的局部特征，vslm表示源域的左嘴角区域的局部特征，vsrm表示源域的右嘴角区域的局部特征，vth,vtle,vtre,vtno,vtlm,vtrm分别表示对应源域的目标域特征，a为人脸表情特征图的邻接矩阵。
14、优选的，所述步骤s2中，光流特征提取模块提取操作为：
15、将进入拍摄范围的图片图像整体过程等分成k个片段，得到{s1，s2，...sk}片段，针对每一个片段与每个特征点随机挑选一帧分别与起始帧、尾帧计算光流图，并将其转化成middleburycolor编码的图片，将提取到的光流图以50％的随机概率随机水平翻转，之后将翻转后的光流图进行随机大小剪裁，将得到的图片做平均融合，作为对应片段的光流融合特征，其中第k个片段的光流融合特征表示为：
16、xk∈rn*c*h*w,k＝1,...,k，其中n表示图片样本个数，c代表通道个数，h和w分别表示特征点距离的长和宽。
17、优选的，所述步骤s3中，建立resnet18网络模型过程，将每一片段的光流融合特征送入resnet18网络，得到对应的深度特征，其中，第k个片段的深度特征表示为mk，k＝1，...，k，k表示表情各特征点划分的片段数量，采用下式计算每一个片段的自注意力权重：
18、lk∈rn*1
19、lk＝σ(mkat),k＝1，...，k
20、式中，lk∈rn*1表示第k个片段的自注意力权重，σ表示激活函数sigmoid，a表示与矩阵lk和mk关联的待训练参数。
21、优选的，所述步骤s4中，将提取的数码管字符的二值化图像在竖直方向投影，投影公式为：
22、sx＝∑pitchxp(y，x)
23、其中,sx为第x列的图像像素值为255的像素点的和，y、x分别为图像像素点的行列坐标，pitch是图像的列宽，p(y，x)取值0或者1，当坐标(y，x)点的像素点的灰度值为255时，p(y，x)取值为1，否则为0，以图像的行号作为横轴，以对应每行的灰度值为255的像素点数目作为纵轴生成投影直方图，扫描投影直方图，提取最大最小的边界坐标点，从而得到图片图像的上下边界，进而达到人脸面部特征分割。
24、优选的，所述步骤s5中，设置损失函数：
25、l(y/f(x))＝1/n∑ni＝1(yi-f(xi))2
26、式中，x代表模型预测的一组数据，y代表真实样本对应的一组数据，对每帧进行拟合计算，把第t帧的拟合权重作为第t+1帧的初始权重进行拟合，设置学习率，使用梯度下降和adam优化器进行迭代优化。
27、优选的，所述步骤s6中，根据相关注意力权重采用下式将属于一个图片表情的所有新的深度特征融合成一个加权视频级别深度特征：
28、o＝∑kk＝1(lkоrk)⊙c(lk⊙mkv)/∑kk＝1lkоrk
29、式中，o为一个加权视频级别深度特征，o∈rn*2d，о表示的达玛乘积运算符，n表示图片样本个数，d为深度特征mk的维度。
30、(二)有益效果
31、与现有技术相比，本专利技术提供了一种图片角色表情特征提取及表情识别、变脸的方法，具备以下有益效果：
32、1、该图片角色表情特征提取及表情识别、变脸的方法，通过数字区域定位和字符分割，将字符图像归一化得到标本文档来自技高网...
【技术保护点】
1.一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤S1中，通过视差法提取图片的边缘信息，配合霍夫变换提取图片的的四个边界特征点，利用霍夫变换计算得到图片人脸图像中边界特征点区域轮廓坐标，即边界特征点。
3.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤S1中，人脸表情特征图Y各特征点位通过以下数学表达式进行表示：
4.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤S2中，光流特征提取模块提取操作为：
5.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤S3中，建立ResNet18网络模型过程，将每一片段的光流融合特征送入ResNet18网络，得到对应的深度特征，其中，第k个片段的深度特征表示为Mk，k＝1，...，K，K表示表情各特征点划分的片段数量，采用下式计算每一个片段的自注意力权重：<...
【技术特征摘要】
1.一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤s1中，通过视差法提取图片的边缘信息，配合霍夫变换提取图片的的四个边界特征点，利用霍夫变换计算得到图片人脸图像中边界特征点区域轮廓坐标，即边界特征点。
3.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤s1中，人脸表情特征图y各特征点位通过以下数学表达式进行表示：
4.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤s2中，光流特征提取模块提取操作为：
5.根据权利要求1所述的一种图片角色表情特征提取及表情识别、变脸的方法，其特征在于，所述步骤...
【专利技术属性】
技术研发人员：俞涌，赖春晖，林荣辉，刘晓莹，简君雅，蒋超，
申请(专利权)人：广州漫友文化科技发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。