一种在视频聊天的表情显示方法及系统技术方案

本发明专利技术公开了一种在线视频聊天的表情显示方法及系统，首先获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像，分别对各个拍摄装置的表情图像进行处理，先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，根据预设的转换关系，将得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。本发明专利技术基于表情识别做出表情强度的估计，准确获知在线聊天者在聊天时的表情类别和强度水平，反映出用户在视频聊天时的情感状况，有助于增强聊天的互动效果，能更直观的了解聊天对象的实时状态或者是聊天时的趣味性。

An expression display method and system for video chat

The invention discloses an expression display method and a system for online video chat. Firstly, the expression images of chatters'faces captured by the shooting device of the online video chat terminal are obtained, and the expression images of each shooting device are processed respectively. First, the expression images are classified and processed, and then the expression images are processed. The intensity processing sub-model corresponding to the classified expression is processed, and the intensity of the classified expression is obtained. According to the preset transformation relationship, the intensity of the classified expression and the corresponding expression is converted to the expression picture/animation display. The invention estimates the expression intensity based on expression recognition, accurately knows the expression category and intensity level of online chatters in chatting, reflects the emotional state of users in video chatting, helps to enhance the interactive effect of chatting, and can more intuitively understand the real-time state of chatting objects or the interesting of chatting.

【技术实现步骤摘要】
一种在视频聊天的表情显示方法及系统
本专利技术涉及领域视频聊天领域，更具体地说，涉及一种在线视频聊天的表情显示方法及系统。
技术介绍
随着网络科技的发展，视频通讯越来越普及，越来越多的领域采用视频通讯方法，包括网络聊天、视频会议、远程教学等方面。视频通讯拉近了人与人之间的距离，若是在视频交流过程当中可以了解更多对方的情感、心理活动将会大大降低交流误会、促进人与人之间的交流。人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的二系列相关技术，通常也叫做人像识别、面部识别。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会"泄露"出其它的信息。然而在目前的在线视频聊天中，只是提供了实时传输视频图像的功能，不具备判断聊天用户的情感状态和表情强度的功能。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述目前的在线视频聊天中，只是提供了实时传输视频图像的功能，不具备判断聊天用户的情感状态和表情强度的功能的缺陷，提供一种在线视频聊天的表情显示方法及系统。本专利技术解决其技术问题，所采用的在线视频聊天的表情显示方法，包含如下步骤：S1、获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像；S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来包括：将表情图片/动画在聊天视频显示装置上进行本地显示；或者，将表情图片/动画发送至聊天对象的聊天视频显示装置上进行显示。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，还包括分别训练各个强度处理子模型的步骤，任意一个强度处理子模型的训练步骤包括：A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；A2、对所述表情数据库中的图像数据进行预处理，提取出人面部分的数据；A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练，得到特征与面部表情强度的关系；A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；其中，全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练；半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练；无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述步骤A2中预处理包括：人脸特征点定位、人脸识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中人脸识别框架获取图像数据中人面部分，并且剪切面部区域为M*N像素，最后对剪切后的所有图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述步骤A3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述步骤A3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述步骤A3中采用局部二值模式提取图像特征时，具体是指将步骤A2中提取出的人面部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为人面部分的图像数据的横向、纵向的像素大小。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述步骤A3中采用Gabor小波变换进行特征提取具体是指，将剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。进一步地，在本专利技术的所采用的在线视频聊天的表情显示方法中，所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。根据本专利技术的另一方面，本专利技术为解决其技术问题，还提供了一种在线视频聊天的表情显示系统，采用如上述任意一项的在线视频聊天的表情显示方法进行在线视频聊天的表情显示。实施本专利技术的在线视频聊天的表情显示方法及系统，首先获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像，分别对各个拍摄装置的表情图像进行处理，先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，根据预设的转换关系，将得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。本专利技术基于表情识别做出表情强度的估计，准确获知在线聊天者在聊天时的表情类别和强度水平，反映出用户在视频聊天时的情感状况，有助于增强聊天的互动效果，能更直观的了解聊天对象的实时状态或者是聊天时的趣味性。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术的在线视频聊天的表情显示方法的一实施例的流程图；图2是本专利技术的在线视频聊天的表情显示方法中的强度处理子模型的训练流程图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。参考图1，其为本专利技术的在线视频聊天的表情显示方法的一实施例的流程图，在本实施例中该表情显示方法包含如下步骤：S1、获取在线视频聊天端本文档来自技高网...

【技术保护点】
1.一种在线视频聊天的表情显示方法，其特征在于，包含如下步骤：S1、获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像；S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。

【技术特征摘要】
1.一种在线视频聊天的表情显示方法，其特征在于，包含如下步骤：S1、获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像；S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。2.根据权利要求1所述的表情显示方法，其特征在于，所述将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来包括：将表情图片/动画在聊天视频显示装置上进行本地显示；或者，将表情图片/动画发送至聊天对象的聊天视频显示装置上进行显示。3.根据权利要求1所述的表情显示方法，其特征在于，还包括分别训练各个强度处理子模型的步骤，任意一个强度处理子模型的训练步骤包括：A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；A2、对所述表情数据库中的图像数据进行预处理，提取出人面部分的数据；A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练，得到特征与面部表情强度的关系；A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；其中，全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练；半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练；无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。4.根据权利要求3所述的表情显示方法，其特征在于，所述步骤A2中预处理包括：人脸特征点定...

【专利技术属性】
技术研发人员：杨林权，谷俊允，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42