一种表情识别方法和装置制造方法及图纸

本发明专利技术实施例提供了一种表情识别方法和装置，应用于第一视联网终端，所述方法包括：接收第二视联网终端发送的针对目标用户的人脸图像序列；所述第二视联网终端为与所述第一视联网终端进行可视电话业务的终端；采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值；基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类；基于所述目标表情种类，生成相应的提示信息，并将所述提示信息发送至所述第二视联网终端，使得视联网可以应用于更多需要进行表情识别的领域，拓展了业务范围，例如，在远程教育领域，可以使得教师适时获取学生的听课状态，以使得老师准确把控教学进度。

An expression recognition method and device

【技术实现步骤摘要】
一种表情识别方法和装置
本专利技术涉及视联网
，特别是涉及一种表情识别方法和装置。
技术介绍
随着视联网
的不断发展，视联网在远程教育以及远程医疗等方面得到广泛应用。目前，视联网在远程教育及远程医疗等方面缺少对表情识别的应用技术，只有人脸识别签到的功能。示例的，一些远程教育系统可以基于简单的人脸识别，实时的获取学习者的面部表情。但是，简单的人脸识别只能检测出有哪些学生在教师中上课，而无法进一步准确的识别出哪些学生在认真听课以及哪些学生听课，导致无法对教学质量进行把控。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种表情识别方法和装置。为了解决上述问题，本专利技术实施例提供了一种表情识别方法，应用于第一视联网终端，所述方法包括：接收第二视联网终端发送的针对目标用户的人脸图像序列；所述第二视联网终端为与所述第一视联网终端进行可视电话业务的终端；采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值；基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类；基于所述目标表情种类，生成相应的提示信息，并将所述提示信息发送至所述第二视联网终端。可选地，所述采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值，包括：获取每帧所述人脸图像上的3x3像素点的第一区域；将所述第一区域的边缘像素点对应的边缘像素值，和所述第一区域的中心像素点对应的中心像素值进行比较，得到比较结果；在所述边缘像素值大于或者等于所述中心像素值时，将所述边缘像素点的像素值设置为1；在所述边缘像素点对应的像素值小于所述中心像素点对应的像素值时，将所述边缘像素点的像素值设置为0。可选地，所述基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类，包括：将各所述特征数值输入至预置神经网络；获取所述预置神经网络输出的所述目标用户的面部表情；基于所述面部表情确定所述目标用户的目标表情种类。可选地，所述基于所述面部表情确定所述目标用户的目标表情种类，包括：将所述面部表情和预先生成的表情样本库中的各面部表情进行比较，确定比较结果；基于所述比较结果，确定所述目标用户的目标表情种类。可选地，所述接收第二视联网终端发送的针对目标用户的人脸图像序列，包括：接收所述第二视联网终端发送的采集的视频数据；对所述视频数据进行解码，得到针对所述目标用户的人脸图像序列。为了解决上述问题，本专利技术实施例提供了一种表情识别装置，应用于第一视联网终端，所述装置包括：接收模块，用于接收第二视联网终端发送的针对目标用户的人脸图像序列；所述第二视联网终端为与所述第一视联网终端进行可视电话业务的终端；转换模块，用于采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值；确定模块，用于基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类；生成模块，用于基于所述目标表情种类，生成相应的提示信息，并将所述提示信息发送至所述第二视联网终端。可选地，所述转换模块包括：第一获取子模块，用于获取每帧所述人脸图像上的3x3像素点的第一区域；比较子模块，用于将所述第一区域的边缘像素点对应的边缘像素值，和所述第一区域的中心像素点对应的中心像素值进行比较，得到比较结果；第一设置子模块，用于在所述边缘像素值大于或者等于所述中心像素值时，将所述边缘像素点的像素值设置为1；第二设置子模块，用于在所述边缘像素点对应的像素值小于所述中心像素点对应的像素值时，将所述边缘像素点的像素值设置为0。可选地，所述确定模块包括：输入子模块，用于将各所述特征数值输入至预置神经网络；第二获取子模块，用于获取所述预置神经网络输出的所述目标用户的面部表情；确定子模块，用于基于所述面部表情确定所述目标用户的目标表情种类。为了解决上述问题，本专利技术实施例提供了一种电子设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行上述表情识别方法。为了解决上述问题，本专利技术实施例提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行上述表情识别方法。本专利技术实施例包括以下优点：在本专利技术实施例中，第一视联网终端可以接收第二视联网终端发送的针对目标用户的人脸图像序列，采用局部二值模式，将图像序列中每帧人脸图像的局部特征转换为特征数值，局部二值模式对图像序列进行特征转换较为准确，基于各特征数值，确定目标用户的面部表情对应的目标表情种类，基于目标表情种类，生成相应的提示信息，并将提示信息发送至第二视联网终端，使得视联网可以应用于更多需要进行表情识别的领域，拓展了业务范围，例如，在远程教育领域，可以使得教师适时获取学生的听课状态，以使得老师准确把控教学进度。附图说明图1示出了本专利技术实施例一提供的一种表情识别方法的步骤流程图；图2示出了本专利技术实施例提供的一种视联网场景下进行表情识别的示意图；图3示出了本专利技术实施例提供的一种局部二值模式转换图像特征的示意图；图4示出了本专利技术实施例二提供的一种表情识别方法的步骤流程图；图5示出了本专利技术实施例提供的一种表情识别系统的结构示意图；图6示出了本专利技术实施例提供的一种联网场景下进行表情识别的示意图；图7示出了本专利技术实施例三提供的一种表情识别装置的结构框图；图8示出了本专利技术的一种视联网的组网示意图；图9示出了本专利技术的一种节点服务器的硬件结构示意图；图10示出了本专利技术的一种接入交换机的硬件结构示意图；图11示出了本专利技术的一种以太网协转网关的硬件结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。参照图1，示出了本专利技术实施例一提供的一种表情识别方法的步骤流程图，该方法可以应用于第一视联网终端，具体可以包括如下步骤：步骤501，接收第二视联网终端发送的针对目标用户的人脸图像序列。在本专利技术实施例中，第二视联网终端为与第一视联网终端进行可视电话业务的终端。此处的终端即为接入视联网的终端，可以为接入视联网的移动终端，如手机、PAD(PortableAndroidDevice，平板电脑)等移动电子设备。也可以为接入视联网的PC(PersonalComputer，个人计算机)端，如台式电脑、笔记本电脑等电子设备，具体地，可以根据业务需求而定，本专利技术实施例对此不加以限制。在本专利技术实施例中，可以结合图2对本专利技术实施例的技术方案进行详细描述。参照图2，示出了本专利技术实施例提供的一种视联网场景下进本文档来自技高网...

【技术保护点】
1.一种表情识别方法，其特征在于，应用于第一视联网终端，所述方法包括：/n接收第二视联网终端发送的针对目标用户的人脸图像序列；所述第二视联网终端为与所述第一视联网终端进行可视电话业务的终端；/n采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值；/n基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类；/n基于所述目标表情种类，生成相应的提示信息，并将所述提示信息发送至所述第二视联网终端。/n

【技术特征摘要】
1.一种表情识别方法，其特征在于，应用于第一视联网终端，所述方法包括：
接收第二视联网终端发送的针对目标用户的人脸图像序列；所述第二视联网终端为与所述第一视联网终端进行可视电话业务的终端；
采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值；
基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类；
基于所述目标表情种类，生成相应的提示信息，并将所述提示信息发送至所述第二视联网终端。


2.根据权利要求1所述的方法，其特征在于，所述采用局部二值模式，将所述图像序列中每帧人脸图像的局部特征转换为特征数值，包括：
获取每帧所述人脸图像上的3x3像素点的第一区域；
将所述第一区域的边缘像素点对应的边缘像素值，和所述第一区域的中心像素点对应的中心像素值进行比较，得到比较结果；
在所述边缘像素值大于或者等于所述中心像素值时，将所述边缘像素点的像素值设置为1；
在所述边缘像素点对应的像素值小于所述中心像素点对应的像素值时，将所述边缘像素点的像素值设置为0。


3.根据权利要求1所述的方法，其特征在于，所述基于各所述特征数值，确定所述目标用户的面部表情对应的目标表情种类，包括：
将各所述特征数值输入至预置神经网络；
获取所述预置神经网络输出的所述目标用户的面部表情；
基于所述面部表情确定所述目标用户的目标表情种类。


4.根据权利要求3所述的方法，其特征在于，所述基于所述面部表情确定所述目标用户的目标表情种类，包括：
将所述面部表情和预先生成的表情样本库中的各面部表情进行比较，确定比较结果；
基于所述比较结果，确定所述目标用户的目标表情种类。


5.根据权利要求1所述的方法，其特征在于，所述接收第二视联网终端发送的针对目标用户的人脸图像序列，包括：
接收所述第二视联网终端发送的采集的视频数据；
对所述视频数据进行解码，得到...

【专利技术属性】
技术研发人员：胡贵超，谢飞，韩杰，王艳辉，
申请(专利权)人：视联动力信息技术股份有限公司，
类型：发明
国别省市：北京;11