一种智能监控的表情识别方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种智能监控的表情识别方法、装置、设备和存储介质，涉及智能监控技术领域。其中，这种表情识别方法包括S3B0、获取图像序列。其中，图像序列包含有目标人物。S3B1、通过人脸检测模型，获得图像序列中的人脸区域。S3B2、通过表情识别模型，获得人脸区域中的表情信息。S3B3、根据图像序列的时间顺序和表情信息，生成初始表情序列。S3B4、根据初始表情序列，通过预测模型进行校正，以获得面部表情序列。本实施例通过人脸检测模块提取人脸图像，然后再进行表情识别，大大提高了识别效率，并缺在识别之后，通过预测模型对识别结果进行校正，大大提高了识别的正确率。大大提高了识别的正确率。大大提高了识别的正确率。

【技术实现步骤摘要】
一种智能监控的表情识别方法、装置、设备和存储介质


[0001]本专利技术涉及智能监控
，具体而言，涉及一种智能监控的表情识别方法、装置、设备和存储介质。

技术介绍

[0002]为了能够及时的发现老人或者小孩子发生意外，往往会在老人和小孩活动的地方安装摄像头进行实时拍摄。同时，为了能够更加及时的知道老人或者小孩是否发生意外，会通过本地服务器、云服务器等设备对摄像头拍到的画面进行实时的分析，在判断到目标人物发生意外的时候生成警报通知相关人员。
[0003]特别地，在先技术中，能够分析目标人物的表情来判断目标是否出现痛苦、生气等意外表情，来判断目标人物是否出现意外。但是在先技术中，表情识别准确率不高，容易造成误警报，引起相关人员不必要的麻烦。

技术实现思路

[0004]本专利技术提供了一种智能监控的表情识别方法、装置、设备和存储介质，以改善相关技术中的表情识别不准确的问题。
[0005]第一方面，本专利技术实施例提供了一种智能监控的表情识别方法，其包含如下步骤：
[0006]S3B0、获取图像序列；其中，所述图像序列包含有目标人物；
[0007]S3B1、通过人脸检测模型，获得所述图像序列中的人脸区域；
[0008]S3B2、通过表情识别模型，获得所述人脸区域中的表情信息；
[0009]S3B3、根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；
[0010]S3B4、根据所述初始表情序列，通过预测模型进行校正，以获得面部表情序列。r/>[0011]可选地，所述人脸检测模型为YOLOv3人脸识别模型；所述表情识别模型为VGG16表情分类模型；
[0012]可选地，所述表情信息包括x类；其中，所述x类包括neutra l、ser i ous、pan i c、cur i ous、surpr i se、happ i ness、desp i se；
[0013]可选地，所述步骤S3B3具体包括：
[0014]S3B31、所述图像序列中各帧的时间信息，生成时间序列T；
[0015]S3B32根据所述时间序列，对所述表情信息进行排序，以获得所述初始表情序列I。
[0016]可选地，所述预测模型为LSTM模型；所述LSTM模型的输入长度为n，单位长度的特征包括x类；
[0017]可选地，所述步骤S3B4具体包括：
[0018]S3B41、根据所述初始表情序列，分割成长度为n的输入序列；
[0019]S3B42、将所述输入序列输入至所述预测模型，以获得长度为n的输出序列；
[0020]S3B43、根据所述输出序列，获得所述面部表情序列。
[0021]可选地，所述输入长度n为11帧。
[0022]第二方面，本专利技术实施例提供一种智能监控的表情识别装置，其包含：
[0023]序列模块，用于获取图像序列；其中，所述图像序列中包含有人的图像；
[0024]区域模块，用于通过人脸检测模型，获得所述图像序列中的人脸区域；
[0025]表情模块，用于通过表情识别模型，获得所述人脸区域中的表情信息；
[0026]初始模块，用于根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；
[0027]最终模块，用于根据所述初始表情序列，通过预测模型进行校正，以获得面部表情序列。
[0028]可选地，所述人脸检测模型为YOLOv3人脸识别模型；所述表情识别模型为VGG16表情分类模型；
[0029]可选地，所述表情信息包括x类；其中，所述x类包括neutra l、ser i ous、pan i c、cur i ous、surpr i se、happ i ness、desp i se；
[0030]可选地，初始模块，具体包括：
[0031]时间单元，用于根据所述图像序列中各帧的时间信息，生成时间序列T；
[0032]初始单元，用于根据所述时间序列，对所述表情信息进行排序，以获得所述初始表情序列I。
[0033]可选地，所述预测模型为LSTM模型；所述LSTM模型的输入长度为n，单位长度的特征包括x类；
[0034]可选地，最终模块，具体包括：
[0035]输入单元，用于根据所述初始表情序列，分割成长度为n的输入序列；
[0036]输出单元，用于将所述输入序列输入至所述预测模型，以获得长度为n的输出序列；
[0037]最终单元，用于根据所述输出序列，获得所述面部表情序列。
[0038]可选地，所述输入长度n为11帧。
[0039]第三方面，、本专利技术实施例提供一种智能监控的表情识别设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如第一方面所说的智能监控的表情识别方法。
[0040]第四方面、本专利技术实施例提供所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面所说的智能监控的表情识别方法。
[0041]通过采用上述技术方案，本专利技术可以取得以下技术效果：
[0042]本实施例通过人脸检测模块提取人脸图像，然后再进行表情识别，大大提高了识别效率，并缺在识别之后，通过预测模型对识别结果进行校正，大大提高了识别的正确率。具有很好的实际意义。
[0043]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0044]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0045]图1是本专利技术第一实施例提供的安全监控方法的流程示意图。
[0046]图2是目标区域的摄像头布局示意图。
[0047]图3是LSTM模型的结构框图。
[0048]图4是SSD模型的结构框图。
[0049]图5是本专利技术第一实施例提供的安全监控方法的流程框图。
[0050]图6是人体骨骼模型的示意图。
[0051]图7是本专利技术第二实施例提供的安全监控装置的结构示意图。
[0052]图8是本专利技术第五实施例提供的安全监控方法的流程示意图。
[0053]图9是本专利技术第六实施例提供的安全监控装置的结构示意图。
[0054]图10是本专利技术第九实施例提供的安全监控方法的流程示意图。
[0055]图11是本专利技术第十实施例提供的安全监控装置的结构示意图。
[0056]图中标记：0
‑
序列模块、1
‑
视频模块、2
‑
图像模块、3
‑
系数模块、4
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能监控的表情识别方法，其特征在于，包含：获取图像序列；其中，所述图像序列包含有目标人物；通过人脸检测模型，获得所述图像序列中的人脸区域；通过表情识别模型，获得所述人脸区域中的表情信息；根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列；根据所述初始表情序列，通过预测模型进行校正，以获得面部表情序列。2.根据权利要求1所述的表情识别方法，其特征在于，所述人脸检测模型为YOLOv3人脸识别模型；所述表情识别模型为VGG16表情分类模型；所述表情信息包括x类；其中，所述x类包括neutral、serious、panic、curious、surprise、happiness、despise；根据所述图像序列的时间顺序和所述表情信息，生成初始表情序列，具体为：根据所述图像序列中各帧的时间信息，生成时间序列T；根据所述时间序列，对所述表情信息进行排序，以获得所述初始表情序列I。3.根据权利要求1所述的表情识别方法，其特征在于，所述预测模型为LSTM模型；所述LSTM模型的输入长度为n，单位长度的特征包括x类；根据所述初始表情序列，通过预测模型进行校正，以获得所述人物的面部表情序列，具体为：根据所述初始表情序列，分割成长度为n的输入序列；将所述输入序列输入至所述预测模型，以获得长度为n的输出序列；根据所述输出序列，获得所述面部表情序列。4.根据权利要求3所述的表情识别方法，其特征在于，所述输入长度n为11帧。5.一种智能监控的表情识别装置，其特征在于，包含：序列模块，用于获取图像序列；其中，所述图像序列中包含有人的图像；区域模块，用于通过人脸检测模型，获得所述图像序列中的人脸区域；表情模块，用于通过表情识别模型，获得所述人脸区域中的表...

【专利技术属性】
技术研发人员：崔子栋，吴毳，李津轩，姜峰，
申请(专利权)人：华侨大学，
类型：发明
国别省市：