本发明专利技术涉及基于计算机视觉的室内人员痛苦表情识别方法和系统。其方法包括：获取输入视频中包含人脸的现场图像，提取人脸图像，将人脸图像输入至基于深度可分离的神经网络模型，输出与人脸图像关联的表情识别结果，神经网络模型包括多个深度可分离的剩余卷积层，在神经网络模型训练时，对原始表情数据库进行数据集合并分别重新生成三分类数据库和六分类数据库，分别采用三分类数据库和六分类数据库进行模型训练。本发明专利技术采用轻量化神经网络模型，通过数据集合并和扩充构均衡化的训练数据库，在保证整体识别准确率不变的前提下，提高识别准确率以及表情分类精度，实现实时视频监控及痛苦表情识别。控及痛苦表情识别。控及痛苦表情识别。
【技术实现步骤摘要】
基于计算机视觉的室内人员痛苦表情识别方法及系统
[0001]本专利技术涉及基于计算机视觉的室内人员痛苦表情识别方法及系统，属于图像处理和识别领域。
技术介绍
[0002]随着中国正式步入老龄社会，独居老人的数量逐年上升，日趋凸显的人口老龄化问题给我国养老行业带来巨大的冲击。通常情况下，为了能够远程关注老人的状况，一般会采用视频监控作为一种主要的监护方式。但是考虑到监控设备不具备分析与预警机制，视频监控方式存在滞后性，效果往往不尽人意。心理学家研究发现，日常交流中语言传递的信息量仅占总量的7％，而表情中包含的信息量却占总量的55％。借助表情识别技术，可以获得老人的状态信息并及时做出判断。
[0003]此外考虑到基于机器学习的表情识别方法较为复杂，由于人脸样本具有高度可变性，这导致在数千个样本下训练出的模型有数百万个参数，过于复杂的神经网络架构无法被部署在机器人平台和实时识别系统上。因此训练过程中采用的神经网络应考虑在机器人平台等硬件受限的系统中表现缓慢的问题。
技术实现思路
[0004]本专利技术提供一种基于计算机视觉的室内人员痛苦表情识别方法及系统，旨在至少解决现有技术中存在的技术问题之一。
[0005]本专利技术的技术方案涉及一种基于计算机视觉的室内人员痛苦表情识别方法，根据本专利技术的方法包括以下步骤：
[0006]S10、获取所述计算机视觉输入视频中包含人脸的现场图像，提取人脸图像；
[0007]S20、将所述人脸图像输入至基于深度可分离的神经网络模型；
[0008]S30、通过所述神经网络模型输出与所述人脸图像关联的表情识别结果；
[0009]其中，所述神经网络模型包括多个深度可分离的剩余卷积层；
[0010]在所述神经网络模型训练时，对原始表情数据库进行数据集合并分别重新生成三分类数据库和六分类数据库，分别采用所述三分类数据库和所述六分类数据库对所述神经网络模型进行训练；其中，所述三分类数据库包括消极数据集、中性数据集和积极数据集；所述六分类数据库包括愤怒数据集、厌恶和惊讶数据集、悲伤数据集、恐惧数据集、快乐数据集和中性数据集。
[0011]进一步，对于所述步骤S20，所述神经网络模型包括：
[0012]用于处理输入的人脸图像的两个第一卷积层；
[0013]用于处理所述两个第一卷积层输出特征的四个深度可分离的剩余卷积层；
[0014]用于处理所述四个剩余卷积层输出特征的第二卷积层；
[0015]用于处理所述第二卷积层输出特征的全局平均池化层；
[0016]用于处理所述全局平均池化层输出特征并产生预测结果的softmax激活函数；
[0017]其中，每个所述第一卷积层、每个所述剩余卷积层和所述第二卷积层的卷积后面均设置有一个归一化处理和一个ReLU激活函数。
[0018]进一步，对于所述步骤S20，每个所述深度可分离的剩余卷积层包括：
[0019]用于处理所述两个第一卷积层输出特征的第三卷积层；
[0020]用于处理所述两个第一卷积层输出特征的两个深度可分离卷积层；
[0021]用于处理所述两个深度可分离卷积层输出特征的最大值池化层；
[0022]其中，所述最大池化层的输出特征与所述第三卷积层的输出特征合并输入到第二卷积层；
[0023]所述第四卷积层和每个所述深度可分离卷积层的积后面均设置有一个归一化处理和一个ReLU激活函数。
[0024]进一步，对于所述步骤S20，
[0025]每个所述深度可分离卷积层包括深度卷积层和逐点卷积层；
[0026]其中，每个深度卷积层的每个卷积核设置有一个通道；逐点卷积层将每个深度卷积层的输出特征图进行通道信息融合。
[0027]进一步，所述步骤S20中：所述深度卷积层的卷积核的点积运算如下：
[0028]其中，连续卷积运算如下：
[0029][0030]其中，分散卷积运算如下：
[0031][0032]式中，(f*g)(n)表示f,g的卷积。
[0033]进一步，对所述步骤S20，所述神经网络模型的训练过程包括：
[0034]S211、初始化网络中的权值，获取给定向量对应的实际输出向量；
[0035]S212计算所述给定输入向量的目标输出向量，计算所述目标输出向量与所述实际输出向量的偏量值，判断所述偏量值是否大于预设的偏量阈值；
[0036]S213、若是，则逐层往前回调计算神经网络模型每一层的误差，对神经元的连接权值进行调整，然后重复步骤S212；若否，则训练结束。
[0037]进一步，对于所述步骤S20，所述原始表情数据库包括有Fer2013数据库；所述Fer2013数据库包括有愤怒数据集、厌恶数据集、惊讶数据集、悲伤数据集、恐惧数据集、快乐数据集和中性数据集；
[0038]其中，所述原始表情数据库的数据合并步骤包括：
[0039]S221、将所述愤怒数据集、所述厌恶数据集、所述恐惧数据集、所述悲伤数据集和所述惊讶数据集合并形成消极数据集，并将所述消极数据集的表情样本数据随机删除一半；将所述快乐数据集设置为积极数据集；由处理后的消极数据集和所述中性数据集、所述积极数据集构成三分类数据库；
[0040]S222、将所述原始表情数据库中的所述厌恶数据集和所述惊讶数据集合并形成厌恶和惊讶数据集，由所述愤怒数据集、所述厌恶和惊讶数据集、所述悲伤数据集、所述恐惧
数据集、所述快乐数据集和所述中性数据集构成六分类数据库。
[0041]进一步，对于所述步骤S20，在所述神经网络模型训练时，还引入额外表情数据库以扩充所述原始表情数据库形成额外表情数据库，采用扩充表情数据库对所述卷积神经网络模型进行训练；所述额外表情数据库包括有ExpW数据库；
[0042]其中，所述原始表情数据库的扩充步骤包括：
[0043]S231、对所述额外表情数据库进行人脸提取和图像处理以获得人脸图像；
[0044]S232、读取所述额外表情数据库中厌恶数据集内的厌恶人脸图像，调整所述厌恶人脸图像的格式；将处理后的厌恶人脸图像输入到所述原始表情数据库；
[0045]S233、对扩充后的原始表情数据库重新打乱形成所述扩充表情数据库。
[0046]本专利技术的技术方案还涉及计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。
[0047]本专利技术的技术方案还涉及基于计算机视觉的室内人员痛苦表情识别系统，所述系统包括计算机装置，该计算机装置包含上述计算机可读存储介质。
[0048]本专利技术的有益效果如下：
[0049]本专利技术针对老人这一特殊群体，通过实时的视频监控以识别老人痛苦表情，并及时发出预警给监护人并做出进一步的处理，可以及时有效地发现老人独处、独居时的突发病，有利于杜绝隐患。
[0050]本专利技术针对老年人护理机器人的视频监控系统，采用轻量化神经网络模型，构建本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于计算机视觉的室内人员痛苦表情识别方法，其特征在于，所述方法包括以下步骤：S10、获取所述计算机视觉输入视频中包含人脸的现场图像，提取人脸图像；S20、将所述人脸图像输入至基于深度可分离的神经网络模型；S30、通过所述神经网络模型输出与所述人脸图像关联的表情识别结果；其中，所述神经网络模型包括多个深度可分离的剩余卷积层；在所述神经网络模型训练时，对原始表情数据库进行数据集合并分别重新生成三分类数据库和六分类数据库，分别采用所述三分类数据库和所述六分类数据库对所述神经网络模型进行训练；其中，所述三分类数据库包括消极数据集、中性数据集和积极数据集；所述六分类数据库包括愤怒数据集、厌恶和惊讶数据集、悲伤数据集、恐惧数据集、快乐数据集和中性数据集。2.根据权利要求1所述的方法，其特征在于，对于所述步骤S20，所述神经网络模型包括：用于处理输入的人脸图像的两个第一卷积层；用于处理所述两个第一卷积层输出特征的四个深度可分离的剩余卷积层；用于处理所述四个剩余卷积层输出特征的第二卷积层；用于处理所述第二卷积层输出特征的全局平均池化层；用于处理所述全局平均池化层输出特征并产生预测结果的softmax激活函数；其中，每个所述第一卷积层、每个所述剩余卷积层和所述第二卷积层的卷积后面均设置有一个归一化处理和一个ReLU激活函数。3.根据权利要求2所述的方法，其特征在于，对于所述步骤S20，每个所述深度可分离的剩余卷积层包括：用于处理所述两个第一卷积层输出特征的第三卷积层；用于处理所述两个第一卷积层输出特征的两个深度可分离卷积层；用于处理所述两个深度可分离卷积层输出特征的最大值池化层；其中，所述最大池化层的输出特征与所述第三卷积层的输出特征合并输入到第二卷积层；所述第四卷积层和每个所述深度可分离卷积层的积后面均设置有一个归一化处理和一个ReLU激活函数。4.根据权利要求3所述的方法，其特征在于，对于所述步骤S20，每个所述深度可分离卷积层包括深度卷积层和逐点卷积层；其中，每个深度卷积层的每个卷积核设置有一个通道；逐点卷积层将每个深度卷积层的输出特征图进行通道信息融合。5.根据权利要求4所述的方法，其特征在于，所述步骤S20中：所述深度卷积层的卷积核的点积运算如下：其中，连续卷积运算如下：其中，分散卷积运算如下：
式中，(f*g)(n)表示f,g的...
【专利技术属性】
技术研发人员：孙慧杰，杜畅洋，刘万泉，吴雨瑶，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。