基于面部图像的实时动物情绪识别方法、装置及相关组件制造方法及图纸

本发明专利技术公开了一种基于面部图像的实时动物情绪识别方法、装置及相关组件。该方法包括捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；提取目标面部图像的图像纹理特征；利用预训练好的残差网络模型提取目标面部图像的各关键点特征；基于预设的特征组合规则和关键点特征，对目标面部图像执行区域组合步骤，得到对应的目标图像区域，并提取各目标图像区域的图像梯度直方图特征；对每一目标图像区域中的图像纹理特征、图像梯度直方图特征进行特征融合，得到当前目标图像区域的融合特征；将各融合特征分别输入至预训练好的BP神经网络模型中，输出对应的情绪识别结果。该方法可以有效提高对动物情绪的识别精确度。别精确度。别精确度。

【技术实现步骤摘要】
基于面部图像的实时动物情绪识别方法、装置及相关组件


[0001]本专利技术涉及图像识别领域，尤其涉及一种基于面部图像的实时动物情绪识别方法、装置及相关组件。

技术介绍

[0002]目前动物饲养员和农场工人在调查和监测动物情绪状态时，通常依赖于亲身观察和测量。亲身观察方法下，过程中存在较高的人工评估主观性，同时当动物的机体出现不适时，它们无法直接向人类描述，只有出现比较严重症状、甚至是死亡时才会被人们发现。而测量方法下，多数采用应激激素皮质醇的产生来识别，无法实时监测且轻微及中度不适无法通过该方法精准辨别。
[0003]纵使人脸分析平台早已应用广泛，发展成熟，但在动物识别方面仍未发展显著，现有研究以生物传感技术为主，大部分启动成本高且便携度低，实现定位监测功能的全球定位系统、热红外成像传感器，实现动物状态识别的嗅觉传感器在特征纳入方面单一，而可用于动物情绪研究的肌电图扫描仪则受环境和动物动作影响大。
[0004]也就是说，现有的对动物情绪识别方法存在局限性，无法精确的识别出动物的实时情绪。

技术实现思路

[0005]本专利技术的目的是提供一种基于面部图像的实时动物情绪识别方法、装置及相关组件，旨在解决现有的情绪识别方法存在识别精确度较低的问题。
[0006]为解决上述技术问题，本专利技术的目的是通过以下技术方案实现的：提供一种基于面部图像的实时动物情绪识别方法，其包括：
[0007]捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；
[0008]提取所述目标面部图像的图像纹理特征；
[0009]利用预训练好的残差网络模型提取所述目标面部图像的各关键点特征；
[0010]基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域，并提取各所述目标图像区域的图像梯度直方图特征；
[0011]对每一目标图像区域中的图像纹理特征、图像梯度直方图特征进行特征融合，得到当前目标图像区域的融合特征；
[0012]将各所述融合特征分别输入至预训练好的BP神经网络模型中，输出对应的情绪识别结果。
[0013]另外，本专利技术要解决的技术问题是还在于提供一种基于面部图像的实时动物情绪识别装置，其包括：
[0014]捕捉图像单元，用于捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；
[0015]图像纹理特征提取单元，用于提取所述目标面部图像的图像纹理特征；
[0016]关键点特征提取单元，用于利用预训练好的残差网络模型提取所述目标面部图像的各关键点特征；
[0017]图像区域获取单元，用于基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域，并提取各所述目标图像区域的图像梯度直方图特征；
[0018]融合单元，用于对每一目标图像区域中的图像纹理特征、图像梯度直方图特征进行特征融合，得到当前目标图像区域的融合特征；
[0019]识别单元，用于将各所述融合特征分别输入至预训练好的BP神经网络模型中，输出对应的情绪识别结果。
[0020]另外，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于面部图像的实时动物情绪识别方法。
[0021]另外，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于面部图像的实时动物情绪识别方法。
[0022]本专利技术实施例公开了一种基于面部图像的实时动物情绪识别方法、装置及相关组件，其中，方法包括：捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；提取所述目标面部图像的图像纹理特征；利用预训练好的残差网络模型提取所述目标面部图像的各关键点特征；基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域，并提取各所述目标图像区域的图像梯度直方图特征；对每一目标图像区域中的图像纹理特征、图像梯度直方图特征进行特征融合，得到当前目标图像区域的融合特征；将各所述融合特征分别输入至预训练好的BP神经网络模型中，输出对应的情绪识别结果。该方法可以有效提高对动物情绪的识别精确度。
附图说明
[0023]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本专利技术实施例提供的基于面部图像的实时动物情绪识别方法的流程示意图；
[0025]图2为本专利技术实施例提供的基于面部图像的实时动物情绪识别方法的动物情绪示意图；
[0026]图3为本专利技术实施例提供的基于面部图像的实时动物情绪识别方法中残差网络模型的结构示意图；
[0027]图4为本专利技术实施例提供的基于面部图像的实时动物情绪识别方法中BP网络模型的结构示意图；
[0028]图5为本专利技术实施例提供的基于面部图像的实时动物情绪识别装置的示意性框
图；
[0029]图6为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0031]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0032]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0033]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0034]请参阅图1，图1为本专利技术实施例提供的基于面部图像的实时动物情绪识别方法的流程示意图；
[0035]如图1所示，该方法包括步骤S101～S106。
[0036]S101、捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；
[0037]S102、提取所述目标面部图像的图像纹理特征；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部图像的实时动物情绪识别方法，其特征在于，包括：捕捉动物的面部图像，并将符合预设的面部检测条件的面部图像作为目标面部图像；提取所述目标面部图像的图像纹理特征；利用预训练好的残差网络模型提取所述目标面部图像的各关键点特征；基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域，并提取各所述目标图像区域的图像梯度直方图特征；对每一目标图像区域中的图像纹理特征、图像梯度直方图特征进行特征融合，得到当前目标图像区域的融合特征；将各所述融合特征分别输入至预训练好的BP神经网络模型中，输出对应的情绪识别结果。2.根据权利要求1所述的基于面部图像的实时动物情绪识别方法，其特征在于，所述提取所述目标面部图像的图像纹理特征，包括：利用八方向Gabor滤波提取所述目标面部图像的图像纹理特征；所述提取各所述目标图像区域的图像梯度直方图特征，包括：利用八方向Gabor滤波提取各所述目标图像区域的图像梯度直方图特征。3.根据权利要求1所述的基于面部图像的实时动物情绪识别方法，其特征在于，所述利用预训练好的残差网络模型提取所述目标面部图像的各关键点特征，包括：将所述目标面部图像输入至第一残差卷积层，得到卷积后的低级卷积特征；对所述低级卷积特征依次进行归一化和激活，得到低级特征；将所述低级特征输入至第二残差卷积层，得到卷积后的高级卷积特征；对所述高级卷积特征依次进行归一化和激活，得到高级特征；将所述目标面部图像输入至第三残差卷积层，得到残差卷积特征；将所述高级特征和残差卷积特征进行特征相加并进行激活，得到对应的关键点特征，其中，所述关键点特征包括面部轮廓关键点特征、耳部关键点特征、双眼关键点特征、嘴部关键点特征、鼻部关键点特征、胡须关键点特征。4.根据权利要求3所述的基于面部图像的实时动物情绪识别方法，其特征在于，所述基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域，包括：对所述目标面部图像进行关键点坐标标定，得到所有的关键点坐标；基于所述面部轮廓关键点特征、耳部关键点特征，利用凸包算法计算得到所有的第一目标关键坐标，并将得到的所有的所述第一目标关键点坐标进行依次连线，得到耳部图像区域；基于双眼关键点特征，利用凸包算法计算得到所有的第二目标关键坐标，并将得到的所有的所述第二目标关键点坐标进行依次连线，得到眼部图像区域；基于所述嘴部关键点特征、鼻部关键点特征，利用凸包算法计算得到所有的第三目标关键坐标，并将得到的所有的所述第三目标关键点坐标进行依次连线，得到鼻嘴图像区域；基于所述胡须关键点特征，利用凸包算法计算得到所有的第四目标关键坐标，并将得到的所有的所述第四目标关键点坐标进行依次连线，得到胡须图像区域；基于所述面部轮廓关键点特征，利用凸包算法计算得到所有的第五目标关键坐标，并
将得到的所有的所述第五目标关键点坐标进行依次连线，得到面部图像区域。5.根据权利要求4所述的基于面部图像的实时动物情绪识别方法，其特征在于，所述基于预设的特征组合规则和所述关键点特征，对所述目标面部图像执行区域组合步骤，得到对应的目标图像区域之后，包括：对所述耳部目标图像区域、眼部目标图像区域、鼻嘴目标图像区域、胡须图像区域和面部目标图像区域进行区域对齐和校正。6.根据权利要求5所述的基于面部图像的实时动物情绪识别方法，其特征在于，所述对每一目标图像区域...

【专利技术属性】
技术研发人员：马学磊，周雪妍，陈炜昌，林楠，李玥熠，
申请(专利权)人：四川大学华西医院，
类型：发明
国别省市：