基于深度学习的大熊猫行为识别方法、系统、终端及介质技术方案

本发明专利技术公开了一种基于深度学习的大熊猫行为识别方法，包括：获取大熊猫的日常活动图像；将所述大熊猫的日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及熊猫身体；提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像；对大熊猫面部区域图像和大熊猫身体区域图像进行归一化；使用神经网络将归一化后的图像进行特征分析，学习不同行为；输出大熊猫面部动作和身体行为的分类结果。该方法基于大熊猫日常活动图像，可以准确判断大熊猫休息、坐、行、攀爬和进食的行为以及判断大熊猫眼睛和嘴部睁开或闭上状态，具有远距离、非入侵、智能、低成本地观察跟踪大熊猫行为等优点。

【技术实现步骤摘要】
基于深度学习的大熊猫行为识别方法、系统、终端及介质
本专利技术涉及计算机软件
，具体涉及一种基于深度学习的大熊猫行为识别方法、系统、终端及介质。
技术介绍
大熊猫（熊猫）作为标志性濒危物种，在过去几十年中受到极大关注。相应地，熊猫保护工作也开展得如火如荼。为了保护野生大熊猫，扩大了大熊猫栖息地的占地面积，搭建了将分散的大熊猫栖息地连接起来的绿色走廊带，开展防盗猎和非法砍伐的巡逻工作，同时增强当地的自然保护区管理能力。上述属于相对被动的措施。另一方面我们也采取了主动措施，将人工培育的大熊猫放归野外，以增加野生大熊猫的数量。圈养大熊猫对熊猫保护工作起着非常重要的作用。目前全世界共有600只圈养大熊猫。了解大熊猫的行为，对它们的身体健康和成功繁殖至关重要。熊猫虽然属于食肉动物，但实际上几乎只吃竹子。它们需要花费大量时间来进食，平均每天的进食时间超过12个小时。除进食外，熊猫全天大部分时间都处于休息状态；因此它们每日的能量消耗异常低。但是，有些大熊猫比其他同类更为活跃。它们行走和攀爬的频率要高于其他熊猫。同人类一样，对大熊猫而言休息、运动和饮食也是保持健康的重要因素。因此，准确记录大熊猫的行为，将有助于它们的健康状况管理，以及检测由于其健康状况发生变化而引发的异常行为。除了健康状况外，大熊猫的行为作为其个性反映，也是与其成功繁殖和识别理想交配对象息息相关的一个重要因素。雄性比其雌性伴侣更具攻击性的组合的交配及繁殖成功率高于雌性比雄性伴侣更具攻击性的组合。在他们的研究中，使用了从熊猫饲养者的反馈信息中采集的主观评分来对熊猫的个性进行分类。圈养熊猫的行为除了与健康和繁殖相关，还可能会影响它们放归野外环境后的生存情况。一些科学家对熊猫行为的季节性变化感兴趣。尽管熊猫的行为对其保护工作至关重要，但目前尚无对它们的行为进行长时间有效监测的方法。目前，生态学家对熊猫行为的研究，仍然以观察和饲养员给出的主观反馈为基础进行分析。饲养员与大熊猫的互动较多，但他们无法保证一天24小时对其进行观察并准确记录，熊猫行为是其健康状况和其他保护行动的重要指标之一，因此有必要提出对熊猫的行为进行自动识别的方法。
技术实现思路
针对现有技术中的缺陷，本专利技术实施例提供一种基于深度学习的大熊猫行为识别方法、系统、终端及介质，能根据大熊猫的日常活动图像自动识别出大熊猫的行为，行为识别结果准确度高。第一方面，本专利技术实施例提供的一种基于深度学习的大熊猫行为识别方法，包括：获取大熊猫的日常活动图像；将所述大熊猫的日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及熊猫身体；提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像；对大熊猫面部区域图像和大熊猫身体区域图像进行归一化，得到归一化后的图像；使用神经网络将归一化后的图像输入行为分类网络中进行特征分析，学习不同行为并分类；输出大熊猫面部动作和身体行为的分类结果。第二方面，本专利技术实施例提供的一种基于深度学习的大熊猫行为识别系统，图像获取模块、目标检测模块、图像提取模块、归一化处理模块、行为分类模块和结果输出模块，其中，所述图像获取模块用于获取大熊猫的日常活动图像；所述目标检测模块用于将大熊猫的日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及熊猫身体；所述图像提取模块用于提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像；所述归一化处理模块用于对大熊猫面部区域图像和大熊猫身体区域图像进行归一化，得到归一化后的图像；行为分类模块用于使用神经网络将归一化后的图像进行特征分析，学习不同行为并分类；所述结果输出模块用于输出大熊猫面部动作和身体行为的分类结果。第三方面，本专利技术实施例还提供一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，其特征在于，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。本专利技术的有益效果：本专利技术实施例提供的一种基于深度学习的大熊猫行为识别方法，通过对大熊猫日常活动图像进行识别，具有远距离、非入侵、智能、低成本地观察跟踪大熊猫行为等优点。可以准确判断大熊猫休息、坐、行、攀爬和进食的行为，也可以准确判断大熊猫眼睛和嘴部睁开或闭上状态，在休息、坐、行、攀爬和进食五个行为方面的平均准确度为90％，在两种细微面部动作（即眼睛和嘴部睁开或闭上）方面的平均准确达到了84％。该方法还可以用于检测大熊猫的行为。本专利技术实施例提供的一种基于深度学习的大熊猫行为识别系统，通过对大熊猫日常活动图像进行识别，具有远距离、非入侵、智能、低成本地观察跟踪大熊猫行为等优点。可以准确判断大熊猫休息、坐、行、攀爬和进食的行为，也可以准确判断大熊猫眼睛和嘴部睁开或闭上状态，在休息、坐、行、攀爬和进食五个行为方面的平均准确度为90％，在两种细微面部动作（即眼睛和嘴部睁开或闭上）方面的平均准确达到了84％，还可以用于检测大熊猫的行为。本专利技术实施例提供一种智能终端和介质，与上述一种基于深度学习的大熊猫行为识别方法出于相同的专利技术构思，具有相同的有益效果。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1示出了本专利技术第一实施例所提供的一种基于深度学习的大熊猫行为识别方法的流程图；图2示出了本专利技术第一实施例提供的一种基于深度学习的大熊猫行为识别方法示意图；图3示出了本专利技术第一实施例提供的基于深度学习的大熊猫行为识别方法中的神经网络层；图4示出了本专利技术第一实施例提供的基于深度学习的大熊猫行为识别方法对大熊猫的五种主要行为进行分类的网络；图5示出了本专利技术第一实施例提供的基于深度学习的大熊猫行为识别方法对大熊猫的细微面部动作进行分类的网络；图6示出了本专利技术第二实施例所提供的一种基于深度学习的大熊猫行为识别系统的结构框图；图7示出了本专利技术第三实施例所提供的一种智能终端的结构框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和本文档来自技高网...

【技术保护点】
1.一种基于深度学习的大熊猫行为识别方法，其特征在于，包括：/n获取大熊猫的日常活动图像；/n将所述大熊猫的日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及熊猫身体；/n提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像；/n对大熊猫面部区域图像和大熊猫身体区域图像进行归一化，得到归一化后的图像；/n使用神经网络将归一化后的图像进行特征分析，学习不同行为并分类；/n输出大熊猫面部动作和身体行为的分类结果。/n

【技术特征摘要】
1.一种基于深度学习的大熊猫行为识别方法，其特征在于，包括：
获取大熊猫的日常活动图像；
将所述大熊猫的日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及熊猫身体；
提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像；
对大熊猫面部区域图像和大熊猫身体区域图像进行归一化，得到归一化后的图像；
使用神经网络将归一化后的图像进行特征分析，学习不同行为并分类；
输出大熊猫面部动作和身体行为的分类结果。


2.如权利要求1所述的方法，其特征在于，所述将日常活动图像输入到目标检测网络中进行目标检测，得到以输出边界框划出的大熊猫面部及大熊猫身体的具体方法包括：
计算大熊猫日常活动图像的卷积特征图；
从卷积特征图中利用特征提取网络模型提取出与候选的感兴趣区域相对应的特征，并将相对应的特征依次输入感兴趣区域的池化层和全连接层，计算感兴趣区域的特征向量；
使用所述特征向量对感兴趣区域中的对象分类，并通过各自的子网对边界框坐标进行回归。


3.如权利要求1所述的方法，其特征在于，所述神经网络采用在ImageNet数据集上预训练的ResNet-50模型，保留了残差网络模型的4个卷积层，在网残差网络模型的卷积层后增加了二个卷积块和一个全连接层，所述卷积块由一个核大小为3的卷积层、批量归一化层和激活函数组成。


4.如权利要求3所述的方法，其特征在于，所述方法还包括对神经网络进行训练，对神经网络训练时包括对训练图像的处理，具体包括：
对提取出检测到的大熊猫面部区域图像和大熊猫身体区域图像进行剪裁，保持宽高比不变的情况下，将图像的长边调整为224像素，对图像的其余像素采用零填充；
根据大熊猫身体行为属性创建五个肯定标注列表和五个否定标注列表，并针对大熊猫面部动作属性创建两个肯定标注列表和两个否定标注列表；
从每个属性的肯定标注列表和否定标注列表中随机抽取图像进行训练。


5.一种基于深度学习的大熊猫行为识别系统，其特征在于，图像获取模块、目标检测模块、图像提取模块、归一化处理模块、行为分类模块和结果输出模块，其中，
所述图像获取模块用于获取大熊猫的日常活动图像；
所述目标检测模块用于将大熊猫的日常活动图像输入到目标检测网络中进行目标...

【专利技术属性】
技术研发人员：侯蓉，陈鹏，江伟建，张志和，潘贾尔·史瓦卢普，吴永胜，
申请(专利权)人：成都大熊猫繁育研究基地，
类型：发明
国别省市：四川;51