基于知识图谱的监控视频犬类姿态和行为智能识别方法技术

本发明专利技术公开了一种通过引入犬类行为知识图谱来设计训练的深度神经网络以识别监控视频中犬的姿态和行为的基于知识图谱的监控视频犬类姿态和行为智能识别方法。该基于知识图谱的监控视频犬类姿态和行为智能识别方法，包括步骤：S1、知识图谱的构建；S2、训练姿态和行为分类器；S3、监控视频犬类姿态行为智能识别；S4、对监控视频进行数据处理；S5、犬姿态的检测、分割和识别；S6、犬的类型区域的建立；S7、构建犬的行为识别网络；S8、引入知识图谱识别行为。采用该基于知识图谱的犬监控视频犬类姿态智能识别方法通用性更强，可以减少训练者的劳动量，并且通过智能方法检测犬的行为可以使训练效果更好，犬的姿态，行为更标准。

【技术实现步骤摘要】
基于知识图谱的监控视频犬类姿态和行为智能识别方法
本专利技术涉及监控视频中动物姿态和行为识别领域，尤其是基于知识图谱的监控视频犬类姿态和行为智能识别方法。
技术介绍
公知的：犬是我们生活中常见的动物，大多数犬作为宠物陪伴在我们身边，少部分犬也可以被训练成为人类的得力助手，例如根据犬种类的不同，经特定训练，它们可以成为警犬，军犬，导盲犬，搜救犬，缉毒犬，救生犬等。近些年来恶犬袭击人类的事件层出不穷，人们无法分辨出恶犬，以及恶犬何时对人类袭击进行判断。因此急需一种能够便于快速准确的识别犬类姿态和行为的方法，从而便于对犬的各种姿态和行为进行判断，避免出现犬伤人事件，同时便于实现预警以及对犬类的训导。
技术实现思路
本专利技术所要解决的技术问题是提供一种通过引入犬类行为知识图谱来设计训练的深度神经网络以识别监控视频中犬的姿态和行为的基于知识图谱的监控视频犬类姿态和行为智能识别方法。本专利技术解决其技术问题所采用的技术方案是：基于知识图谱的监控视频犬类姿态和行为智能识别方法，包括以下步骤：S1.知识图谱的构建；利用犬的姿态信息、犬的基本行为信息、犬的局部器官行为信息、犬身体部位信息以及环境信息构建犬类姿态行为知识图谱；S2.训练姿态和行为分类器；所述训练姿态分类器采用神经网络训练出一个或多个分类器，此类分类器只对图片中的虑犬的姿态进行识别；所述训练行为神经网络分类器则通过对犬类姿态在时间上的变化情况，识别犬类基本行为；所述训练姿态神经网络分类器采用深度神经网络构建，包括以下步骤：首先导入训练集和测试集，定义一个适用于3通道图像的卷积神经网络，设置学习率、初始权重、迭代次数、图片分辨率等参数，使用分类交叉熵损失和带有动量的随机梯度下降算法定义损失函数和优化器，通过反向传播对权重和偏差进行更新；把所有带标签的图像数据分成训练集和测试集：训练集用于对网络进行训练，测试集用于对网络进行测试，评估神经网络模型指标；使用训练好的网络模型来预测该图像属于犬的各类姿态的概率分布，最终得到犬的姿态；所述训练行为神经网络分类器的构建包括以下步骤：首先，构建两个网络，分别为卷积神经网络以及循环神经网络；所述卷积神经网络用于对空间二维图像上的局部感知；所述循环神经网络用于时间上连续动作的时序建模,反映出犬的行为在时间上传递的关系；然后，将两个网络输出的得分矩阵进行融合,结合级联时序分类优化方法,端对端地输出犬的行为预测结果；S3.监控视频犬类姿态行为智能识别；对监测到的含有犬行为的视频进行处理，对含有犬各种行为姿态的连续帧的视频进行抓帧，时间信号为每一帧，空间信号为每帧视频上的图像信息，对数据进行筛选，保存；S4.对监控视频进行数据处理；将数据进行标注，标注后的数据集分为测试集、验证集和训练集；所述训练集用于对网络的训练优化，验证集选择模型，测试集估算算法选出模型的泛化误差，对模型进行评估；对数据集的制作步骤包括：获取多张相对应的图像，构成图像集；对所需内容进行人工标注，得到标注框，同时生成对应的标注文件，并将所述标注框确定为临时感兴趣区域；将数据集按8：1：1的比例分为训练集、验证集和测试集；所述数据集包含图片和标签；S5.犬姿态的检测、分割和识别；在步骤S1构建的知识图谱的指导下建立各层躯体结构检测识别神经网络；对监控视频的每帧图像中的犬只进行检测、识别和分割，并对犬类图像进行细分，得到犬只的身体结构信息；再提取犬的姿态的时域特征；S6.犬的类型区域的建立；通过步骤S5中的深度神经网络检测出的框里含有多个对象，只对犬的轮廓进行分割，分割出的犬的轮廓里的区域为犬的类型区域；S7.犬的行为识别网络；构建一个犬的行为识别的网络，以犬完成一个行为所需要的视频帧数为标准，缓存M帧图像并输入S5中构建的犬姿态分类器，将其输出再输入本网络，根据各帧的时序建立起连续动作的时序模板，结合犬行为的空间信息输出犬的行为在时间上的传递关系；S8.引入知识图谱识别行为；将构建好的知识图谱中的逻辑结构引入神经网络中，用循环和卷积神经网络捕获知识图谱中犬的姿态、行为、犬的局部器官行为、犬身体部位以及环境信息，将识别网络捕获结果与知识图谱中的先验知识进行比对，给出犬行为的吻合度；所述知识图谱是对犬的行为知识源进行知识的逐条提取，把知识整理汇聚成知识网络后，构建动物行为的“实体-关系-实体”的三元组模型。具体的，在步骤S1中采用Neo4j+python作为创建知识图谱的工具。具体的，步骤S1中的知识图谱包括犬的姿态、犬的基本行为、犬的局部器官行为、犬身体结构以及常见环境；具体结构如下：所述犬的姿态包括：犬坐、犬躺、犬趴、犬立、犬站；所述犬坐是指臀部接触地面等支撑物，前肢两肢或一肢伸直支撑地面等支撑物，腹部不触地；犬躺是指：背部朝下，背部全部或一侧接触地面等支撑物；犬趴是指：头、胸腹朝下，胸腹接触地面、树杆等支撑物，前肢向前伸展、蜷缩于头、胸下或悬空，后肢向后伸展、蜷缩或悬空；犬立是指：后肢直立承重，两前肢离开地面等支撑物；犬站是指：四肢直立承重，身体其他部位不触地；所述犬的基本行为包括运动行为、休息行为；所述运动行为(StereotypicBehavior)是指：跑(Running)、跳(Jump)、叫(Bark)、舔物(LickClaw)、吮掌(SuckPaw)；所述休息行为(RestingBehavior)是指：犬坐(DogSitting_B)、趴卧(Groveling)、侧卧(LyingAside)、躺卧(LyingUnfoldingLegs)；所述犬的局部器官行为包括张嘴(Openingthemouth)、摇尾(Shakingtail)、闭眼(Closingeyes)、呲牙(Exposedingteeth)、吐舌(TongueFlicking)；所述犬身体结构包括头部(Head)、躯干(Body)、四肢(Limbs)、尾部(Tail)；所述头部(Head)包括：耳朵(Ear)、眼睛(Eye)、鼻子(Nose)嘴(Mouth)、舌头(Tongue)、牙齿(Tooth)；所述躯干(Body)包括：背部(Back)、腹部(Belly)；所述四肢(Limbs)包括：左前肢(LeftFore)、右前肢(RightFore)、左后肢(LeftForelimb)、右后肢(RightForelimb)；所述尾部(Tail)包括：臀部(Buttock)、尾巴(Tail)；所述常见环境包括犬窝(Kennel)、Pool(水池)、草地(Grassland)、空地/水泥地(Space)。进一步的，在步骤S5中采用MaskR-CNN作为检测分割网络构建一个犬只的检测、识别和分割的深度神经网络；包括以下步骤：S5.1.Ma本文档来自技高网...

【技术保护点】
1.基于知识图谱的监控视频犬类姿态和行为智能识别方法，其特征在于，包括以下步骤：/nS1.知识图谱的构建；/n利用犬的姿态信息、犬的基本行为信息、犬的局部器官行为信息、犬身体部位信息以及环境信息构建犬类姿态行为知识图谱；/nS2.训练姿态和行为分类器；/n所述训练姿态分类器采用神经网络训练出一个或多个分类器，此类分类器只对图片中的虑犬的姿态进行识别；所述训练行为神经网络分类器则通过对犬类姿态在时间上的变化情况，识别犬类基本行为；/n所述训练姿态神经网络分类器采用深度神经网络构建，包括以下步骤：/n首先导入训练集和测试集，定义一个适用于3通道图像的卷积神经网络，设置学习率、初始权重、迭代次数、图片分辨率等参数，使用分类交叉熵损失和带有动量的随机梯度下降算法定义损失函数和优化器，通过反向传播对权重和偏差进行更新；/n把所有带标签的图像数据分成训练集和测试集：训练集用于对网络进行训练，测试集用于对网络进行测试，评估神经网络模型指标；/n使用训练好的网络模型来预测该图像属于犬的各类姿态的概率分布，最终得到犬的姿态；/n所述训练行为神经网络分类器的构建包括以下步骤：/n首先，构建两个网络，分别为卷积神经网络以及循环神经网络；/n所述卷积神经网络用于对空间二维图像上的局部感知；所述循环神经网络用于时间上连续动作的时序建模,反映出犬的行为在时间上传递的关系；/n然后，将两个网络输出的得分矩阵进行融合,结合级联时序分类优化方法,端对端地输出犬的行为预测结果；/nS3.监控视频犬类姿态行为智能识别；/n对监测到的含有犬行为的视频进行处理，对含有犬各种行为姿态的连续帧的视频进行抓帧，时间信号为每一帧，空间信号为每帧视频上的图像信息，对数据进行筛选，保存；/nS4.对监控视频进行数据处理；/n对数据集的制作包括以下步骤：/nS4.1.获取多张相对应的图像，构成图像集；/nS4.2.对所需内容进行人工标注，得到标注框，同时生成对应的标注文件，并将所述标注框确定为临时感兴趣区域；/nS4.3.将数据集按8：1：1的比例分为训练集、验证集和测试集；所述数据集包含图片和标签；所述训练集用于对网络的训练优化，验证集选择模型，测试集估算算法选出模型的泛化误差，对模型进行评估；/nS5.犬姿态的检测、分割和识别；/n在步骤S1构建的知识图谱的指导下建立各层躯体结构检测识别神经网络；对监控视频的每帧图像中的犬只进行检测、识别和分割，并对犬类图像进行细分，得到犬只的身体结构信息；再提取犬的姿态的时域特征；/nS6.犬的类型区域的建立；/n通过步骤S5中的深度神经网络检测出的框里含有多个对象，只对犬的轮廓进行分割，分割出的犬的轮廓里的区域为犬的类型区域；/nS7.构建犬的行为识别网络；/n构建一个犬的行为识别的网络，以犬完成一个行为所需要的视频帧数为标准，缓存M帧图像并输入S5中构建的犬姿态分类器，将其输出再输入本网络，根据各帧的时序建立起连续动作的时序模板，结合犬行为的空间信息输出犬的行为在时间上的传递关系；/nS8.引入知识图谱识别行为；/n将构建好的知识图谱中的逻辑结构引入神经网络中，用循环和卷积神经网络捕获知识图谱中犬的姿态、行为、犬的局部器官行为、犬身体部位以及环境信息，将识别网络捕获结果与知识图谱中的先验知识进行比对，给出犬行为的吻合度；所述知识图谱是对犬的行为知识源进行知识的逐条提取，把知识整理汇聚成知识网络后，构建动物行为的“实体-关系-实体”的三元组模型。/n...

【技术特征摘要】
1.基于知识图谱的监控视频犬类姿态和行为智能识别方法，其特征在于，包括以下步骤：
S1.知识图谱的构建；
利用犬的姿态信息、犬的基本行为信息、犬的局部器官行为信息、犬身体部位信息以及环境信息构建犬类姿态行为知识图谱；
S2.训练姿态和行为分类器；
所述训练姿态分类器采用神经网络训练出一个或多个分类器，此类分类器只对图片中的虑犬的姿态进行识别；所述训练行为神经网络分类器则通过对犬类姿态在时间上的变化情况，识别犬类基本行为；
所述训练姿态神经网络分类器采用深度神经网络构建，包括以下步骤：
首先导入训练集和测试集，定义一个适用于3通道图像的卷积神经网络，设置学习率、初始权重、迭代次数、图片分辨率等参数，使用分类交叉熵损失和带有动量的随机梯度下降算法定义损失函数和优化器，通过反向传播对权重和偏差进行更新；
把所有带标签的图像数据分成训练集和测试集：训练集用于对网络进行训练，测试集用于对网络进行测试，评估神经网络模型指标；
使用训练好的网络模型来预测该图像属于犬的各类姿态的概率分布，最终得到犬的姿态；
所述训练行为神经网络分类器的构建包括以下步骤：
首先，构建两个网络，分别为卷积神经网络以及循环神经网络；
所述卷积神经网络用于对空间二维图像上的局部感知；所述循环神经网络用于时间上连续动作的时序建模,反映出犬的行为在时间上传递的关系；
然后，将两个网络输出的得分矩阵进行融合,结合级联时序分类优化方法,端对端地输出犬的行为预测结果；
S3.监控视频犬类姿态行为智能识别；
对监测到的含有犬行为的视频进行处理，对含有犬各种行为姿态的连续帧的视频进行抓帧，时间信号为每一帧，空间信号为每帧视频上的图像信息，对数据进行筛选，保存；
S4.对监控视频进行数据处理；
对数据集的制作包括以下步骤：
S4.1.获取多张相对应的图像，构成图像集；
S4.2.对所需内容进行人工标注，得到标注框，同时生成对应的标注文件，并将所述标注框确定为临时感兴趣区域；
S4.3.将数据集按8：1：1的比例分为训练集、验证集和测试集；所述数据集包含图片和标签；所述训练集用于对网络的训练优化，验证集选择模型，测试集估算算法选出模型的泛化误差，对模型进行评估；
S5.犬姿态的检测、分割和识别；
在步骤S1构建的知识图谱的指导下建立各层躯体结构检测识别神经网络；对监控视频的每帧图像中的犬只进行检测、识别和分割，并对犬类图像进行细分，得到犬只的身体结构信息；再提取犬的姿态的时域特征；
S6.犬的类型区域的建立；
通过步骤S5中的深度神经网络检测出的框里含有多个对象，只对犬的轮廓进行分割，分割出的犬的轮廓里的区域为犬的类型区域；
S7.构建犬的行为识别网络；
构建一个犬的行为识别的网络，以犬完成一个行为所需要的视频帧数为标准，缓存M帧图像并输入S5中构建的犬姿态分类器，将其输出再输入本网络，根据各帧的时序建立起连续动作的时序模板，结合犬行为的空间信息输出犬的行为在时间上的传递关系；
S8.引入知识图谱识别行为；
将构建好的知识图谱中的逻辑结构引入神经网络中，用循环和卷积神经网络捕获知识图谱中犬的姿态、行为、犬的局部器官行为、犬身体部位以及环境信息，将识别网络捕获结果与知识图谱中的先验知识进行比对，给出犬行为的吻合度；所述知识图谱是对犬的行为知识源进行知识的逐条提取，把知识整理汇聚成知识网络后，构建动物行为的“实体-关系-实体”的三元组模型。


2.根据权利1所述的基于知识图谱的监控视频犬类姿态和行为智能识别方法，其特征在于：在步骤S1中采用Neo4j+python作为创建知识图谱的工具。


3.根据权利2所述的基于知识图谱的...

【专利技术属性】
技术研发人员：段昶，周章玉，侯佳萍，李楠茜，李琼，
申请(专利权)人：成都颜禾曦科技有限公司，
类型：发明
国别省市：四川;51