行为识别方法、存储介质及电子设备技术

本申请公开了一种行为识别方法、存储介质及电子设备，方法包括：获取参考视频，参考视频包括指定的行为内容；获取需要进行行为识别的待识别视频；通过基于孪生神经网络的视频判别模型，获取待识别视频与参考视频的相似度；根据相似度识别待识别视频是否包括指定的行为内容，得到识别结果。通过基于孪生神经网络的视频判别模型对待识别视频和参考视频进行相似度识别，能够准确地对待识别视频进行行为识别。别。别。

【技术实现步骤摘要】
行为识别方法、存储介质及电子设备


[0001]本申请涉及人工智能
，具体涉及一种行为识别方法、存储介质及电子设备。

技术介绍

[0002]动物行为从宏观上反应了动物高级中枢神经功能、学习记忆能力、心理状态、运动协调性等信息。研究动物行为能够评估动物对于环境或者药理的适应情况，在毒理学、药理学、运动损伤及恢复等领域具有广泛应用。
[0003]随着人工智能技术的快速发展，基于人工智能技术的有监督学习方法能够对动物行为进行分类。但该方法仅能将动物行为划分为固定类别中的一种，对于未知类别的动物行为则难以对其进行准确分类。

技术实现思路

[0004]本申请实施例提供一种行为识别方法、存储介质及电子设备，能够根据提高对动物行为进行识别的准确度。
[0005]第一方面，本申请实施例提供一种行为识别方法，方法包括：
[0006]获取参考视频，参考视频包括指定的行为内容；
[0007]获取需要进行行为识别的待识别视频；
[0008]通过基于孪生神经网络的视频判别模型，获取待识别视频与参考视频的相似度；
[0009]根据相似度识别待识别视频是否包括指定的行为内容，得到识别结果。
[0010]第二方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如本申请任一实施例提供的行为识别方法。
[0011]第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器有计算机程序，处理器通过调用计算机程序，用于执行如本申请任一实施例提供的行为识别方法。
[0012]本申请实施例提供的技术方案，对于包括指定的行为内容的参考视频，通过基于孪生神经网络的视频判别模型对该参考视频和待识别视频进行相似度识别，以确定该待识别视频是否包括指定的行为内容。以此，通过参考视频对待识别视频进行行为识别，一方面能够准确地对待识别视频的行为进行识别，另一方面能够快速地对待识别视频进行分类。
附图说明
[0013]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本申请实施例提供的行为识别方法的应用场景示意图。
[0015]图2为本申请实施例提供的行为识别方法的流程示意图。
[0016]图3为本申请实施例提供的行为识别方法中使用滑动窗口截取视频片段的示意图。
[0017]图4为本申请实施例提供的行为识别方法中视频判别模型的结构示意图。
[0018]图5为本申请实施例提供的视频判别方法的细节流程示意图。
[0019]图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
[0021]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0022]人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0023]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(Machine Learning,ML)技术，其中，深度学习(Deep Learning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在计算机视觉、自然语言处理等领域。
[0024]深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。
[0025]动物的行为按照其不同表现可以分为觅食行为、贮食行为、攻击行为、防御行为、繁殖行为、节律行为、通讯行为等。
[0026]在毒理学、药理学、运动损伤及其恢复、神经科学等领域，通过评估动物行为能够为相关研究提供关键信息。随着人工智能技术的发展，相关技术中也采用了机器学习的方法对动物行为进行识别。具体地，可以通过机器学习的方法训练神经网络模型，进而通过训练好的神经网络模型对动物行为进行分类，其中，训练神经网络模型的方法包括有监督的机器学习和无监督的机器学习，有监督的机器学习通过预先标记有行为标签的样本数据对
神经网络模型进行训练，使得神经网络模型学习样本数据及其对应的行为标签之间的映射关系。无监督的机器学习通过聚类算法对同类样本数据进行聚类，从而实现对不同样本数据进行分类。
[0027]然而，无监督的机器学习方法难以快速从大量数据中查找到用户需要的动物行为。
[0028]为此，针对有监督的机器学习方法，相关技术中还包括基于关键点的动物识别方法和基于视频的分类方法。
[0029]其中，基于关键点的动物识别方法通过对动物身体关键点进行追踪，再根据关键点的位置信息(如肢体关节等)对动物行为进行分类。但此类方法依赖于对关键点的追踪，在关键点被遮挡或追踪丢失时则会造成对动物行为的分类结果不准确。另外，基于关键点追踪还丢失了背景信息，造成与背景信息相关的动物行为信息的遗漏，也会造成对动物行为的分类结果不够准确。
[0030]基于视频的分类方法虽然不需要进行关键点追踪，但需要逐帧基于视频的像素值对视频帧进行动作分类，进而根据动作分类结果识别动物行为，此种方式造成计算量大，难以快速地识别动物的行为。
[0031]为解决相关技术中存在的问题，本申请实施例提供了一种行为识别方法、存储介质以及电子设备，以快速且准确地对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为识别方法，其特征在于，包括：获取参考视频，所述参考视频包括指定的行为内容；获取需要进行行为识别的待识别视频；通过基于孪生神经网络的视频判别模型，获取所述待识别视频与所述参考视频的相似度；根据所述相似度识别所述待识别视频是否包括所述指定的行为内容，得到识别结果。2.根据权利要求1所述的行为识别方法，其特征在于，所述获取需要进行行为识别的待识别视频，包括：获取需要进行行为识别的初始视频；根据所述参考视频的长度从所述初始视频中截取至少一个视频片段；将截取的所述至少一个视频片段确定为所述待识别视频。3.根据权利要求2所述的行为识别方法，其特征在于，当所述待识别视频包括至少两个视频片段时，所述至少两个视频片段中相邻的视频片段部分重合，所述根据所述相似度识别所述待识别视频是否包括所述指定的行为内容，得到识别结果之后，还包括：根据同一视频帧在不同待识别视频中的识别结果，确定所述初始视频中各视频帧的评分；根据所述初始视频中各视频帧的评分，确定所述初始视频的总评分；若所述总评分大于预设阈值，则确定所述初始视频包括所述指定的行为内容；若所述总评分不大于所述预设阈值，则确定所述初始视频不包括所述指定的行为内容。4.根据权利要求1所述的行为识别方法，其特征在于，所述视频判别模型包括第一特征提取分支、第二特征提取分支、特征融合模块以及相似度判别模块，所述第一特征提取分支和所述第二特征提取分支的结构相同，且网络参数共享，所述通过基于孪生神经网络的视频判别模型，获取所述待识别视频与所述参考视频的相似度，包括：将所述参考视频输入所述第一特征提取分支进行特征提取，得到第一帧序列特征；将所述待识别视频输入所述第二特征提取分支进行特征提取，得到...

【专利技术属性】
技术研发人员：朱富强，詹阳，张慧康，张曦昊，王振，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：