动态的目标对象检测方法、装置、存储介质及设备制造方法及图纸

本申请实施例公开了一种动态的目标对象检测方法、装置、存储介质及设备，属于图像处理技术领域。所述方法包括：获取待检测的视频；按照预定时间间隔依次从所述视频中提取视频帧；将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果；将所述输出结果按照时间顺序依次输入卷积神经网络；利用所述卷积神经网络进行检测，得到每个视频帧中的目标对象。本申请实施例可以保留视频帧之间的上下文信息，减少信息冗余，从而可以提高目标对象的检测速度。检测速度。检测速度。

【技术实现步骤摘要】
动态的目标对象检测方法、装置、存储介质及设备


[0001]本申请实施例涉及图像处理
，特别涉及一种动态的目标对象检测方法、装置、存储介质及设备。

技术介绍

[0002]目标对象检测是指从图像中检测出感兴趣的物体，包括物体的定位和分类。动态的目标对象检测应用较为广泛，比如应用于汽车的自动驾驶，从而可以识别出移动的行人和车辆，以便于规划驾驶路线。当在实时采集的视频中检测动态的目标对象时，视频中前后帧之间的信息存在大量的冗余，因此，需要对前后帧之间的信息进行精简，从而提高目标对象的检测速度。
[0003]相关技术中可以采用FGFA(Flow-Guided Feature Aggregation，视频物体检测)算法来检测动态的目标对象。FGFA算法主要由光流模块提取当前帧和相邻帧的光流，并将相邻帧的特征与当前帧的特征进行组合，组合后将当前帧与相邻帧的多个特征进行融合，从而根据融合后的特征检测出目标对象。
[0004]然而，FGFA算法需要先计算多帧的光流，再对特征进行结合，使得检测过程中的计算量特别大，从而影响了目标对象的检测速度。

技术实现思路

[0005]本申请实施例提供了一种动态的目标对象检测方法、装置、存储介质及设备，用于解决相关技术中检测过程中的计算量大，导致目标对象的检测速度慢的问题。所述技术方案如下：
[0006]一方面，提供了一种动态的目标对象检测方法，所述方法包括：
[0007]获取待检测的视频；
[0008]按照预定时间间隔依次从所述视频中提取视频帧；
[0009]将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果；
[0010]将所述输出结果按照时间顺序依次输入卷积神经网络；
[0011]利用所述卷积神经网络进行检测，得到每个视频帧中的目标对象。
[0012]在一种可能的实现方式中，所述将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果，包括：
[0013]在将第t个视频帧输入所长短时记忆网络时，获取第t-1个状态和所述第t个视频帧，所述第t-1个状态是第t-1个视频帧对应的状态信息，所述t为大于1的正整数；
[0014]利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，第t个输出；
[0015]将所述第t个输出作为所述第t个视频帧对应的输出结果。
[0016]在一种可能的实现方式中，所述利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个输出，包括：
[0017]利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个状态；
[0018]对所述第t个视频帧进行两次卷积运算，得到第一卷积结果；
[0019]利用sigma函数对所述第一卷积结果进行运算，得到第一运算结果；
[0020]将所述第一运算结果乘以所述第t个状态，得到所述第t个输出。
[0021]在一种可能的实现方式中，所述利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个状态，包括：
[0022]利用所述长短时记忆网络根据所述第t-1个状态和所述第t个视频帧计算第一临时量；
[0023]利用所述长短时记忆网络根据所述第t个视频帧计算第二临时量；
[0024]将所述第一临时量和所述第二临时量相加，得到所述第t个状态。
[0025]在一种可能的实现方式中，所述利用所述长短时记忆网络根据所述第t-1个状态和所述第t个视频帧计算第一临时量，包括：
[0026]利用所述长短时记忆网络对所述第t个视频帧进行卷积运算，得到第二卷积结果；
[0027]利用sigma函数对所述第二卷积结果进行运算，得到第二运算结果；
[0028]将所述第二运算结果乘以所述第t-1个状态，得到所述第一临时量。
[0029]在一种可能的实现方式中，所述利用所述长短时记忆网络根据所述第t个视频帧计算第二临时量，包括：
[0030]利用所述长短时记忆网络将所述第一卷积结果乘以所述第一运算结果，得到所述第二临时量。
[0031]在一种可能的实现方式中，所述卷积神经网络为快速区域卷积神经网络。
[0032]一方面，提供了一种动态的目标对象检测装置，所述装置包括：
[0033]获取模块，用于获取待检测的视频；
[0034]提取模块，用于按照预定时间间隔依次从所述视频中提取视频帧；
[0035]第一计算模块，用于将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果；
[0036]第二计算模块，用于将所述输出结果按照时间顺序依次输入卷积神经网络；
[0037]检测模块，用于利用所述卷积神经网络进行检测，得到每个视频帧中的目标对象。
[0038]一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上所述的动态的目标对象检测方法。
[0039]一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的动态的目标对象检测方法。
[0040]本申请实施例提供的技术方案的有益效果至少包括：
[0041]通过将提取的视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果，再将输出结果按照时间顺序依次输入卷积神经网络，最后利用卷积神经网络进行检测，得到每个视频帧中的目标对象。这样可以利用长短时记忆网络来对视频帧进行预处理，由于长短时记忆网络是一种时间依赖的神经网络，每个输出都与前一个状态相关，所以，可以保留
视频帧之间的上下文信息，减少信息冗余，从而可以提高目标对象的检测速度。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本申请一个实施例提供的动态的目标对象检测方法的方法流程图；
[0044]图2是本申请一个实施例提供的动态的目标对象检测方法的算法示意图；
[0045]图3是本申请一个实施例提供的长短时记忆网络的示意图；
[0046]图4是本申请再一实施例提供的动态的目标对象检测装置的结构框图。
具体实施方式
[0047]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0048]请参考图1，其示出了本申请一个实施例提供的动态的目标对象检测方法的方法流程图，该动态的目标对象检测方法可以应用于电子设备中。该动态的目标对象检测方法，可以包括：
[0049]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态的目标对象检测方法，其特征在于，所述方法包括：获取待检测的视频；按照预定时间间隔依次从所述视频中提取视频帧；将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果；将所述输出结果按照时间顺序依次输入卷积神经网络；利用所述卷积神经网络进行检测，得到每个视频帧中的目标对象。2.根据权利要求1所述的方法，其特征在于，所述将所述视频帧按照时间顺序依次输入长短时记忆网络，得到输出结果，包括：在将第t个视频帧输入所长短时记忆网络时，获取第t-1个状态和所述第t个视频帧，所述第t-1个状态是第t-1个视频帧对应的状态信息，所述t为大于1的正整数；利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，第t个输出；将所述第t个输出作为所述第t个视频帧对应的输出结果。3.根据权利要求2所述的方法，其特征在于，所述利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个输出，包括：利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个状态；对所述第t个视频帧进行两次卷积运算，得到第一卷积结果；利用sigma函数对所述第一卷积结果进行运算，得到第一运算结果；将所述第一运算结果乘以所述第t个状态，得到所述第t个输出。4.根据权利要求3所述的方法，其特征在于，所述利用所述长短时记忆网络对所述第t-1个状态和所述第t个视频帧进行计算，得到第t个状态，包括：利用所述长短时记忆网络根据所述第t-1个状态和所述第t个视频帧计算第一临时量；利用所述长短时记忆网络根据所述第t个视频帧计算第二临时量；将所述第一临时量和所述第二临时量相加，得...

【专利技术属性】
技术研发人员：王堃，
申请(专利权)人：江苏禹空间科技有限公司，
类型：发明
国别省市：