一种时序动作检测方法、装置及设备制造方法及图纸

本发明专利技术实施例提供了一种时序动作检测方法、装置及设备，该方法包括：通过遍历视频中包含的视频帧，确定所述视频中记录有物体所产生动作的视频片段；从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值，其中，每个视频帧集合包括至少两帧视频帧，所述时序关系值表示视频帧之间在时间域的变化程度；对计算得到的时序关系值进行求和得到和值；在预先建立的动作识别数据库中查找与所述和值相匹配的动作，获得时序动作检测结果。应用本发明专利技术实施例提供的各个方案能够检测视频中物体所产生动作。

A Time Series Action Detection Method, Device and Equipment

The embodiment of the present invention provides a timing action detection method, device and device. The method includes: determining video clips in the video that record the actions of objects by traversing the video frames contained in the video; selecting the first preset set of video frames from the video frames contained in the video clips, and calculating the timing between video frames in each video frame set. Relational values, in which each video frame set includes at least two video frames, which represent the degree of variation between video frames in the time domain; summing up the calculated values of temporal relations to obtain the sum value; and searching for the actions matching the values in the pre-established action recognition database to obtain the results of sequential action detection. The various schemes provided by the embodiments of the present invention can detect the actions of objects in video.

【技术实现步骤摘要】
一种时序动作检测方法、装置及设备
本专利技术涉及视频处理
，特别是涉及一种时序动作检测方法、装置及设备。
技术介绍
时序动作检测是指检测视频中物体产生的动作。时序动作检测是一个在计算机视觉中具有挑战性的课题，同时也具有广阔的应用前景。比如，在视频监控中，需要对监控场景的监控视频进行时序动作检测，进而检测出监控场景中物体的动作，当发现监控场景中的物体产生异常动作时，发出警报。可见，对视频进行时序动作检测，进而检测出视频中物体产生的动作具有重要的意义。
技术实现思路
本专利技术实施例的目的在于提供一种时序动作检测方法、装置及设备，以实现检测视频中物体所产生动作。具体技术方案如下：本专利技术实施的一方面，提供了一种时序动作检测方法，所述方法包括：通过遍历视频中包含的视频帧，确定所述视频中记录有物体所产生动作的视频片段；从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值，其中，每个视频帧集合包括至少两帧视频帧，所述时序关系值表示视频帧之间在时间域的变化程度；对计算得到的时序关系值进行求和得到和值；在预先建立的动作识别数据库中查找与所述和值相匹配的动作，获得时序动作检测结果。可选的，所述从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值的步骤，包括：设置第一数量为预设的视频帧数量初始值；从所述视频片段包含的视频帧中选取所述第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；将所述第一数量累加预设的视频帧数量变化步长；从所述视频片段包含的视频帧中选取累加后第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；在已得到视频帧集合的数量未达到所述第一预设值的情况下，判断累加后第一数量是否达到第二预设值；若为否，返回执行所述将所述第一数量累加预设的视频帧数量变化步长的步骤；若为是，返回执行所述设置第一数量为预设的视频帧数量初始值的步骤。可选的，所述对计算得到的时序关系的值进行求和得到和值的步骤，包括：获取所得到的各个视频帧集合的权值，其中，包含视频帧数量相同的视频帧集合的权值相同；使用所获得的权值，对计算得到的时序关系值进行加权求和得到所述和值。可选的，视频帧集合的权值是根据视频帧集合所包含的视频帧数量确定的，其中，包含的视频帧数量越多的视频帧集合的权值越大。可选的，利用以下公式计算每组视频帧集合中视频帧之间的时序关系值：其中，Tn(V)表示视频帧之间的时序关系值，i、j……n表示视频帧集合中的视频帧在所述视频中的帧号，fi、fj、fn分别表示帧号为i、j、n的视频帧的时间特征，gθ表示预设的关系矩阵，hΦ表示用于对视频帧间的时序关系进行融合的函数。本专利技术实施的又一方面，还提供了一种时序动作检测装置，所述装置包括：确定模块，用于通过遍历视频中包含的视频帧，确定所述视频中记录有物体所产生动作的视频片段；选取模块，用于从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值，其中，每个视频帧集合包括至少两帧视频帧，所述时序关系值表示视频帧之间在时间域的变化程度；求和模块，用于对计算得到的时序关系值进行求和得到和值；获得模块，用于在预先建立的动作识别数据库中查找与所述和值相匹配的动作，获得时序动作检测结果。可选的，所述选取模块，包括：设置子模块，用于设置第一数量为预设的视频帧数量初始值；第一选取子模块，用于从所述视频片段包含的视频帧中选取所述第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；累加子模块，用于将所述第一数量累加预设的视频帧数量变化步长；第二选取子模块，用于从所述视频片段包含的视频帧中选取累加后第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；判断子模块，用于在已得到视频帧集合的数量未达到所述第一预设值的情况下，判断累加后第一数量是否达到第二预设值，在判断结果为否时触发累加子模块，在判断结果为是触发设置子模块。可选的，所述求和模块，包括：获取子模块，用于获取所得到的各个视频帧集合的权值，其中，包含视频帧数量相同的视频帧集合的权值相同；求和子模块，用于使用所获得的权值，对计算得到的时序关系值进行加权求和得到所述和值。可选的，视频帧集合的权值是根据视频帧集合所包含的视频帧数量确定的，其中，包含的视频帧数量越多的视频帧集合的权值越大。可选的，利用以下公式计算每组视频帧集合中视频帧之间的时序关系值：其中，Tn(V)表示视频帧之间的时序关系值，i、j……n表示视频帧集合中的视频帧在所述视频中的帧号，fi、fj、fn分别表示帧号为i、j、n的视频帧的时间特征，gθ表示预设的关系矩阵，hΦ表示用于对视频帧间的时序关系进行融合的函数。本专利技术实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，执行上述任一所述的时序动作检测方法。在本专利技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的时序动作检测方法。在本专利技术实施的又一方面，本专利技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的时序动作检测方法。本专利技术实施例提供的时序动作检测方法、装置及设备，可以通过遍历视频中包含的视频帧，来确定视频中记录有物体所产生动作的视频片段；从视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值；对计算得到的时序关系值进行求和得到和值后，在预先建立的动作识别数据库中查找与和值相匹配的动作，从而获得时序动作检测结果。应用本专利技术实施例提供的各个方案能够检测视频中物体所产生动作。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本专利技术实施例提供的一种时序动作检测方法的流程示意图；图2为本专利技术实施例提供的一种时序动作检测装置的结构示意图；图3为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述。参见图1，示出了本专利技术实施例提供的一种时序动作检测方法的流程示意图，该方法包括：S100，通过遍历视频中包含的视频帧，确定视频中记录有物体所产生动作的视频片段。上述物体可以为出现在视频中的人物、动物等。上述物体所产生的动作也就是物体在进行某一项活动时而产生的相应地动作，比如，人在进行踢球活动时产生的踢球地动作。具体的，可以按照播放顺序遍历视频包含的视频帧，在遍历每一视频帧的过程中分析视频帧中是否记录有物体产生动作的内容，这样在遍历视频中的视频帧后，可以确定出记录有物体所产生动作的视频帧，然后将物体产生动作的并连续的视频帧确定为视频片段。而由于动作识别本身就是一个多分类问题，所以可以利用交叉熵损失函数来评判用于确定视频中记录有物本文档来自技高网...

【技术保护点】
1.一种时序动作检测方法，其特征在于，所述方法包括：通过遍历视频中包含的视频帧，确定所述视频中记录有物体所产生动作的视频片段；从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值，其中，每个视频帧集合包括至少两帧视频帧，所述时序关系值表示视频帧之间在时间域的变化程度；对计算得到的时序关系值进行求和得到和值；在预先建立的动作识别数据库中查找与所述和值相匹配的动作，获得时序动作检测结果。

【技术特征摘要】
1.一种时序动作检测方法，其特征在于，所述方法包括：通过遍历视频中包含的视频帧，确定所述视频中记录有物体所产生动作的视频片段；从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值，其中，每个视频帧集合包括至少两帧视频帧，所述时序关系值表示视频帧之间在时间域的变化程度；对计算得到的时序关系值进行求和得到和值；在预先建立的动作识别数据库中查找与所述和值相匹配的动作，获得时序动作检测结果。2.如权利要求1所述的方法，其特征在于，所述从所述视频片段包含的视频帧中选取第一预设值个视频帧集合，并计算每个视频帧集合中视频帧之间的时序关系值的步骤，包括：设置第一数量为预设的视频帧数量初始值；从所述视频片段包含的视频帧中选取所述第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；将所述第一数量累加预设的视频帧数量变化步长；从所述视频片段包含的视频帧中选取累加后第一数量帧视频帧得到一个视频帧集合，并计算所得到的视频帧集合中视频帧之间的时序关系值；在已得到视频帧集合的数量未达到所述第一预设值的情况下，判断累加后第一数量是否达到第二预设值；若为否，返回执行所述将所述第一数量累加预设的视频帧数量变化步长的步骤；若为是，返回执行所述设置第一数量为预设的视频帧数量初始值的步骤。3.如权利要求1所述的方法，其特征在于，所述对计算得到的时序关系的值进行求和得到和值的步骤，包括：获取所得到的各个视频帧集合的权值，其中，包含视频帧数量相同的视频帧集合的权值相同；使用所获得的权值，对计算得到的时序关系值进行加权求和得到所述和值。4.如权利要求3所述的方法，其特征在于，视频帧集合的权值是根据视频帧集合所包含的视频帧数量确定的，其中，包含的视频帧数量越多的视频帧集合的权值越大。5.如权利要求1-4任一项所述的方法，其特征在于，利用以下公式计算每组视频帧集合中视频帧之间的时序关系值：其中，Tn(V)表示视频帧之间的时序关系值，i、j……n表示视频帧集合中的视频帧在所述视频中的帧号，fi、fj、fn分别表示帧号为i、j、n的视频帧的时间特征，gθ表示预设的关系矩阵，hΦ表示用于对视频帧间的时序关系进行融合的函数。6.一种时序动作检测装置，其特征在于，所述装置包括：确定模块，用于通过遍历视频中包含的视频帧，确定所述视...

【专利技术属性】
技术研发人员：刘洁，王涛，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11