视频处理装置、视频处理方法和机器可读存储介质制造方法及图纸

本公开涉及一种视频处理装置、视频处理方法和机器可读存储介质。视频处理装置包括：获取单元，其基于动作视频剪辑得到初始标记帧；设置单元，其基于关于所述动作视频剪辑的信息来设置滑动窗；匹配单元，其将所述初始标记帧与所述动作视频剪辑在所述滑动窗中的每个帧进行相似度匹配；以及选择单元，其基于相似度匹配的结果，选择所述动作视频剪辑在所述滑动窗中的一个帧作为标记帧。该视频处理装置可以在周期动作片段中正确地捕捉某一次动作实例。在周期动作片段中正确地捕捉某一次动作实例。在周期动作片段中正确地捕捉某一次动作实例。

【技术实现步骤摘要】
视频处理装置、视频处理方法和机器可读存储介质


[0001]本公开涉及视频处理的
，具体地涉及用于动作次数计数的视频处理装置、视频处理方法和机器可读存储介质。

技术介绍

[0002]这个部分提供了与本公开有关的背景信息，这不一定是现有技术。
[0003]周期性或准周期性的动作广泛存在于视频理解任务中。最近，在视频监控、虚拟现实等领域，对这类动作进行检测和周期性统计的需求逐渐增多。在现有技术中，基于深度学习的方法，能够在时序上比较精确地定位不同动作的开始和结束，而当需要在重复多次的同一动作的视频片断中对其中一次动作实例的开始结束进行定位时，问题往往就会变得更具有挑战性。如何在周期动作片段中正确地捕捉某一次动作实例成为了该领域研究中的重要课题。

技术实现思路

[0004]这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。
[0005]本公开的目的在于提供一种用于在周期动作片段中正确地捕捉某一次动作实例的视频处理装置、视频处理方法和机器可读存储介质。
[0006]根据本公开的一方面，提供了一种视频处理装置，该装置包括：获取单元，其基于动作视频剪辑得到初始标记帧；设置单元，其基于关于所述动作视频剪辑的信息来设置滑动窗；匹配单元，其将所述初始标记帧与所述动作视频剪辑在所述滑动窗中的每个帧进行相似度匹配；以及选择单元，其基于相似度匹配的结果，选择所述动作视频剪辑在所述滑动窗中的一个帧作为标记帧。
[0007]根据本公开的另一方面，提供了一种视频处理方法，包括：基于动作视频剪辑得到初始标记帧；基于关于所述动作视频剪辑的信息来设置滑动窗；将所述初始标记帧与所述动作视频剪辑在所述滑动窗中的每个帧进行相似度匹配；以及基于相似度匹配的结果，选择所述动作视频剪辑在所述滑动窗中的一个帧作为标记帧。
[0008]根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的视频处理方法。
[0009]使用根据本公开的视频处理装置、视频处理方法和机器可读存储介质，可以通过在动作视频剪辑中搜索符合条件的标记帧来在动作视频剪辑中正确地捕捉某一次动作实例。
[0010]从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。
附图说明
[0011]在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：
[0012]图1为图示根据本公开的实施例的视频处理装置的结构的框图；
[0013]图2为图示根据本公开的另一实施例的视频处理装置的结构的框图；
[0014]图3为图示根据本公开的实施例的视频处理装置中的获取单元的结构的框图；
[0015]图4为图示根据本公开的另一实施例的视频处理装置的结构的框图；
[0016]图5为图示根据本公开的另一实施例的视频处理装置的部分详细结构的框图；
[0017]图6为图示根据本公开的实施例的视频处理方法的流程图；
[0018]图7为图示根据本公开的另一实施例的视频处理方法的流程图；以及
[0019]图8为其中可以实现根据本公开的实施例的视频处理装置和方法的通用个人计算机的示例性结构的框图。
[0020]虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
[0021]现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。
[0022]提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
[0023]本公开提出了一种基于相似度匹配的周期性动作的次数计数方案。在一段仅包含一类类别已知且重复多次的动作的动作视频剪辑中，假设总是存在这样的标记帧，它在动作执行一次的过程中仅出现一次。基于这个假设，将动作视频剪辑中动作的重复次数计数问题转化为符合条件的标记帧的搜索问题。观察发现，大多数人对视频中重复动作进行观测时，总是会有意识地选取符合某些特征的帧，作为一次动作实例的开始，当这一帧再次出现时，就作为下一个动作实例的开始，以此来计数，因此该假设是合理的。以下结合图1来说明根据本公开的实施例的视频处理装置如何在周期动作视频剪辑中正确地捕捉某一次动作实例。
[0024]图1图示了根据本公开的实施例的视频处理装置100的结构。如图1所示，根据本公开的实施例的视频处理装置100可以包括获取单元110、设置单元120、匹配单元130和选择单元140。
[0025]获取单元110可以基于动作视频剪辑得到初始标记帧Mark0。在本公开中，动作视频剪辑可以包括多次重复的同一类动作。通常，动作类别是已知的。具体地，获取单元110可以选择动作视频剪辑中的第一个帧作为初始标记帧，也可以采用其它方式来基于动作视频
剪辑得到初始标记帧，这将在后面结合图3进行详细描述。
[0026]进一步，设置单元120可以基于关于动作视频剪辑的信息来设置滑动窗。关于动作视频剪辑的信息指示设置滑动窗所需要的信息。
[0027]进一步，匹配单元130可以将初始标记帧与动作视频剪辑在滑动窗中的每个帧进行相似度匹配。对于两帧图像相似度的度量，采用帧差或相关系数等常用的度量方式均可。
[0028]需要注意的是，如果在一段动作视频剪辑中，背景本身在变化或由于摄像机位置不固定导致了背景也在运动，则需要使用ROI检测或图像分割等技术将计算相似度的区域锁定在运动的目标附近而不能用全图。在这种情况下，根据本公开的实施例的视频处理装置100还可以包括感兴趣区域ROI单元(未示出)，其可以针对初始标记帧以及动作视频剪辑在滑动窗中的每个帧，执行ROI检测或分割。
[0029]进一步，选择单元140可以基于相似度匹配的结果来选择动作视频剪辑在滑动窗中的一个帧作为标记帧。例如，选择单元140可以搜索滑动窗中与Mark0最相似的帧。
[0030]下面通过示例性实施例来说明可以由设置单元120、匹配单元130和选择单元140执行的处理。
[0031]首先，关于滑动窗的设置，需要确定两个参数：滑动窗本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理装置，包括：获取单元，其基于动作视频剪辑得到初始标记帧；设置单元，其基于关于所述动作视频剪辑的信息来设置滑动窗；匹配单元，其将所述初始标记帧与所述动作视频剪辑在所述滑动窗中的每个帧进行相似度匹配；以及选择单元，其基于相似度匹配的结果，选择所述动作视频剪辑在所述滑动窗中的一个帧作为标记帧。2.根据权利要求1所述的视频处理装置，还包括：输入视频处理单元，其使用深度神经网络DNN对输入视频进行深度学习处理，以得到所述动作视频剪辑和关于所述动作视频剪辑的信息。3.根据权利要求1所述的视频处理装置，其中，所述获取单元选择所述动作视频剪辑中的第一个帧作为所述初始标记帧，或者基于所述动作视频剪辑中的每个帧的标记置信度和速度得分中的至少一个来确定所述初始标记帧。4.根据权利要求1所述的视频处理装置，其中，所述设置单元基于对所述标记帧的选择来重新设置所述滑动窗；所述匹配单元将所述标记帧与所述动作视频剪辑在重新设置的滑动窗中的每个帧进行相似度匹配；以及所述选择单元基于相似度匹配的结果，选择所述动作视频剪辑在重新设置的滑动窗中的一个帧作为新的标记帧。5.根据权利要求4所述的视频处理装置，还包括判定单元，其判定所述动作视频剪辑是否被所述滑动窗完...

【专利技术属性】
技术研发人员：杨静，李斐，汪君楚，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：