利用时间自相似矩阵在视频中进行类不可知重复计数制造技术

公开了使得能够使用重复网络处理捕获周期性活动的视频以生成周期性输出(例如，在视频中捕获的周期性活动的周期长度和/或捕获周期性活动的视频的逐帧周期性指示)的技术。各种实现方式包括类不可知的重复网络，其可用于为多种周期性活动生成周期性输出。附加或替代实现方式包括生成可用于训练重复网络的合成重复视频。重复视频。重复视频。

【技术实现步骤摘要】
【国外来华专利技术】利用时间自相似矩阵在视频中进行类不可知重复计数

技术介绍

[0001]重复动作和过程在日常生活中很普遍。在咀嚼食物的同时在一杯咖啡中搅拌糖并在背景音乐中轻敲食物的人同时进行了至少三个周期性活动。可以在生物过程、制造过程、人类活动(例如，锻炼)、对象操纵和/或附加或替代活动中找到周期性活动。鉴于重复无处不在，理解视频中的重复可能有助于各种计算系统。例如，确定重复对系统很有用，因为(1)某事多次发生背后通常有意图或驱动原因；(2)可以再次观察到相同的事件，但有细微的变化；(3)这些重复可能会导致场景逐渐变化；(4)它们可以提供明确的动作单元(例如，动作中的可以在时间上分段的子序列)；以及/或者出于其他或替代原因。

技术实现思路

[0002]本文公开的技术涉及使用重复网络处理捕获周期性活动的视频，以生成周期性输出，包括(a)周期性活动的周期长度和/或(b)每帧周期性分类(例如，是否在视频的特定帧中捕获周期性活动的指示)。在一些实现方式中，重复网络可以用于以类不可知的方式生成周期性输出。换句话说，相同的重复网络可用于为各种周期性活动生成周期性输出。例如，重复网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由一个或多个处理器实现的方法，所述方法包括：使用重复网络的编码器部分处理捕获周期性活动的视频帧的序列，以生成编码视频帧的序列；基于所述编码视频帧的序列生成时间自相似矩阵，所述时间自相似矩阵指示在所述编码视频帧的序列中编码视频帧之间的成对相似度；以及使用所述重复网络的周期预测因子模型部分处理所述时间自相似矩阵，以生成(a)在所述视频帧的序列中的周期性活动的周期长度，和/或(b)所述视频帧的序列的每帧周期性分类。2.根据权利要求1所述的方法，还包括：使用所述重复网络的编码器部分处理捕获附加周期性活动的视频帧的附加序列，以生成附加编码视频帧的附加序列；基于编码的视频帧的附加序列生成附加时间自相似矩阵，所述附加时间自相似矩阵指示在附加编码视频帧的附加序列中附加编码视频帧之间的成对相似度；以及使用所述重复网络的周期预测因子模型处理所述附加时间自相似矩阵，以生成(a)所述视频帧的附加序列中所述附加周期性活动的附加周期长度，和/或(b)所述视频帧的附加序列的附加每帧周期性分类。3.根据前述权利要求中任一项所述的方法，其中，使用所述重复网络的编码器部分处理捕获所述周期性活动的视频帧的序列以生成所述编码视频帧的序列包括：对于所述视频帧的序列中的每个视频帧：使用所述编码器的卷积神经网络部分处理所述视频帧以生成所述视频帧的二维卷积特征；使用所述编码器的三维卷积神经网络部分处理所述视频帧的二维卷积特征，以生成所述视频帧的时间上下文特征；以及使用所述编码器的最大池化部分处理所述视频帧的时间上下文特征，以生成所述编码视频帧的序列的对应编码视频帧。4.根据前述权利要求中任一项所述的方法，其中，生成所述时间自相似矩阵、所述时间自相似矩阵指示在所述编码视频帧的序列中所述编码视频帧之间的成对相似度包括：对于在所述编码视频帧的序列中的每对编码视频帧：确定在所述对的编码视频帧之间的距离度量；以及对于每对编码视频帧，基于在所述对的编码视频帧之间的距离度量生成所述时间自相似矩阵。5.根据权利要求4所述的方法，其中，确定在所述对的编码视频帧之间的距离度量包括：对于在所述编码视频帧的序列中的每对编码视频帧：确定在所述对的编码视频帧之间的欧几里得距离、平方欧几里得距离、负平方欧几里得距离、高斯距离和/或余弦相似度度量。6.根据权利要求4或5所述的方法，其中，对于每对编码视频帧基于在所述对的编码视频帧之间的距离度量生成所述时间自相似矩阵包括：通过对于每对编码视频帧使用逐行Softmax过程处理在所述对的编码视频帧之间的距
离度量，来生成所述时间自相似矩阵。7.根据前述权利要求中任一项所述的方法，其中，使用所述周期预测因子模型处理所述时间自相似矩阵以生成所述周期性活动的周期长度包括：使用二维卷积神经网络部分处理所述时间自相似矩阵，以生成卷积输出；使用变换器部分处理所述卷积输出，以生成变换器输出；以及使用周期长度分类器处理所述变换器输出，以生成所述周期性活动的周期长度。8.根据前述权利要求中任一项所述的方法，其中，捕获所述周期性活动的视频帧的序列是来自捕获所述周期性活动的视频的随机采样的视频帧的序列。9.根据前述权利要求中任一项所述的方法，还包括：在使用所述重复网络的编码器部分处理捕获所述周期性活动的视频帧的序列之前，训练所述重复网络，其中，训练所述重复网络包括：对于多个训练实例中的每一个：使用所述重复网络的编码器部分处理捕获周期性训练活动的训练实例的训练视频帧部分的训练序列，以生成编码训练视频帧的训练序列；生成训练时间自相似矩阵，所述训练时间自相似矩阵指示在编码训练视频帧的训练序列中的编码训练视频帧之间的成对相似度；以及使用所述重复网络的周期预测因子模型部分处理编码训练视频帧的训练序列，以生成(a)所述训练周期性活动的训练周期长度，和/或(b)视频帧的训练序列的训练每帧周期性分类；基于(1)所述训练周期性活动的训练周期长度和/或视频帧的训练序列的训练每帧周期性分类、和(2)所述训练实例的对应真实值部分，来确定损失；以及基于所确定的损失来更新所述重复网络的一个或多个部分。10.根据权利要求9所述的方法，其中，所述训练实例中的至少一个训练实例的训练视频帧部分的训练序列是合成重复视频。11.根据权利要求10所述的方法，其中，基于未标记视频生成所述合成重复视频，并且其中，基于未标记视频生成所述合成重复视频包括：从所述未标记视频中选择视频帧的序列；以及对于多个迭代中的每一个：通过将所选择的视频帧的序列按顺序追加到所述合成重复视频，来生成所述合成训练视频，其中，所选择的视频帧的序列是在初始迭代处的合成重复视频。12.根据权利要求10所述的方法，其中，基于未标记视频生成所述合成重复视频，并且其中，基于未标记视频生成所述合成重复视频包括：从所述未标记视频中选择视频帧...

【专利技术属性】
技术研发人员：德比达塔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：