视频处理制造技术

公开了与视频处理有关的装置、方法和计算机程序产品。该装置可包括用于接收表示包括多个帧的视频内容的第一帧的数据以及在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置的构件。该装置还可包括用于基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较来确定要跳过的帧数N并用于将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件的构件。

【技术实现步骤摘要】
视频处理
示例性实施例涉及视频处理，例如对用于提供给计算分析模型的视频帧的处理。
技术介绍
机器或计算机视觉是许多新兴应用中的有趣且重要的方面。计算机视觉可涉及接收视频帧(可以但不必是实时视频帧)，以及将它们应用到计算分析模型，该计算分析模型例如可基于所接收的视频来识别特定对象或情形，并且甚至可基于分析来做出某些推断和/或决策。
技术实现思路
为本专利技术的各种实施例寻求的保护范围由独立权利要求阐明。本说明书中所描述的没有落入独立权利要求的范围内的实施例和特征，如果有的话，将被解释为对理解本专利技术的各种实施例有用的示例。根据第一方面，提供了一种装置，其包括用于执行以下操作的构件：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件。在第一帧中确定对象类型和位置可包括：识别第一帧中的多个对象，对于每个对象，在第一帧中确定对象类型和位置，并且其中，确定要跳过的帧数N是基于第一帧中的所有对象的相应的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较。该构件可进一步被配置为：接收多个帧的视频内容的后续帧，以及对所述后续帧重复确定操作和提供操作。该构件可被配置为：使用策略模型来确定要跳过的帧数N，该策略模型接收状态参数S作为输入，该状态参数S表示第一帧或任一后续帧中的一个或多个对象的相应的类型和位置。策略模型可以是预先训练的策略模型。策略模型可以是使用强化学习方法来预先训练的。策略模型可以是通过使用强化学习方法和对象检测模型来训练的，其中该强化学习方法将多个训练图像作为输入，该对象检测模型用于确定多个训练图像中的关键帧，其中，该强化学习方法使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过。对象检测模型可将关键帧确定为其中新对象出现或对象转变发生的帧。图像模型处理构件可远离该装置。图像模型处理构件可以是用于分析所提供的帧并用于产生推断输出的计算模型。本文所定义的构件可包括：至少一个处理器；以及被连接到至少一个处理器的至少一个存储器。根据另一方面，可提供一种方法，其包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。根据另一方面，可提供一种非暂时性计算机可读介质，其包括在其上存储的用于执行方法的程序指令，该方法包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。根据另一方面，可提供一种装置，其包括用于执行以下操作的构件：接收表示多个训练图像的数据，该训练图像表示一个或多个视频片段；确定多个训练图像中的关键帧；使用强化学习方法生成经训练的策略模型以用于响应于所检测到的状态S而确定要跳过的帧数N，该强化学习方法将多个训练图像作为输入并使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过以达成经训练的策略模型。根据另一方面，可提供一种方法，其包括：接收表示多个训练图像的数据，该训练图像表示一个或多个视频片段；确定多个训练图像中的关键帧；使用强化学习方法生成经训练的策略模型以用于响应于所检测到的状态S而确定要跳过的帧数N，该强化学习方法将多个训练图像作为输入并使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过以达成经训练的策略模型。根据另一方面，可提供一种装置，其包括至少一个处理器、直接被连接到至少一个处理器的至少一个存储器，至少一个存储器包括计算机程序代码，至少一个处理器以及至少一个存储器和计算机程序代码被配置为执行方法，该方法包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。根据另一方面，可提供一种装置，其包括至少一个处理器、直接被连接到至少一个处理器的至少一个存储器，至少一个存储器包括计算机程序代码，至少一个处理器以及至少一个存储器和计算机程序代码被配置为执行方法，该方法包括：接收表示多个训练图像的数据，该训练图像表示一个或多个视频片段；确定多个训练图像中的关键帧；使用强化学习方法生成经训练的策略模型以用于响应于所检测到的状态S而确定要跳过的帧数N，该强化学习方法将多个训练图像作为输入并使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过以达成经训练的策略模型。根据另一方面，可提供一种非暂时性计算机可读介质，包括在其上存储的用于执行方法的程序指令，该方法包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。根据另一方面，可提供一种非暂时性计算机可读介质，其包括在其上存储的用于执行方法的程序指令，该方法包括：接收表示多个训练图像的数据，该训练图像表示一个或多个视频片段；确定多个训练图像中的关键帧；使用强化学习方法生成经训练的策略模型以用于响应于所检测到的状态S而确定要跳过的帧数N，该强化学习方法将多个训练图像作为输入并使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过以达成经训练的策略模型。根据另一方面，可提供一种装置，其包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由至少一个处理器执行时使得该装置：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。根据另一方面，可提供一种装置，其包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由至少一个处理器执行时使得该装置：接收表示多个训练图像的数据，该训练图像表示一个或多个视频片段；确定多个训本文档来自技高网...

【技术保护点】
1.一种装置，包括用于执行以下操作的构件：/n接收表示包括多个帧的视频内容的第一帧的数据；/n在所述第一帧中，对于所述第一帧中的至少一个对象，确定对象类型和位置；/n基于所述第一帧中的所述对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及/n将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件。/n

【技术特征摘要】
20190514 EP 19174348.31.一种装置，包括用于执行以下操作的构件：
接收表示包括多个帧的视频内容的第一帧的数据；
在所述第一帧中，对于所述第一帧中的至少一个对象，确定对象类型和位置；
基于所述第一帧中的所述对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及
将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件。


2.根据任一项前述权利要求所述的装置，其中，在所述第一帧中确定所述对象类型和位置包括：识别所述第一帧中的多个对象，对于每个对象，在所述第一帧中确定所述对象类型和位置，并且其中，确定所述要跳过的帧数N是基于所述第一帧中的所有对象的相应的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较。


3.根据权利要求1或权利要求2所述的装置，其中，所述构件进一步被配置为：接收所述多个帧的视频内容的后续帧，以及对所述后续帧重复所述确定操作和所述提供操作。


4.根据任一项前述权利要求所述的装置，其中，所述构件被配置为：使用策略模型来确定所述要跳过的帧数N，所述策略模型接收状态参数S作为输入，所述状态参数S表示所述第一帧或任一后续帧中的所述一个或多个对象的相应的类型和位置。


5.根据权利要求4所述的装置，其中，所述策略模型是预先训练的策略模型。


6.根据权利要求5所述的装置，其中，所述策略模型是使用强化学习方法来预先训练的。


7.根据权利要求6所述的装置，其中，所述策略模型是通过使用强化学习方法和对象检测模型来训练的，其中所述强化学习方法将多个训练图像作为输入，所述对象检测模型用于确定所述多个训练图像中的关键帧，其中，所述强化学习方法使用奖励函数，所述奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过。


8.根据权利要求7所述的装置，其中，所述对象检测模型将关键帧确定为其中新对象出现或对象转变发生的帧。


9.根据任一项前述权利要求所述的装置，其中，所述图像模型处理构件远...

【专利技术属性】
技术研发人员：M·阿克希尔，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI