使用镜头持续时间相关来确定视频之间的相似性制造技术

内容系统识别第一视频中的镜头和第二视频中的镜头。针对每个视频的经识别的镜头确定镜头持续时间。针对每个视频生成直方图，每个直方图将对应视频的经识别的镜头划分成根据镜头持续时间的范围而划分的桶的集合。所述系统确定每个直方图的桶的置信权重，其中桶的置信权重基于在该桶的镜头持续时间的范围内发生特定数量的经识别的镜头的可能性。基于每个相应直方图的每个桶中的经识别的镜头的数量并且基于所述置信权重来针对所述两个视频计算相关值。所述内容系统基于所述相关值和每个视频的自相关值确定所述两个视频是否是相似的。

Use shot duration correlation to determine similarity between videos

【技术实现步骤摘要】
【国外来华专利技术】使用镜头持续时间相关来确定视频之间的相似性
所公开的实施例一般地涉及用于视频处理的计算机实现的方法，并且更具体地，涉及使用镜头(shot)持续时间信息来确定视频内容项(为了方便通常被称为“视频”)之间的相似性。
技术介绍
内容系统可以接收从用户和其它实体上传的非常大量的内容项诸如视频。这些视频可以包括各种不同类型的内容，诸如电影和家庭视频，并且在构图、照明和其它方面可以是显著地不同的。被上传的许多视频实际上可以是相同视频，或者是相同视频的相似的版本。这可以给内容系统带来问题，因为它试图组织并分类视频，或者呈现它们以用于推荐给内容系统的用户。存储相同内容项的两个(或更多个副本)浪费存储容量，并且如果内容系统执行内容项的任何处理，则处理相同内容项的多个副本类似地浪费处理能力/资源。另外，如果例如内容系统向用户推荐实际上为相同视频的两个视频，则这将再次导致资源使用的重复(并且还将很可能对用户来说是烦人的)。因此，期望内容系统能够检测内容系统中的视频之间的相似性，使得它能够确定哪些视频可能是其它视频的副本或相似的版本。然而，在由内容系统接收到非常大量的视频情况下，内容系统需要确定视频之间的相似性的高效方法。诸如分析每个视频的内容以便确定相似性的方法可能要求超过可用于执行这种相似性比较的处理能力的处理能力。此外，当试图使用视频内容来确定视频相似性时，视频的组成和内容的变化性质可以引起不准确。因此，缺乏并期望确定视频之间的相似性的更好且更高效的方法。因此，期望提供用于使用镜头持续时间相关性来确定视频之间的相似性的方法、系统和介质。
技术实现思路
在一个实施例中，描述了用于确定视频中的相似性的计算机实现的方法。该方法包括识别第一视频中的第一多个镜头和第二视频中的第二多个镜头。该方法还包括确定每个视频的经识别的镜头的镜头持续时间。生成每个视频的直方图，其中每个直方图将对应视频的多个经识别的镜头划分成根据镜头持续时间的范围而划分的桶(bucket)的集合。确定每个直方图的桶的置信权重，其中桶的置信权重基于在该桶的镜头持续时间的范围内发生特定数量的经识别的镜头的可能性。基于每个相应直方图的每个桶中的经识别的镜头的数量并且基于置信权重来针对两个视频计算相关值。进行基于相关值与每个视频的自相关值的比较来确定第一视频与第二视频之间的相似性。本公开的另一个方面提供计算机可读存储介质(其可以是非暂时性计算机可读存储介质，但是此方面不限于此)，所述计算机可读存储介质具有在其上编码的指令，所述指令当由一个或多个处理器执行时，使处理器执行根据本文中描述的任何实施例或实施方式的方法。本公开的另一个方面提供一个或多个处理器，所述一个或多个处理器被编程为执行根据本文中描述的任何实施例或实施方式的方法。本公开的另一个方面提供装置，所述装置包括在操作上连接到计算机可读存储介质(其可以是非暂时性计算机可读存储介质，但是此方面不限于此)的一个或多个处理器，所述计算机可读存储介质具有在其上编码的指令，所述指令当由一个或多个处理器执行时，使处理器执行根据本文中描述的任何实施例或实施方式的方法。在本
技术实现思路
和以下具体实施方式中描述的特征和优点不是包括一切的。鉴于其附图、说明书和权利要求，许多附加特征和优点对于本领域的普通技术人员而言将是显而易见的。附图说明图1是根据一个实施例的用于使用镜头持续时间相关性来确定视频之间的相似性的环境的高级框图。图2是图示根据一个实施例的将视频转换成镜头持续时间直方图的示例性方法的图。图3图示根据一个实施例的用于基于某个镜头持续时间范围内的镜头的平均镜头计数生成泊松概率质量函数的示例性过程。图4图示根据一个实施例的用于基于平均镜头计数的泊松分布确定视频的直方图的置信权重的示例性过程。图5图示根据一个实施例的用于计算第一视频与第二视频之间的相关值以及确定两个视频之间的相似性的量度的示例性过程。图6是图示根据一个实施例的用于使用镜头持续时间相关性来确定视频之间的相似性的内容系统的动作的流程图。这些图仅出于图示的目的描绘本专利技术的各种实施例。本领域的技术人员将从以下讨论中容易地认识到，在不脱离本文中描述的本专利技术的原理的情况下，可以采用本文中图示的结构和方法的替代实施例。具体实施方式I.概述本文中描述的内容系统提供高效地确定两个(或更多个)视频之间的相似性的优点。内容系统确定并利用视频之间的镜头持续时间中的相关性来确定它们之间的相似性。通过使用此方法，内容系统能够高效地且快速地分析被上传到内容系统的视频之间的相似性。因为内容系统可以在短时间段期间接收到许多视频，例如每天数百万个视频，所以快速地确定视频之间的相似性的能力是有利的，因为内容系统可能没有足够的处理能力来使用更多的计算能力密集过程来执行更严格的相似性分析。此高效过程允许内容系统将相似的视频分组在一起，例如，使得一组相似的视频中的仅一个可以被推荐给用户，转发以供进一步分析和/或处理等。II.系统架构图1是根据一个实施例的用于使用镜头持续时间相关性来确定视频之间的相似性的环境100的高级框图。图1图示具有内容存储130、内容子系统140和内容相似性检测器150的内容系统105。内容系统105连接到网络190，所述网络190还连接到客户端设备170。虽然在图1中示出了某些元件，但是在其它实施例中环境可以具有不同的元件。此外，元件之间的功能性可以在其它实施例中以不同的方式分布到不同的或多个模块。客户端设备和网络客户端设备170是可以访问来自内容子系统140的内容的计算设备。客户端设备170的用户可通过使用客户端设备170来访问来自内容子系统140的视频以浏览内容的目录，使用关键词来进行搜索，回顾来自其它用户或系统管理员的播放列表(例如，形成频道的内容的合集)，或者查看与特定用户组(例如，社区)相关联的内容。附加地，在一些实施例中，客户端设备170还可以用于将内容(例如，视频)上传到内容系统105。客户端设备170可以是台式机、膝上型电脑、智能电话、平板、可穿戴设备、电视、机顶盒等。尽管图1图示仅两个客户端设备170A、170B，然而应该理解的是，许多客户端设备(例如，数百万)可在任何时间与内容系统105进行通信。在一个实施例中，客户端设备170访问来自内容系统105的内容并且经由内容呈现器175将内容呈现给用户。在一个实施例中，通过包括视频播放器(例如，HTML5兼容播放器)的web浏览器来访问内容呈现器。内容呈现器175可以能够与从字幕系统105接收到的字幕或其它元数据(例如，注释)同时向用户呈现内容。内容呈现器175可以是允许用户查看由内容子系统140提供的web页面和内容的web浏览器。在一个实施例中，客户端设备170可以将内容项上传到内容系统105(例如，经由内容呈现器175)。例如，客户端设备170可以将视频上传到内容系统105。在一些情况下，两个或更多个客户端设备170可以上传与内容系统105相同或非常相似的视频。网络网络190表示客户端设备170与内容系统105之间的通信通路。在一个实施例中，网络190是因特网，但是还可以是任何网络，包括但不限于LAN、MAN、WAN、移动、有线或无线网络、云计算网络、专用网络或虚拟专用网络及其任何组合。此外，可使用诸如安全套接本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，所述方法包括：识别第一视频中的第一多个镜头和第二视频中的第二多个镜头；确定每个视频的经识别的镜头的镜头持续时间；生成每个视频的直方图，每个直方图将对应视频的多个经识别的镜头划分成根据镜头持续时间的范围而划分的桶的集合；确定每个直方图的桶的置信权重，桶的置信权重基于在该桶的镜头持续时间的范围内发生特定数量的经识别的镜头的可能性；基于每个相应直方图的每个桶中的经识别的镜头的数量并且基于所述置信权重来计算两个视频的相关值；以及基于将所述相关值与每个视频的自相关值相比较来确定所述第一视频与所述第二视频之间的相似性。

【技术特征摘要】
【国外来华专利技术】2016.11.30 US 15/365,6991.一种计算机实现的方法，所述方法包括：识别第一视频中的第一多个镜头和第二视频中的第二多个镜头；确定每个视频的经识别的镜头的镜头持续时间；生成每个视频的直方图，每个直方图将对应视频的多个经识别的镜头划分成根据镜头持续时间的范围而划分的桶的集合；确定每个直方图的桶的置信权重，桶的置信权重基于在该桶的镜头持续时间的范围内发生特定数量的经识别的镜头的可能性；基于每个相应直方图的每个桶中的经识别的镜头的数量并且基于所述置信权重来计算两个视频的相关值；以及基于将所述相关值与每个视频的自相关值相比较来确定所述第一视频与所述第二视频之间的相似性。2.根据权利要求1所述的方法，其中，所述识别第一视频中的第一多个镜头和第二视频中的第二多个镜头还包括：针对所述第一视频和所述第二视频中的每一个视频：识别该视频的帧的帧内分数，所述帧内分数指示该视频的帧之间的变化量；确定所述帧内分数中的一个或多个指示该视频中的镜头边界；以及识别该视频中的所述多个镜头，所述多个镜头中的镜头被该视频中的连续镜头边界分开。3.根据权利要求1或2所述的方法，其中，所述确定每个视频的经识别的镜头的镜头持续时间还包括：确定该视频的经识别的镜头内的帧的数量；以及将经识别的镜头内的所述帧的数量确定作为所述镜头的镜头持续时间。4.根据权利要求1、2或3所述的方法，其中，所述生成每个视频的所述直方图还包括：识别镜头范围持续时间的连续序列；以及将每个视频的经识别的镜头指派给每个视频的所述直方图的所述桶，所述直方图的所述桶对应于所述镜头范围持续时间，经识别的镜头被指派给所述桶，使得经识别的镜头的所述持续时间对应于所述桶的所述镜头范围持续时间。5.根据权利要求1、2、3或4所述的方法，其中，所述确定每个直方图的桶的置信权重还包括：确定每个直方图中的桶的镜头计数的概率，桶的镜头计数对应于指派给该桶的镜头的数量，该桶的所述概率指示视频在该桶的所述镜头持续时间范围内将具有等于该桶的所述镜头计数的数量的镜头的可能性；以及确定所述直方图的所述桶的置信权重，桶的所述置信权重与该桶的所述镜头计数的所述概率具有反比关系。6.根据权利要求5所述的方法，其中，桶的所述概率是基于确定所述镜头计数的泊松概率来进一步计算的，桶的所述泊松概率是基于具有该桶的所述镜头持续时间范围内的镜头持续时间的样本视频的集合中的镜头的平均镜头计数来计算的。7.根据权利要求6所述的方法，其中，所述样本视频的集合是从内容存储中检索的并且与所述第一视频或所述第二视频中的至少一个视频共享一个或多个特性。8.根据任一前述权利要求所述的方法，其中，所述计算相关值还包括：计算所述两个视频的每个直方图的桶的镜头计数的内积，桶的所述镜头计数对应于指派给该桶的镜头的数量，每个桶的所述镜头计数通过该桶的对应置信权重来修改。9.根据任一前述权利要求所述的方法，其中，每个视频的自相关值通过以下步骤来计算：计算每个视频的直方图的桶的镜头计数与相同直方图的相同桶的所述镜头计数的内积，桶的所述镜头计数对应于指派给该桶的镜头的数量，每个桶的所述镜头计数通过该桶的对应置信权重来修改。10.根据权利要求9所述的方法，其中，所述确定所述第一视频与所述第二视频之间的相似性还包括：确定所述相关值与每个视频的自相关值的积的平方根之间的比较比率；以及响应于确定所述比较比率高于阈值，确定所述两个视频是相似的。11.根据任一前述权利要求所述的方法，其中，桶的所述置信权重基于对于所述内容存储中的视频在该桶的镜头持续时间的范围内发生特定数量的经识别的镜头的可能性。12.一种计算机程序产品，所述计算机程序产品包括非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有编码在其上的指令，所述指令当由处理器执行时，使所述处理器：识别第一视频中的第一多个镜头和第二视频中的第二多个镜头；确定每个视频的经识别的镜头的镜头持续时间；生成每个视频的直方图，每个直方图将对应视频的多个经识别的镜头划分成根据镜头持续时间的范围而划分的桶的集合；确定每个直方图的桶的置信权重，桶的...

【专利技术属性】
技术研发人员：王永喆，安东尼·麦，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US