用于针对视频内容项的调色板提取的方法、系统和介质技术方案

本申请涉及用于针对视频内容项的调色板提取的方法、系统和介质。在一些实施例中，所述方法包括：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的像素中的每个像素的颜色，将所述像素聚类成多个集群；针对所述多个集群中的每个集群，确定该集群的平均颜色；从所述多个集群中选择特定集群，该选择基于所述特定集群的平均颜色；基于所述特定集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。

Method, system and medium for extracting palette from video content items

The application relates to a method, system and medium for extracting palette from a video content item. In some embodiments, the method includes: identifying a frame of a video content item at a server; clustering the pixels into multiple clusters based on the color of each pixel in the frame of the video content item; determining the average color of the cluster for each cluster in the multiple clusters; and Selection of a particular cluster in a plurality of clusters is based on the average color of the particular cluster; determination of the palette of the frame corresponding to the video content item for one or more user interface elements in which the video content item will be presented based on the average color of the particular cluster; and response to presentation The request of the video content item will instruct the information of the palette to be transmitted to the user equipment.

【技术实现步骤摘要】
用于针对视频内容项的调色板提取的方法、系统和介质
本公开的主题涉及用于对于视频内容项的调色板提取的方法、系统和介质。
技术介绍
人们经常在诸如他们的移动电话、平板型计算机等用户设备上观看视频。这些视频通常从视频共享服务流式传输到用户设备。在一些情况下，在用户界面内呈现视频，例如，该用户界面能够包括视频播放器控件(例如，暂停控件、倒回控件等)和/或关于视频的信息。然而，用户界面中不同项的颜色通常处于静态，因此在视频呈现期间可能与视频发生冲突，这就会让用户的观看体验不佳。在更具体的示例中，当正在用户界面中播放视频时，由于场景和颜色变化，用户界面的静态部分可能持续与观看体验冲突。因此，期望提供用于针对视频内容项的调色板提取的方法、系统和介质。
技术实现思路
本专利技术提供用于视频内容项的调色板提取的方法、系统和介质。根据本公开主题的一些实施例，提供用于针对视频的调色板提取的方法，所述方法包括：使用包括硬件处理器的服务器，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。根据本公开主题的一些实施例，提供用于针对视频的调色板提取的系统，所述系统包括：硬件处理器，该硬件处理器被编程用于：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。根据本公开主题的一些实施例，提供一种包含计算机可执行指令的非暂时性计算机可读介质，所述指令当由处理器来执行时使得所述处理器执行用于针对视频的调色板提取的方法。在一些实施例中，所述方法包括：在服务器处，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成集群组；针对所述集群组中的多个集群中的每个集群，确定该集群的平均颜色；基于集群的平均颜色，选择所述多个集群中的集群；基于所选择的集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。根据本公开主题的一些实施例，提供一种用于针对视频的调色板提取的系统，所述系统包括：用于在服务器处识别视频内容项的帧的装置；用于基于所述视频内容项的所述帧的多个像素中的每个像素的颜色将所述多个像素聚类成集群组的装置；针对所述集群组中的多个集群中的每个集群，用于确定所述集群的平均颜色的装置；用于基于集群的平均颜色选择所述多个集群中的所述集群的装置；用于基于所选择的集群的平均颜色针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板的装置；以及用于响应于呈现所述视频内容项的请求而将指示所述调色板的信息发送到用户设备的装置。在一些实施例中，所述系统进一步包括用于在将指示所述调色板的所述信息发送到所述用户设备之前将指示所述调色板的所述信息从第一格式转换成第二格式的装置。在一些实施例中，所述系统进一步包括用于基于所选择的集群的平均颜色来确定是否选择所选择的集群的所述平均颜色作为对应于所述视频内容项的所述帧的主要颜色的装置。在一些实施例中，基于所述集群的所述平均颜色与所述视频内容项的先前分析的帧的相似性，选择所述集群组中的集群。在一些实施例中，所述系统进一步包括用于确定多个调色板的装置，每个调色板对应于将应用于其中将呈现所述视频内容项的用户界面的多个基调中的基调。在一些实施例中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。在一些实施例中，所述系统进一步包括：用于生成所述视频内容项的多个帧的拼接的装置；用于确定所述拼接内的所述多个帧中的每个帧的主要颜色的装置；以及用于基于所述拼接内的所述多个帧中的每个帧的所述主要颜色来为所述拼接内的所述多个帧中的每个帧生成调色板的装置。附图说明在结合下列附图加以考虑时，其中类似的附图确定类似的元素，参照下文对本公开主题的具体描述，能够更完整地领会本公开主题的各种目的、特征和优势。图1示出根据本公开主题的一些实施例的用于针对视频的帧的调色板提取的过程的示例。图2A和图2B示出根据本公开主题的一些实施例的用于针对视频的多个帧的调色板提取的示意图的说明性示例。图3示出根据本公开主题的一些实施例的适于实施本文所述的用于针对视频的调色板提取的机制的说明性系统的示意图。图4示出根据本公开主题的一些实施例的能够在图3的服务器和/或用户设备中使用的硬件的详细示例。图5示出根据本公开主题的一些实施例的用于基于所确定的调色板来呈现视频内容项的用户界面的示例。具体实施方式根据各种实施例，提供用于针对视频的调色板提取的机制(其能够包括方法、系统和介质)。在一些实施例中，本文所述的机制能够识别描述视频的帧中出现的内容的一个或多个颜色的内容颜色数据。例如，在一些实施例中，内容颜色数据能够指示帧的主要颜色或者该帧期间在视频的内容内出现最频繁的颜色。在一些实施例中，所述机制能够再基于所识别的内容颜色数据来生成调色板。例如，在一些实施例中，调色板能够指示其中将视频呈现在用户设备上的用户界面的各个部分的颜色，诸如指示关于视频的信息的区块、视频播放器控件的颜色、在视频内容项的呈现上叠加的图形覆盖的颜色和/或用户界面的任何其他合适部分。在一些实施例中，本文所述的机制能够针对视频的多个帧(例如，在整个视频中间隔一秒的帧和/或任何其他合适帧)重复内容颜色数据识别和调色板生成。所述机制能够再将关于帧的调色板信息发送到请求呈现视频的用户设备，由此允许用户设备在呈现视频期间使用调色板信息来动态地更改呈现视频的一个或多个用户界面元素的调色方案。在一些实施例中，所述机制能够使用任何合适技术或技术组合来确定内容颜色数据。例如，在一些实施例中，所述机制能够基于每个像素的颜色来聚类帧内的像素，并且能够识别具有最多像素的集群。在另一示例，在一些实施例中，所述机制能够通过分组或连接特定颜色范围内的像素来聚类帧的特定区域内的像素，并且能够识别具有多于特定阈值像素数量的像素数量的一个或多个颜色范围。然后，所述机制能够确定帧的主要颜色或主导颜色是在具有最多像素的集群内的像素的平均颜色或其他合适组合、或者在像素数量多于阈值像素数量的一个或多个集群内的像素的平均颜色或其他合适组合。在一些实施例中，本文描述的机制能够通过使用服务器来分析包括在视频内容中的多个帧的颜色并且使用服务器将所确定的调色板信息发送到用户设备，本文档来自技高网...

【技术保护点】
1.一种用于针对视频的调色板提取的方法，所述方法包括：使用包括硬件处理器的服务器，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；针对所述多个集群中的每个集群，确定该集群的平均颜色；从所述多个集群中选择特定集群，该选择基于所述特定集群的平均颜色；基于所述特定集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素，确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。

【技术特征摘要】
2017.04.18 US 15/490,4671.一种用于针对视频的调色板提取的方法，所述方法包括：使用包括硬件处理器的服务器，识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；针对所述多个集群中的每个集群，确定该集群的平均颜色；从所述多个集群中选择特定集群，该选择基于所述特定集群的平均颜色；基于所述特定集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素，确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。2.根据权利要求1所述的方法，进一步包括：在将指示所述调色板的所述信息发送到所述用户设备之前，将指示所述调色板的所述信息从第一格式转换成第二格式。3.根据权利要求1所述的方法，进一步包括：基于所述特定集群的所述平均颜色，确定是否选择所述特定集群的所述平均颜色作为对应于所述视频内容项的所述帧的主要颜色。4.根据权利要求1所述的方法，其中，所述特定集群是基于所述特定集群的所述平均颜色与所述视频内容项的先前分析的帧的相似性来选择的。5.根据权利要求1所述的方法，进一步包括：确定多个调色板，每个调色板对应于将被应用于用户界面的多个基调中的一个基调，其中所述视频内容项将被呈现在所述用户界面中。6.根据权利要求5所述的方法，其中，每个调色板包括对应于处于活动状态的用户界面控件的第一颜色以及对应于处于空闲状态的用户界面控件的第二颜色。7.根据权利要求1所述的方法，进一步包括：生成所述视频内容项的多个帧的拼接；确定所述拼接内的所述多个帧中的每个帧的主要颜色；以及基于所述拼接内的所述多个帧中的每个帧的所述主要颜色，为所述拼接内的所述多个帧中的每个帧生成调色板。8.一种用于针对视频的调色板提取的系统，所述系统包括：硬件处理器，所述硬件处理器被编程用于：识别视频内容项的帧；基于所述视频内容项的所述帧的多个像素中的每个像素的颜色，将所述多个像素聚类成多个集群；针对所述多个集群中的每个集群，确定该集群的平均颜色；从所述多个集群中选择特定集群，该选择基于所述特定集群的平均颜色；基于所述特定集群的所述平均颜色，针对其中将呈现所述视频内容项的一个或多个用户界面元素确定对应于所述视频内容项的所述帧的调色板；以及响应于呈现所述视频内容项的请求，将指示所述调色板的信息发送到用户设备。9.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：在将指示所述调色板的所述信息发送到所述用户设备之前，将指示所述调色板的所述信息从第一格式转换成第二格式。10.根据权利要求8所述的系统，其中，所述硬件处理器被进一步编程用于：基于所述特定集群的所述平均颜色，确定是否选择所述特定集群的所述平均颜色作为对应于所述视频内容项的所述帧的主要颜色。11.根据权...

【专利技术属性】
技术研发人员：塞缪尔·基恩，梅甘·克劳格斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US