用于数字内容的定制缩略图图像生成和选择制造技术

本申请涉及用于数字内容的定制缩略图图像生成和选择。根据示例，用于使用计算机视觉和机器学习来为数字内容提供定制和个性化的缩略图图像的系统可以包括处理器和存储指令的存储器。当执行指令时，处理器可以使系统从数字内容提供商接收要被分发到与一个或更多个用户相关联的一个或更多个客户端设备的数字内容。处理器还可以使用缩略图生成技术基于数字内容来生成多个不同的缩略图候选。处理器还可以从多个缩略图候选中选择缩略图子集。处理器然后可以传输缩略图候选子集中的至少一个缩略图候选，以在一个或更多个客户端设备处与数字内容一起呈现。

【技术实现步骤摘要】
用于数字内容的定制缩略图图像生成和选择
本专利申请总体上涉及图像分析和数字内容处理，且更具体地，涉及使用计算机视觉和机器学习为数字内容生成和选择定制和个性化的缩略图图像的系统和方法。背景随着移动技术和社交媒体的最新发展，人们在其移动用户设备上与数字内容(如视频或交互式媒体)交互的方式也在不断发展。尽管大量的数字内容正被推给用户，但许多数字内容被忽略了，因为人们可能有独特的偏好，并被不同的事物所吸引。这给数字内容提供商和创作者(如广告商)带来了独特的挑战。附图简述本公开的特征通过示例的方式示出，并且不限于以下附图，其中相同的数字表示相同的元件。本领域技术人员将从下文中容易地认识到，在不脱离本文描述的原理的情况下，可以采用附图中示出的结构和方法的替代示例。图1A示出了根据一个示例的、用于提供定制和个性化的缩略图图像的系统的框图。图1B示出了根据一个示例的、用于提供定制和个性化的缩略图图像的系统的系统环境的框图。图2A示出了根据一个示例的、使用缩略图生成器和缩略图选择器来提供定制的和个性化的缩略图图像的系统的框图。图2B示出了根据一个示例的、使用缩略图生成器和缩略图选择器来提供定制的和个性化的缩略图图像的数字内容创建和传送系统的框图。图3示出了根据一个示例的、用于提供定制和个性化的缩略图图像的系统的框图。图4示出了根据一个示例的、用于提供定制和个性化的缩略图图像的计算机系统的框图。图5示出了根据一个示例的、用于提供定制和个性化的缩略图图像的方法。详细描述为了简单和说明的目的，通过主要参考其示例来描述本申请。在以下描述中，阐述了许多具体细节，以便提供对本申请的全面理解。然而，将明显的是，本申请可以在不限于这些具体细节的情况下实施。在其他情况下，没有详细描述本领域普通技术人员容易理解的一些方法和结构，以免不必要地模糊本申请。如本文所使用的，术语“一个(a)”和“一个(an)”旨在表示特定元素中的至少一个，术语“包括(includes)”意味着包括但不限于，术语“包括(including)”意味着包括但不限于，术语“基于”意味着至少部分基于。某些形式的数字内容(例如视频或交互式媒体)可能不总是在他或她的移动计算设备(例如，智能电话或平板电脑)上完整或容易地呈现给用户。例如，视频可能很长，可能需要一定量的时间来消耗。结果，一些数字内容提供商或数字内容分发者可能依赖于使用缩略图作为“概括”数字内容或提供数字内容的“预览(sneakpreview)”的方式，以便引起用户的兴趣，使得他或她然后可以消费数字内容或进一步与数字内容交互。应当理解，缩略图可以是静态图像或从数字内容(例如视频或交互式媒体)的帧中获取的其他视觉表示。如果用户被吸引到呈现在他或她的移动计算设备上的缩略图或者对其感兴趣，则他或她然后可以通过执行动作(例如点击缩略图或其他动作)来决定与数字内容交互，从而观看完整视频或者以更有意义的方式与交互式媒体或数字内容交互。与使用缩略图相关的一个挑战是，不同的用户有不同的兴趣、偏好和亲和性(affinities)。吸引一个用户的东西可能不会吸引另一个用户。引起一个用户反应的东西可能不会引起另一个用户的反应。可以有各种元素触发或引起用户的兴趣。此外，这些元素可以包括主题、内容、设计、颜色、质量、日期、时间、地点、季节、温度、当前事件、趋势、上下文(context)、他人的影响等。然而，传统的数字内容系统忽略了这些元素，而是采用静态方法来创建和呈现缩略图。例如，传统系统可以从视频或交互式多媒体中随机选择一帧来创建单个缩略图候选。一旦实现了这一点，这个随机选择的帧可以被普遍地呈现给大量用户，而很少或不考虑用户的上下文、偏好、亲和性等。因此，这种方法可能难以确保生成或选择吸引目标用户注意力的具有吸引力的缩略图。此外，这种系统可能缺乏正确理解或跟踪哪个生成或选择的缩略图比其他缩略图更有效的方法，尤其是当涉及到增加用户对数字内容的参与时。在本文公开了使用计算机视觉和机器学习为数字内容生成和选择定制和个性化的缩略图图像的系统和方法。本文描述的系统和方法可以从接收自内容源(例如数字内容提供商、创建者或分发者)的数字内容(例如视频或交互式媒体)的帧中自动生成若干个缩略图候选。如本文所述，该系统和方法可以进一步采用计算机视觉和/或机器学习技术来自动生成多个(apluralityof)缩略图候选。在一些示例中，生成的多个缩略图候选可以是捕捉或反映一个或更多个不同元素的图像或帧的不同池。例如，如果视频包括描绘狗的多个帧、描绘猫的各种帧以及描绘鲸鱼的其他帧，则系统可以生成至少三个缩略图——至少一个缩略图候选呈现狗，至少一个缩略图候选呈现猫，以及至少一个缩略图呈现鲸鱼。以这种方式，本文描述的系统和方法可以使用计算机视觉和/或机器学习技术来最小化缩略图主题的重复或冗余(例如，生成狗的多个帧或者没有猫或鲸鱼的帧)，并且由此增加缩略图候选的多样性，这些缩略图候选在被选择并与已知或预测的用户偏好匹配时可以提高引起用户参与或交互的可能性。应当理解，计算机视觉和/或机器学习技术可以帮助识别与数字内容中描绘的帧或图像相关联的所有种类的概念。如本文和全文中所使用的，术语“概念”不仅可以用来指或描述图像中描绘的物理事物，例如对象、内容或主题(例如狗、猫等)，而且也可以指或描述其他特征，例如感官感觉、情绪、情感、设计、颜色、质量、日期、时间、地点、季节、温度、当前事件、趋势、上下文、他人的影响等。例如，概念可以包括对象(例如路标或珠宝)、(例如通过面部表情识别感知的)情绪、场景(例如海滩或山脉)、情感(例如感觉或反应)和/或设计元素(例如颜色、质量、图案、布局、模因(meme)/口号等)。其他各种特征或元素也可以通过数字内容来传达，其可以通过一种或更多种计算机视觉和/或机器学习技术来识别。如上所述，数字内容的一部分可以传达狗的图像。因此，该数字内容可以被识别为传达“狗”的概念和/或该图像的其他相关质量(情绪：愉快，颜色：棕色，季节：秋天，时间：下午，图像分辨率：4K等)。尽管本文描述的示例通常针对被视觉传达的概念，但是应当理解，本文和全文中使用的术语“概念”也可以用于描述由任何数字内容传达的任何种类的概念，例如听觉、感觉或其他感知，这从下面的描述和示例中将是明显的。如本文更详细描述的，系统和方法可以进一步采用机器学习技术，以从多个生成的缩略图候选中选择一个或更多个缩略图呈现给用户。在一些示例中，机器学习技术可以基于被预测为吸引来自任何给定的用户池的用户的概念来选择这一个或更多个缩略图。这种预测可以通过使用任意数量的个性化算法或其他类似技术来实现，如下面更详细描述的。在一些示例中，机器学习技术可以是基于人工智能(AI)的技术。例如，在一些示例中，可以使用生成对抗网络(GAN)。GAN可以包括生成图像的生成器和基于机器学习模型确定生成的图像是否将会引起用户兴趣的判别器。判别器的输出可以被输入到生成器，以训练生成器生成越来越可能被用户交互的图像。在一些示例中，本文档来自技高网...

【技术保护点】
1.一种系统，包括：/n处理器；/n存储指令的存储器，所述指令当由所述处理器执行时使所述处理器：/n从数字内容提供商接收要被分发到与一个或更多个用户相关联的一个或更多个客户端设备的数字内容；/n使用缩略图生成技术基于所述数字内容来生成多个缩略图候选；/n从所述多个缩略图候选中选择缩略图子集；和/n传输所述缩略图候选子集中的至少一个缩略图候选以在所述一个或更多个客户端设备处与所述数字内容一起呈现。/n

【技术特征摘要】
20190924 US 16/580,8821.一种系统，包括：
处理器；
存储指令的存储器，所述指令当由所述处理器执行时使所述处理器：
从数字内容提供商接收要被分发到与一个或更多个用户相关联的一个或更多个客户端设备的数字内容；
使用缩略图生成技术基于所述数字内容来生成多个缩略图候选；
从所述多个缩略图候选中选择缩略图子集；和
传输所述缩略图候选子集中的至少一个缩略图候选以在所述一个或更多个客户端设备处与所述数字内容一起呈现。


2.根据权利要求1所述的系统，其中所述缩略图生成技术包括：
使用计算机视觉技术识别所述数字内容的图像静像中的多个概念，其中所述计算机视觉技术包括图像分类、对象检测、对象跟踪、语义分割或实例分割中的至少一种；
基于来自所识别的多个不同概念的概念的独特性来选择所述图像静像；和
基于所选择的图像静像来生成多个不同的缩略图候选。


3.根据权利要求2所述的系统，其中选择所述图像静像包括利用值对每个图像静像进行评分，其中所述值指示所述图像静像中概念的独特性。


4.根据权利要求3所述的系统，其中用于所述图像静像中的每个图像静像的所述值被用来对所生成的缩略图候选进行排名或分类。


5.根据权利要求1所述的系统，其中所述缩略图子集通过机器学习技术被识别为具有刺激用户交互以预览所述数字内容的可能性。


6.根据权利要求5所述的系统，其中所述机器学习技术用于识别所述多个不同的缩略图候选中的概念，并将所述概念与关联于所述一个或更多个用户的信息进行匹配。


7.根据权利要求5所述的系统，其中所述机器学习技术包括使用神经网络、基于树的模型、贝叶斯网络、支持向量、聚类、核方法、样条或知识图中的至少一种。


8.一种方法，包括：
由处理器从数字内容提供商接收要被分发到与一个或更多个用户相关联的一个或更多个客户端设备的数字内容；
由所述处理器使用计算机视觉技术来识别所述数字内容中的至少一个概念；
由所述处理器基于所述数字内容使用缩略图生成技术来生成多个不同的缩略图候选；
由所述处理器从所述多个缩略图候选中选择缩略图子集；和
由所述处理器传输所述缩略图候选子集中的至少一个缩略图候选以在一个或更多个客户端设备处与所述数字内容一起呈现。


9.根据权利要求...

【专利技术属性】
技术研发人员：毛一强，陈雨婷，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国;US