通过机器学习选择代表性视频帧制造技术

本公开内容的各方面涉及包括存储程序的介质的系统和基于机器学习选择代表性视频帧的方法。该程序和方法使得接收视频帧集合；通过移除图像质量阈值之外的帧来确定帧的第一子集；通过移除图像静止阈值之外的帧来确定第二子集；计算第二子集中的每个帧的特征数据；针对第二子集中的每一个帧将特征数据提供给机器学习模型(MLM)，该MLM被配置成基于特征数据输出帧的第二子集中的每一个帧的分数，其中已经用基于美学来标记的第一图像集合和基于图像质量来标记的第二图像集合对MLM进行了训练；以及基于输出分数来选择帧。以及基于输出分数来选择帧。以及基于输出分数来选择帧。

【技术实现步骤摘要】
【国外来华专利技术】通过机器学习选择代表性视频帧
[0001]相关申请的交叉引用
[0002]本专利申请要求于2021年12月14日提交的序列号为第17/550,852号的美国申请的权益，该美国申请要求于2020年12月30日提交的题为“MACHINE LEARNING
‑
BASED SELECTION OF AREPRESENTATIVE VIDEO FRAME WITHIN AMESSAGING APPLICATION”的序列号为第63/131,839号的美国临时专利申请的权益，其全部内容通过引用并入本文。


[0003]本公开内容大体上涉及消息收发系统，包括实现基于机器学习来选择代表性视频帧的消息收发系统。

技术介绍

[0004]消息收发系统使得在用户之间交换消息内容。例如，消息收发系统允许用户与一个或更多个其他用户交换消息内容(例如，视频、图像)。
附图说明
[0005]在附图(其不一定按比例绘制)中，相同的附图标记可以在不同的视图中描述类似的部件。为了容易标识对任何特定元素或动作的讨论，附图标记中的一个或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收与视频相对应的视频帧集合；通过从所述视频帧集合中移除在图像质量阈值之外的那些视频帧来确定视频帧的第一子集；通过从所述视频帧的第一子集中移除在图像静止阈值之外的那些视频帧来确定视频帧的第二子集；计算所述视频帧的第二子集中的每个视频帧的特征数据；针对所述视频帧的第二子集中的每个视频帧将所述视频帧的特征数据作为输入提供给机器学习模型，其中，所述机器学习模型被配置成基于所述视频帧的特征数据来输出所述视频帧的第二子集中的每个视频帧的分数，其中已经用基于图像美学来标记的第一图像集合对所述机器学习模型进行了训练，并且已经用基于图像质量来标记的第二图像集合进一步对所述机器学习模型进行了训练，所述第一图像集合和所述第二图像集合与不同的域相关联；以及基于由所述机器学习模型输出的分数，从所述视频帧的第二子集中选择视频帧来代表所述视频帧集合。2.根据权利要求1所述的方法，其中，确定所述视频帧的第一子集包括：针对所述视频帧集合中的每个视频帧，应用与所述视频帧的亮度、锐度、均匀性和模糊度相关的相应图像量化符；以及从所述视频帧集合中移除相对于所述相应图像量化符中的每个图像量化符在预设阈值以上或以下的那些视频帧。3.根据权利要求1所述的方法，其中，确定所述视频帧的第二子集包括：在所述视频帧的第一子集中的连续视频帧之间计算与逐像素帧差异相对应的相应静止值；以及基于所述相应静止值，从所述视频帧的第一子集中移除预设量的视频帧。4.根据权利要求1所述的方法，其中，与所述第一图像集合相关联的域对应于美学视觉分析(AVA)数据库，其中，所述视频被与消息收发应用相关联地存储，并且其中，与所述第二图像集合相关联的域对应于所述消息收发应用，所述第二图像集合对应于与所述消息收发应用相关联地存储的附加视频。5.根据权利要求4所述的方法，其中，所述第二图像集合对应于与所述消息收发应用相关联地存储的所述附加视频中的随机选择的视频帧。6.根据权利要求4所述的方法，其中，所述机器学习模型的训练包括：执行基于所述第一图像集合来训练所述机器学习模型的第一阶段；将所述第二图像集合作为输入提供给在训练的所述第一阶段中经训练的所述机器学习模型，以便对所述第二图像集合进行标记；通过降低所述第二图像集合的图像质量来生成第三图像集合；以及执行基于已标记的第二图像集合和所述第三图像集合来训练所述机器学习模型的第二阶段。7.根据权利要求6所述的方法，其中，降低所述第二图像集合的图像质量基于以下中至
少之一：所述第二图像集合的下采样、调整曝光或高斯模糊。8.根据权利要求6所述的方法，其中，所述机器学习模型的训练还包括：执行基于与所述消息收发应用相关联地存储的其他视频内包括的图像的已标记子集来训练所述机器学习模型的第三阶段；向已经通过所述第三阶段的训练被训练的所述机器学习模型提供包括在所述其他视频内的图像的未标记子集，以便对视频帧的所述未标记子集进行伪标记；以及执行基于所述图像的已标记子集和所述图像的伪标记子集来训练所述机器学习模型的第四阶段。9.根据权利要求8所述的方法，其中，所述图像的已标记子集已经基于针对以下中至少之一的偏好进行了标记：所述图像的主体居中、所述主体较大、所述主体在前景中或所述主体具有预定义表情或特征。10.根据权利要求1所述的方法，其中，所选择的视频帧对应于代表所述视频帧集合的缩略图图像。11.根据权利要求1所述的方法，其中，所选择的视频帧用于以下中至少之一：所述视频的视觉标记、对所述视频的突出显示部分进行标记、相对于其他视频对所述视频进行排序以用于视频编辑、地图界面内的视频的内容管理、或者基于被选择来呈现所述视频帧集合的其他视频帧生成动画缩略图。12.一种系统，包括：处理器；和存储指令的存储器，所述指令在由所述处理器执行时将所述处理器配置成执行操作，所述操作包括：接收与视频相对应的视频帧集合；通过从所述视频帧集合中移除在图像质量阈值之外的那些视频帧来确定视频帧的第一子集；通过从所...

【专利技术属性】
技术研发人员：卡维亚，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：