在线社交网络上的视频关键帧显示制造技术

在一个实施方式中，一种方法包括：从用户接收针对视频的查询；识别与查询匹配的视频；针对每个所识别视频检索与一个或多个概念相关联的一组关键帧；针对每个所识别视频的每个关键帧，基于与关键帧相关联的概念的普遍度来计算关键帧得分，普遍度是参考与所识别视频的所检索的一组关键帧中的每个其他关键帧相关联的概念来确定的；向第一用户发送搜索结果界面，搜索结果界面包括与一个或多个所识别视频相对应的搜索结果，每个搜索结果包括具有大于阈值关键帧得分的关键帧得分的对应所识别视频的关键帧。

Video Key Frame Display on Online Social Networks

In one embodiment, one method includes: receiving queries for video from users; identifying matching videos with queries; retrieving a set of key frames associated with one or more concepts for each identified video; and calculating key frame scores for each key frame of each recognized video based on the universality of concepts associated with the key frame, the universality being a reference. The concept associated with each other key frame in a set of key frames retrieved by the identified video is determined; the search result interface is sent to the first user, which includes search results corresponding to one or more identified videos, and each search result includes a key frame corresponding to the identified video with a score greater than the threshold key frame score.

【技术实现步骤摘要】
【国外来华专利技术】在线社交网络上的视频关键帧显示
本公开总体上涉及社交网络环境内的社交图和针对视频的用户界面。
技术介绍
可以包括社交网络网站的社交网络系统可以使其用户(诸如个人或组织)能够与其交互、或通过其来与彼此交互。通过来自用户的输入，社交网络系统可以在社交网络系统中创建和存储与用户相关联的用户配置文件。用户配置文件可以包括人口统计信息、通信信道信息和关于用户的个人兴趣的信息。通过来自用户的输入，社交网络系统还可以创建和存储该用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，海报、照片共享、动作组织、消息传递、游戏或广告)以促进两个用户或多个用户之间的社交交互。社交网络系统可以通过一个或多个网络将与其服务相关的内容或消息发送至用户的移动或其他计算设备。用户还可以在用户的移动或其他计算设备上安装软件应用，用于访问用户的用户配置文件以及社交网络系统内的其他数据。社交网络系统可以生成用于向用户显示的一组个性化的内容对象，诸如，与该用户关联的其他用户的汇总故事的新闻馈送。社交图分析根据由节点和边线组成的网络理论来看待社交关系。节点表示网络内的单独角色，并且边线表示角色之间的关系。所产生的基于图形的结构通常非常复杂。可以存在许多类型的节点和许多类型的用于连接节点的边线。在其最简单的形式中，社交图是正在研究的所有节点之间的所有相关边线的映射。
技术实现思路
随着现在用户可获得大量视频，针对打算观看视频的用户，出现的一个问题是难以对具有用户感兴趣的内容的视频进行分类和选择。在用户选择实际上感兴趣的视频之前，用户经常不得不诉诸于耗时且低效的观看部分视频的过程。本文中描述的方法试图通过向用户显示来自视频的用于可视地概括视频的选择数量的值得注意的帧或“关键帧”来解决该问题。这样的显示可以通过呈现关键帧中描绘的关键时刻和概念来向用户提供对视频内容的有意义预览。每当在社交网络系统上(例如，在搜索结果界面上、在新闻馈送上、在配置文件界面上、在视频库中、在私人消息中)向用户呈现视频时，可以向用户显示预览。基于该预览，用户能够以最小的时间投入较高水平地查看视频关于什么内容(并且确定关于视频的其他信息，诸如视觉质量)。于是，用户能够决定是否投入时间来观看视频。通过激发用户对特定视频的兴趣并向用户展示可获得视频中存在的相关和多样化内容的广度，预览还可以用于促进视频内容的总体性观看并且促进视频搜索功能的使用。此外，用户能够从特定关键帧回放视频，使得用户可以使用预览作为从关键帧到关键帧快速导航通过视频(例如，以跳转到用户可能感兴趣的视频部分)的手段。本文中的方法还具有以下附加技术优势：为用户创建轻量级交互体验以使得用户能够快速地收集关于一个或多个视频的信息、使等待时间最小化、并节省带宽和处理器资源(例如，通过减少用户在选择一个视频之前加载和观看多个视频的需要)。为了进一步实现这些目标，社交网络系统除其他事情之外可以以数据有效的格式封装关键帧，并且可以利用预缓存方法来创建更轻量级的用户体验。在特定实施方式中，社交网络系统可以从第一用户的客户端系统接收针对一个或多个视频的搜索查询(例如，由第一用户输入的搜索查询)。社交网络系统可以识别与搜索查询匹配的一个或多个视频。每个所识别视频可以与一组关键帧相关联(例如，用其进行索引)，这组关键帧可以是来自相应的所识别视频的帧(例如，值得注意的帧)。社交网络系统可以针对每个所识别视频检索所识别视频的该组关键帧。每个关键帧可以与一个或多个概念(例如，由社交图上的概念节点表示的概念)相关联。社交网络系统可以针对每个所识别视频的每个关键帧计算关键帧得分。关键帧得分可以是基于与关键帧相关联的一个或多个概念的普遍度(prevalence)。与特定所识别视频的特定关键帧相关联的每个概念的普遍度可以参考与针对特定所识别视频的检索到的该组关键帧中的每个其他的关键帧相关联的一个或多个概念来确定。社交网络系统可以向第一用户的客户端系统发送用于显示的搜索结果界面，该搜索结果界面包括与一个或多个所识别视频对应的一个或多个搜索结果。每个搜索结果可以包括被确定为“最佳关键帧”的对应的所识别视频的一个或多个关键帧，其可以是具有大于阈值关键帧得分的关键帧得分的关键帧。虽然本公开集中于视频的关键帧，但是考虑了任何合适的媒体项的关键帧(例如，动态GIF、幻灯片等)。此外，关键帧的使用的描述虽然通常集中于在搜索环境中使用关键帧，但是总体上可应用于向用户显示视频的其他环境中。本文中公开的实施方式仅是示例，并且本公开的范围不限于此。特定实施方式可以包括以上公开的实施方式的组件、元件、特征、功能、操作或步骤中的全部、一些或不包括。在所附权利要求中具体公开了根据本专利技术的实施方式，所附权利要求涉及一种方法、一种存储介质和一种系统，其中，一种权利要求类别中提到的任何特征(例如，方法)也可以在另一种权利要求类别(例如，系统或计算机程序产品)中要求保护。所附权利要求中的依赖性或返回引用仅出于形式上的原因来选择。然而，也可以要求保护由返回任何先前的权利要求的特意引用(特别是多个依赖性)所导致的任何主题，从而公开并且可以要求权利要求及其特征的任何组合，而不管所附权利要求中选择的依赖性。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中和/或与本文中描述或描绘的任何实施方式或特征或所附权利要求的任何特征的任何组合中要求保护。在根据本专利技术的实施方式中，一种方法包括通过一个或多个计算设备：从第一用户的客户端系统接收由第一用户输入的针对一个或多个视频的搜索查询；识别与搜索查询匹配的一个或多个视频；针对每个所识别视频，检索所识别视频的一组关键帧，每个关键帧是所识别视频的一帧，其中，每个关键帧与一个或多个概念相关联；针对每个所识别视频的每个关键帧，基于与关键帧相关联的一个或多个概念的普遍度来计算关键帧得分，其中，普遍度是参考与针对所识别视频的检索到的一组关键帧中的每个其他关键帧相关联的一个或多个概念来确定的；以及向第一用户的客户端系统发送用于显示的搜索结果界面，搜索结果界面包括与一个或多个所识别视频对应的一个或多个搜索结果，每个搜索结果包括针对对应的所识别视频的一个或多个最佳关键帧，其中，针对对应的所识别视频的最佳关键帧是具有大于阈值关键帧得分的关键帧得分的关键帧。在根据本专利技术的实施方式中，一种方法可以包括：访问包括多个节点和连接节点的多个边线的社交图，在两个节点之间的每个边线表示其间的单个分离度，节点包括：对应于第一用户的第一节点；以及相应地对应于多个对象的多个第二节点。针对相应的所识别视频的一组关键帧可以是基于关键帧提取过程来确定的，关键帧提取过程包括：检测相应的所识别视频中的一个或多个场景变化；以及针对一个或多个场景变化，提取场景变化期间在相应的所识别视频中出现的帧作为关键帧。一个或多个场景变化可以是基于相应的所识别视频中的多个帧的一个或多个视觉特征中的一个或多个变化来检测的。一个或多个场景变化可以是基于相应的所识别视频的一个或多个音频特征中的一个或多个变化来检测本文档来自技高网...

【技术保护点】
1.一种方法，包括通过一个或多个计算设备：从第一用户的客户端系统接收由所述第一用户输入的针对一个或多个视频的搜索查询；识别与所述搜索查询匹配的一个或多个视频；针对每个所识别视频，检索所述所识别视频的一组关键帧，每个关键帧是所述所识别视频的一帧，其中，每个关键帧与一个或多个概念相关联；针对每个所识别视频的每个关键帧，基于与所述关键帧相关联的所述一个或多个概念的普遍度来计算关键帧得分，其中，所述普遍度是参考与针对所述所识别视频的检索到的所述一组关键帧中的每个其他关键帧相关联的一个或多个概念来确定的；以及向所述第一用户的所述客户端系统发送用于显示的搜索结果界面，所述搜索结果界面包括与一个或多个所述所识别视频对应的一个或多个搜索结果，每个搜索结果包括针对对应的所述所识别视频的一个或多个最佳关键帧，其中，针对对应的所述所识别视频的所述最佳关键帧是具有大于阈值关键帧得分的关键帧得分的关键帧。

【技术特征摘要】
【国外来华专利技术】2016.09.20 US 15/270,9601.一种方法，包括通过一个或多个计算设备：从第一用户的客户端系统接收由所述第一用户输入的针对一个或多个视频的搜索查询；识别与所述搜索查询匹配的一个或多个视频；针对每个所识别视频，检索所述所识别视频的一组关键帧，每个关键帧是所述所识别视频的一帧，其中，每个关键帧与一个或多个概念相关联；针对每个所识别视频的每个关键帧，基于与所述关键帧相关联的所述一个或多个概念的普遍度来计算关键帧得分，其中，所述普遍度是参考与针对所述所识别视频的检索到的所述一组关键帧中的每个其他关键帧相关联的一个或多个概念来确定的；以及向所述第一用户的所述客户端系统发送用于显示的搜索结果界面，所述搜索结果界面包括与一个或多个所述所识别视频对应的一个或多个搜索结果，每个搜索结果包括针对对应的所述所识别视频的一个或多个最佳关键帧，其中，针对对应的所述所识别视频的所述最佳关键帧是具有大于阈值关键帧得分的关键帧得分的关键帧。2.根据权利要求1所述的方法，进一步包括：访问包括多个节点和连接所述节点的多个边线的社交图，在两个所述节点之间的每个所述边线表示两个所述节点之间的单个分离度，所述节点包括：对应于所述第一用户的第一节点；以及相应地对应于多个对象的多个第二节点。3.根据权利要求1所述的方法，其中，针对相应的所识别视频的所述一组关键帧是基于关键帧提取过程来确定的，所述关键帧提取过程包括：检测相应的所述所识别视频中的一个或多个场景变化；以及针对一个或多个所述场景变化，提取所述场景变化期间在相应的所述所识别视频中出现的帧作为关键帧。4.根据权利要求3所述的方法，其中，一个或多个所述场景变化是基于相应的所述所识别视频中的多个帧的一个或多个视觉特征中的一个或多个变化来检测的。5.根据权利要求3所述的方法，其中，一个或多个所述场景变化是基于相应的所述所识别视频的一个或多个音频特征中的一个或多个变化来检测的。6.根据权利要求1所述的方法，其中，所述关键帧得分进一步基于和与相应的所述关键帧相关联的一个或多个所述概念匹配的与所述搜索查询相关联的一个或多个概念。7.根据权利要求1所述的方法，其中，所述关键帧得分进一步基于与包含相应的所述关键帧的相应的所述所识别视频的一部分相关联的用户参与度。8.根据权利要求1所述的方法，其中，所述关键帧得分进一步基于与所述第一用户相关联的信息。9.根据权利要求1所述的方法，其中，所述关键帧得分进一步基于当前日期或时间，所述当前日期或时间与和相应的所述关键帧相关联的一个或多个所述概念匹配的一个或多个概念相关联。10.根据权利要求1所述的方法，其中，一个或多个所述搜索结果中的每个搜索结果包括预览区域，其中，所述预览区域在通过每个所述最佳关键帧自动行进的幻灯片中显示所述搜索结果的所述最佳关键帧。11.根据权利要求10所述的方法，其中，每个所述最佳关键帧被显示的持续时间是基于所述最佳关键帧的相应的关键帧得分。12.根据权利要求1所述的方法，其中，一个或多个所述搜索结果中的每个搜索结果包括预览区域，其中，所述预览区域显示所述搜索结果的所述最佳关键帧，所述最佳关键帧的显示是基于来自所述第一用户的一个或多个输入。13.根据权利要求12所述的方法，其中，来自所述第一用户的所述输入能够对应于向前或向后导航通过所述最佳关键帧的输入。14.根据权利要求12所述的方法，其中，针对一个或多个所述搜索结果中的每个搜索结果，所述搜索结果界面进一步包括时间线进度条元素，其中，所述时间线进度条元素包括所述搜索结果的对应的所述所识别视频的时间线和所述时间线中的点的视觉描绘，所述点对应于在对应的所述所识别视频中出现所述最佳关键帧，并且其中，所述时间线进度条元素进一步包括邻近于所述时间线定位的可移动进度条组件，所述可移动进度条组件的位置对应于当前显示的最佳关键帧。15.根据权利要求1所述的方法，针对一个或多个所述搜索结果中的每个搜索结果，进一步包括基于相应的所述最佳关键帧的相对关键帧得分来为相应的所述最佳关键帧排序以供显示。16.根据权利要求1所述的方法，针对特定搜索结果，进一步包括：从所述第一用户的所述客户端系统接收与所述特定搜索结果的特定最佳关键帧相关联的触发事件的指示；以及响应于检测到所述触发事件，使得所述第一用户的所述客户端系统从特定关键帧的时间点播放对应的所述所识别视频。17.根据权利要求16所述的方法，其中，所述触发事件包括由所述第一用户的输入，以使得所述特定关键帧显示阈值时间段。18.根据权利要求1所述的方法，其中，针对一个或多个所述搜索结果中的每个搜索结果，所述搜索结果界面进一步包括相应的所述最佳关键帧中的一个或多个最佳关键帧的描述的显示，每个相应的最佳关键帧的所述描述是基于从与包含相应的所述最佳关键帧的对应的所述所识别视频的一部分相关联的一个或多个通信提取的一个或多个n语法或媒体项。19.一种或多种包含软件的计算机可读非暂时性存储介质，所述软件在执行时能操作以：从第一用户的客户端系统接收由所述第一用户输入的针对一个或多个视频的搜索查询；识别与所述搜索查询匹配的一个或多个视频；针对每个所识别视频，检索所述所识别视频的一组关键帧，每个关键帧是所述所识别视频的一帧，其中，每个关键帧与一个或多个概念相关联；针对每个所识别视频的每个关键帧，基于与所述关键帧相关联的所述一个或多个概念的普遍度来计算关键帧得分，其中，所述普遍度是参考与针对所述所识别视频的检索到的所述一组关键帧中的每个其他关键帧相关联的一个或多个概念来确定的；以及向所述第一用户的所述客户端系统发送用于显示的搜索结果界面，所述搜索结果界面包括与一个或多个所述所识别视频对应的一个或多个搜索结果，每个搜索结果包括针对对应的所述所识别视频的一个或多个最佳关键帧，其中，针对对应的所述所识别视频的所述最佳关键帧是具有大于阈值关键帧得分的关键帧得分的关键帧。20.一种系统，包括：一个或多个处理器；以及耦接至所述处理器的非暂时性存储器，所述非暂时性存储器包括能由所述处理器执行的指令，所述处理器在执行所述指令时能操作以：从第一用户的客户端系统接收由所述第一用户输入的针对一个或多个视频的搜索查询；识别与所述搜索查询匹配的一个或多个视频；针对每个所识别视频，检索所述所识别视频的一组关键帧，每个关键帧是所述所识别视频的一帧，其中，每个关键帧与一个或多个概念相关联；针对每个所识别视频的每个关键帧，基于与所述关键帧相关联的所述一个或多个概念的普遍度来计算关键帧得分，其中，所述普遍度是参考与针对所述所识别视频的检索到的所述一组关键帧中的每个其他关键帧相关联的一个或多个概念来确定的；以及向所述第一用户的所述客户端系统发送用于显示的搜索结果界面，所述搜索结果界面包括与一个或多个所述所识别视频对应的一个或多个搜索结果，每个搜索结果包括针对对应的所述所识别视频的一个或多个最佳关键帧，其中，针对对应的所述所识别视频的所述最佳关键帧是...

【专利技术属性】
技术研发人员：迪尔克·约翰·斯托普，阿达姆·尤金·巴辛，奥利弗·肖尔茨，巴尔马诺哈尔·帕卢里，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国,US