处理和格式化视频用于交互式呈现制造技术

本公开用于处理和格式化视频以用于交互式呈现。描述了用于在计算装置处接收包括多个帧的视频以及由计算装置确定应对视频执行垂直裁剪的系统和方法。对于多个帧中的每个帧，计算装置通过分析帧确定帧中的关注区域来处理视频，其中帧是第一帧，基于帧中的关注区域裁剪第一帧以产生用于视频的垂直裁剪的帧，确定紧接在第一帧之前的第二帧，以及平滑从第二帧到垂直裁剪的帧的轨迹。向用户显示垂直裁剪的帧替代第一帧。

【技术实现步骤摘要】
处理和格式化视频用于交互式呈现本申请是申请日为2017年6月29日、申请号为201780052373.5、专利技术名称为“处理和格式化视频用于交互式呈现”的专利申请的分案申请。优先权要求本申请要求于2016年7月1日提交的美国专利申请序列号15/201,049的优先权；本申请还要求于2016年7月1日提交的美国专利申请序列号15/201,079的优先权，其中每一个申请的优先权的权益均在此要求保护，并且每一个申请通过引用整体并入在此。
本公开一般涉及用于对视频进行处理和格式化以便交互式呈现的机制。
技术介绍
面对面通信并不总是可行的。因此，在诸如移动装置或个人计算机的计算装置上经由视频进行的各种形式的通信正变得越来越普遍。对于确保更加无缝的体验，在移动装置上通信和共享视频具有各种技术挑战。例如，当装置垂直取向时，在移动装置上共享和查看横向视频可能导致在屏幕的顶部和底部出现大的黑色条，并且特别在具有较小屏幕大小的装置上视频可能更难被查看。此外，缺乏呈现视频内容的交互方式。附图说明附图中的各个附图仅示出了本公开的示例实施例，并且不应被视为限制其范围。图1是示出根据一些示例实施例的用于处理和格式化视频用于交互式呈现的联网系统的框图。图2是示出根据一些示例实施例的用于处理和格式化视频用于交互式呈现的方法的方面的流程图。图3A-3D示出根据一些示例实施例的示例显示。图4是示出根据一些示例实施例的用于检测装置取向以及提供相关联的视频源的方法的方面的流程图。图5-6示出根据一些示例实施例的示例显示。图7是示出根据一些示例实施例的用于检测用户输入以及提供相关联的视频源的方法的方面的流程图。图8是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。图9示出根据示例实施例的计算机系统形式的机器的图形表示，在该计算机系统内可以执行一组指令以使机器执行在此所讨论的任何一种或多种方法。具体实施方式在此描述的系统和方法涉及对视频进行处理和格式化以用于交互式呈现。如上所述，对于确保更加无缝的视频通信体验存在各种技术挑战。例如，当装置垂直取向时，在移动装置上共享和查看横向视频可能会导致屏幕顶部和底部出现大的黑色条，并且特别是在具有较小屏幕大小的装置上视频可能更难以查看。此外，缺乏呈现视频内容的交互方式。在此描述的实施例提供用于处理和格式化视频以用于视频的交互式呈现的技术。在此描述的系统可以接收包括媒体内容(例如，照片、视频、音频、文本等)的内容消息。内容消息可以由用户经由计算装置(例如，移动装置、个人计算机等)或第三方服务器发送。用户可以利用计算装置上的应用来产生内容消息和/或接收内容消息。服务器系统可以接收数万个内容消息(如果不是更多)，其可以包含可以由服务器系统处理的视频、多媒体或其它内容，以提供呈现内容的交互方式。例如，在一个实施例中，计算装置(例如，服务器计算机、客户端装置等)接收包括多个帧的视频，以及确定视频应被处理和格式化以用于交互式呈现。例如，计算装置可以确定应该执行垂直裁剪。计算装置可以分析多个帧中的每个帧以确定每个帧中的关注区域，以及基于每个帧中的关注区域对每个帧进行裁剪。计算装置可以对前一帧和当前帧之间的轨迹进行平滑。在另一个示例实施例中，计算装置可以接收多个视频源。计算装置可以分析视频源以确定与每个视频源相关联的装置取向，将装置取向与每个视频源相关联，以及存储视频源和相关联的取向。计算装置可以检测装置取向，确定与装置取向相关联的视频源，以及提供与装置取向相关联的视频源。在另一个示例实施例中，计算装置可以接收多个视频源。计算装置可以分析视频源以确定与每个视频源相关联的区域或对象，将区域或对象与每个视频源相关联，以及存储视频源和相关联的区域或对象。计算装置可以检测指示区域或对象的选择的用户输入，确定与区域或对象相关联的视频源，以及提供与区域或对象相关联的视频源。图1是示出根据一些示例实施例的联网系统100的框图，联网系统100被配置为处理和格式化视频用于交互式呈现。系统100可以包括一个或多个客户端装置，诸如客户端装置110。客户端装置110可以包括但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、多处理器系统、基于微处理器或可编程的消费电子产品、游戏机、机顶盒、车辆中的计算机，或用户可用于访问联网系统100的任何其它通信装置。在一些实施例中，客户端装置110可以包括显示信息(例如，以用户界面的形式)的显示模块(未示出)。在进一步的实施例中，客户端装置110可以包括触摸屏、加速度计、陀螺仪、相机、麦克风、全球定位系统(GPS)装置等中的一个或多个。客户端装置110可以是用户的装置，其用于发送和接收内容消息(例如，包括照片、视频、音频、文本等)，搜索和显示内容消息，查看和参与包括来自内容消息的媒体内容的媒体集等。在一个实施例中，系统100是媒体内容处理和优化系统，以处理和格式化媒体内容用于交互式呈现。一个或多个用户106可以是人、机器或与客户端装置110交互的其它部件。在示例实施例中，用户106可以不是系统100的一部分，但是可以经由客户端装置110或其它部件与系统100交互。例如，用户106可以向客户端装置110提供输入(例如，触摸屏输入或字母数字输入)，并且输入可以经由网络104被通信到系统100中的其它实体(例如，第三方服务器130、服务器系统102等)。在该情况下，响应于从用户106接收输入，系统100中的其它实体可以经由网络104将信息通信到客户端装置110以呈现给用户106。以该方式，用户106可以使用客户端装置110与系统100中的各种实体交互。系统100可以进一步包括网络104。网络104中的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、无线网络、WiFi网络、WiMax网络、另一种类型的网络，或两个以上此类网络的组合。客户端装置110可以经由web客户端112(例如，浏览器，诸如由华盛顿州雷蒙德市的微软公司开发的Internet浏览器)或一个或多个客户端应用114访问由系统100中的其它实体提供的各种数据和应用。客户端装置110可以包括一个或多个应用114(也称为“app”)，诸如但不限于web浏览器，消息传递应用、电子邮件(email)应用、电子商务站点应用、映射或位置应用、内容生成和编辑应用等。在一些实施例中，一个或多个应用114可以被包括在客户端装置110的给定一个客户端装置中，并且被配置为在本地提供用户界面和至少一些功能，其中应用114被配置为根据需要与系统100中的其它实体(例如，第三方服务器130、服务器系统102等)通信，以实现在本地不可用的数据和/或处理能力(例如，访问本文档来自技高网...

【技术保护点】
1.一种计算装置处的方法，包括：/n在计算装置处接收与事件相关的多个视频源；/n对于所述多个视频源中的每个视频源：/n分析所述多个视频源中的所述视频源以确定与所述视频源相关联的装置取向；/n将所述装置取向与所述视频源相关联；以及/n存储所述视频源和所述相关联的装置取向。/n

【技术特征摘要】
20160701 US 15/201,049;20160701 US 15/201,0791.一种计算装置处的方法，包括：
在计算装置处接收与事件相关的多个视频源；
对于所述多个视频源中的每个视频源：
分析所述多个视频源中的所述视频源以确定与所述视频源相关联的装置取向；
将所述装置取向与所述视频源相关联；以及
存储所述视频源和所述相关联的装置取向。


2.根据权利要求1所述的方法，进一步包括：
检测装置取向；
确定与所述装置取向相关联的视频源；以及
提供与所述装置取向相关联的所述视频源；
其中，与所述装置取向相关联的所述视频源被显示给所述用户。


3.根据权利要求1或2所述的方法，其中，分析所述多个视频源中的所述视频源以确定与所述视频源相关联的装置取向包括确定所述视频源是横向图或者纵向图。


4.根据权利要求3所述的方法，进一步包括：
基于确定所述视频源是横向图来确定所述装置取向是横向取向。


5.根据权利要求3所述的方法，进一步包括：
基于确定所述视频源是纵向图来确定所述装置取向是纵向取向。


6.根据权利要求1至5中任一项所述的方法，其中，分析所述多个视频源中的所述视频源以确定与所述视频源相关联的装置取向包括确定所述视频的主体的角度。


7.根据权利要求6所述的方法，进一步包括：
基于所述视频的所述主体的所述角度确定所述装置取向是倾斜角度。


8.根据权利要求2所述的方法，其中，所述计算装置是服务器计算机，以及其中，检测装置取向是基于从所述客户端装置接收客户端装置的装置取向。


9.根据权利要求8所述的方法，其中，所述服务器计算机向所述客户端装置提供与所述装置取向相关联的所述视频源，并且所述客户端装置向所述用户显示所述视频源。


10.根据权利要求2所述的方法，其中，确定与所述装置取向相关联的视频源包括访问数据库以查找所述视频源和相关联的装置取向。


11.根据权利要求1至10中任一项所述的方法，其中，对于所述多个视频源中的每个视频源，所述方法进一步包括：
分析所述多个视频源中的所述视频源，以确定与所述视频源相关联的至少一个区域或对象；
将所述至少一个区域或对象与所述视频源相关联；
存储所述至少一个区域或对象的所述关联。


12.根据权利要求11所述的方法，进一步包括：
检测指示视频的区域或对象的选择的用户输入；
确定与所述视频的所选区域或对象相关联的视频源；
提供与所述所选区域或对象相关联的所述视频源；
其中，与所述所选区域或对象相关联的所述视频源被显示给所述用户。


13.一种...

【专利技术属性】
技术研发人员：李佳，N·利特克，J·J·J·帕尔德斯，R·谢斯，D·塞托，徐宁，杨建朝，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：美国;US