在360度视频中搜寻视频失真制造技术

一种方法包括：从显示流送360度视频的第一帧的一部分的设备，接收触发搜寻操作的指示，所述第一帧的该部分基于所述设备的用户的视点；基于所述搜寻操作来选择所述流送360度视频的第二帧；编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的第一部分对应于所述第一帧的一部分；以及将所述第二帧的经编码的部分通信到所述设备。

Searching for video distortion in 360 degree video

【技术实现步骤摘要】
【国外来华专利技术】在360度视频中搜寻视频失真相关申请的交叉引用本申请要求于2017年12月17日提交、名称为“DISTORTIONOFVIDEOFORSEEKIN360DEGREEVIDEO”的美国非临时专利申请号15/844,599的优先权并作为该申请的继续申请，其全部内容通过引用并入本文。
实施例涉及在搜寻操作期间渲染360度流送视频。
技术介绍
通常，流送服务器编码360度视频的二维(2D)表示并且将经编码的2D表示的一部分通信到能够渲染360度视频的设备。替代地(或附加地)，流送服务器编码360度视频的三维(3D)视频表示。在一种情况下，包含两个分开的2D视图(每只眼睛一个)或者编码并通信体积视频(volumetricvideo)，或在另一种情况下，编码并通信包括深度信息的2D或立体视频。然后，设备解码2D(或3D)表示，将经解码的2D表示转换成360度视频，并且渲染该360度视频的一部分。
技术实现思路
示例性实施例描述用于在搜寻操作期间编码、解码和流送视频的技术。在总体方面，一种方法包括：显示360度视频的第一帧的一部分，该第一帧的该部分基于设备的用户的视点；接收触发搜寻操作的指示；基于所述搜寻操作来选择所述360度视频的第二帧；编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的第一部分对应于所述第一帧的一部分；以及将所述第二帧的经编码的部分通信到所述设备。在优选实施例中，诸如从处理功率高于执行显示的设备的服务器或第二设备流送360度视频。基于用户对于第一帧的视点，与第一帧的一部分相对应的第二帧的第一部分可以是第二帧的该部分。在实施例中，执行显示的设备可以是与接收搜寻操作的指示的设备不同的设备或相同的设备。例如，头戴式设备可以执行显示，并且移动设备或控制设备可以接收触发搜寻操作的指示。在其他实施例中，当在诸如头戴式设备的另一设备上显示视频时，计算设备可以流送或以其他方式提供360视频并且接收触发搜寻操作的指示。进一步提供一种方法，包括：从显示流送360度视频的第一帧的一部分的设备，接收触发搜寻操作的指示，所述第一帧的该部分基于设备的用户的视点；基于所述搜寻操作来选择所述流送360度视频的第二帧；编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的第一部分对应于所述第一帧的该部分；以及将所述第二帧的经编码的部分通信到所述设备。在另一总体方面，服务器包括控制器和编码器。所述控制器被配置成：控制对360度视频的第一帧的第一部分的渲染，所述帧的所述部分基于设备的用户的视点；接收触发搜寻操作的指示；基于所述搜寻操作来选择所述360度视频的第二帧；以及将经编码的第二帧通信到所述设备。所述编码器被配置成：编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的第一部分对应于所述第一帧的所述部分。在优选实施例中，流送360度视频，并且服务器是内容服务器。在又一总体方面，一种非暂时性计算机可读存储介质，具有存储于其上的计算机可执行程序代码，所述代码当在计算机系统上执行时促使所述计算机系统执行步骤，所述步骤包括：显示360度视频的第一帧的一部分，所述第一帧的一部分基于设备的用户的视点；接收触发搜寻操作的指示；基于所述搜寻操作来选择所述360度视频的第二帧；编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的第一部分对应于所述第一帧的一部分；以及将所述第二帧的经编码的部分通信到所述设备。在优选实施例中，诸如从处理功率高于执行显示的设备的服务器或第二设备流送360度视频。实施方式能够包括以下特征中的一个或多个。例如，所述第二帧的第二部分能够从所述第二帧的第一部分的中心向外延伸并且开始于所述第二帧的第一部分的边界。词语“向外”可以被理解为意指基于用户的视场在第一帧的一部分的外侧、诸如紧邻外侧的360度视频的部分。所述搜寻操作是快进操作或回顾/倒回操作中的一个操作。基于所述搜寻操作来选择所述第二帧能够包括：确定所述搜寻操作是否为快进操作，以及响应于确定所述搜寻操作是快进操作，选择依序前进的360度视频的后一帧作为所述第二帧。例如，基于所述搜寻操作来选择所述第二帧能够包括：确定所述搜寻操作是否为回顾/倒回操作，以及响应于确定所述搜寻操作是回顾/倒回操作，选择依序倒退的360度视频的前一帧作为所述第二帧。编码所述第二帧的第一部分和所述第二帧的第二部分包括基于所述搜寻操作的搜寻速度来以帧速率编码所述第二帧。所述步骤能够进一步包括：通过使用投影技术来编码所述流送360度视频的第一帧的一部分，以及将经编码的第一帧通信到所述设备。编码所述第二帧能够包括：基于所述视点来定中心所述第二帧的第一部分，通过使用投影技术来投影所述第二帧，以及围绕经定中心的第一部分添加所述第二部分。所述步骤能够进一步包括：通过使用第一投影技术来编码所述流送360度视频的第一帧的一部分，以及将经编码的第一帧通信到所述设备，其中，编码所述第二帧包括通过使用第二投影技术来编码所述第二帧。所述步骤能够进一步包括：在所述搜寻操作期间，从所述设备接收所述视点已改变的指示，以及基于已改变的视点来编码所述流送360度视频的第二帧。所述步骤能够进一步包括：在所述搜寻操作期间，从所述设备接收所述视点已改变的指示，基于已改变的视点来编码所述流送360度视频的第二帧，在所述搜寻操作期间，从所述设备接收触发回放操作的指示，基于已改变的视点来编码所述流送360度视频的第三帧的一部分，以及将经编码的第三帧通信到所述设备。附图说明通过下文给出的详细描述和附图，将更加充分地理解示例性实施例，其中，由相似的附图标记表示相似的元素，这些附图标记仅以说明性给出，因此并不限制示例性实施例，其中：图1是根据至少一个示例性实施例的用于显示流送360度视频帧的方法的流程图。图2A图示出根据至少一个示例性实施例的360度视频的帧。图2B图示出根据至少一个示例性实施例的360度视频的帧的2D立方体表示的框图。图2C图示出在2D立方体表示的框图内的帧的一部分。图2D图示出在2D立方体表示的重排框图内的帧的这部分。图2E图示出根据至少一个示例性实施例的360度视频的帧的2D表示的框图。图3图示出与控制设备进行交互的用户。图4、图5、图6和图7是根据至少一个示例实施例的用于编码/解码视频帧的方法的流程图。图8是图示出用于与计算机生成的虚拟现实(VR)环境进行交互的示例性系统图。图9A图示出根据至少一个示例性实施例的视频编码器系统。图9B图示出根据至少一个示例性实施例的视频解码器系统。图10图示出根据至少一个示例性实施例的系统。图11示出根据至少一个示例性实施例的计算机设备和移动计算机设备的示例。应当注意，这些附图旨在图示某些示例性实施例中利用的方法、结构和/或材料的通用特点，并且旨在补充下文提供的书面描述。但这些附图并未按比例绘制，而可能未精确反映任何给定实施例的精确结构或性能特点，并且不应被解释为定义或限制示例实施例所涵本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n显示流送360度视频的第一帧的一部分，所述第一帧的所述一部分是基于设备的用户的视点；/n接收触发搜寻操作的指示；/n基于所述搜寻操作来选择所述流送360度视频的第二帧；/n编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的所述第一部分对应于所述第一帧的所述一部分；以及/n将所述第二帧的经编码的部分通信到所述设备。/n

【技术特征摘要】
【国外来华专利技术】20171217 US 15/844,5991.一种方法，包括：
显示流送360度视频的第一帧的一部分，所述第一帧的所述一部分是基于设备的用户的视点；
接收触发搜寻操作的指示；
基于所述搜寻操作来选择所述流送360度视频的第二帧；
编码所述第二帧的第一部分和所述第二帧的第二部分，所述第二帧的所述第一部分对应于所述第一帧的所述一部分；以及
将所述第二帧的经编码的部分通信到所述设备。


2.根据权利要求1所述的方法，其中，所述第二帧的所述第二部分从所述第二帧的所述第一部分的中心向外延伸并且开始于所述第二帧的所述第一部分的边界。


3.根据权利要求1或2所述的方法，其中，所述搜寻操作是快进操作或回顾操作中的一个操作。


4.根据权利要求1至3中任一项所述的方法，其中，基于所述搜寻操作来选择所述第二帧包括：
确定所述搜寻操作是否为快进操作，以及
响应于确定所述搜寻操作是快进操作，
选择依序前进的所述360度视频的后一帧作为所述第二帧。


5.根据权利要求1至4中任一项所述的方法，其中，基于所述搜寻操作来选择所述第二帧包括：
确定所述搜寻操作是否为回顾操作，以及
响应于确定所述搜寻操作是回顾操作，
选择依序前进的所述360度视频的前一帧作为所述第二帧。


6.根据权利要求1至5中任一项所述的方法，其中，编码所述第二帧的所述第一部分和所述第二帧的所述第二部分包括基于所述搜寻操作的搜寻速度来以帧速率编码所述第二帧。


7.根据权利要求1至6中任一项所述的方法，进一步包括：
通过使用投影技术来编码所述流送360度视频的所述第一帧的所述一部分；以及
将经编码的第一帧通信到所述设备，其中，编码所述第二帧包括：
基于所述视点来对所述第二帧的所述第一部分定中心，
通过使用投影技术来投影所述第二帧，以及
围绕经定中心的第一部分添加所述第二部分。


8.根据权利要求1至7中任一项所述的方法，进一步包括：
通过使用第一投影技术来编码所述流送360度视频的所述第一帧的所述一部分；以及
将经编码的第一帧通信到所述设备，其中，编码所述第二帧包括通过使用第二投影技术来编码所述第二帧。


9.根据权利要求1至8中任一项所述的方法，进一步包括：
在所述搜寻操作期间，从所述设备接收所述视点已改变的指示；以及
基于已改变的视点来编码所述流送360度视频的所述第二帧。


10.根据权利要求1至9中任一项所述的方法，进一步包括：
在所述搜寻操作期间，从所述设备接收所述视点已改变的指示；
基于已改变的视点来编码所述流送360度视频的所述第二帧；
在所述搜寻操作期间，从所述设备接收触发回放操作的指示；
基于已改变的视点来编码所述流送360度视频的第三帧的一部分；以及
将经编码的第三帧通信到所述设备。


11.一种内容服务器，包括：
控制器，所述控制器被配置成：
从渲染流送360度视频的第一帧的第一部分的设备，接收触发搜寻操作的指示，所述帧的所述一部分是基于所述设备的用户的...

【专利技术属性】
技术研发人员：塞思·拉裴尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US