重新投影全景视频图片的平板投影以通过应用进行渲染制造技术

本公开描述了在全景视频的重建和渲染方面的创新。例如，全景视频回放系统的视图相关操作控制器接收对应用的视图方向的指示，并且至少部分地基于视图方向来标识全景视频图片在输入投影中的片段。视图相关操作控制器将颜色转换器、视频解码器和/或流控制器的操作限于经标识的片段。以这种方式，全景视频回放系统可以避免执行用以重建所述全景视频图片的不会被观看的片段的操作。作为另一示例，全景视频回放系统的映射器将输入平板投影中的至少一些采样值朝向视图方向的中心位置重新投影，从而产生输出平板投影，应用可以使用该输出平板投影来生成一个或多个屏幕投影。出平板投影来生成一个或多个屏幕投影。出平板投影来生成一个或多个屏幕投影。

【技术实现步骤摘要】
重新投影全景视频图片的平板投影以通过应用进行渲染
[0001]本申请是申请号为201780071646.0、申请日为2017年11月22日、专利技术名称为“重新投影全景视频图片的平板投影以通过应用进行渲染”的专利技术专利申请的分案申请。

技术介绍

[0002]在通过互联网流式传输视频并且通过Web浏览器或者媒体回放器回放视频时，以数字形式传送视频。在通过许多广播服务、卫星服务和有线电视服务传送视频时，也使用数字视频。实时视频会议通常使用数字视频，并且数字视频在视频捕获期间与大部分智能电话、Web相机和其他视频捕获设备一起使用。数字视频还用于诸如虚拟现实和增强现实的技术，不管视频是在头戴式显示器、移动设备中还是在其他类型的设备中被回放。
[0003]全景视频是在中心位置周围的多个方向上的视图被同时记录的视频。所记录的视频可以包括每个方向上的图像内容、或者至少包括在中心位置周围的360度球面中的每个方向上的图像内容，至少包括中心位置上方的一些图像内容以及至少包括中心位置下方的一些内容。全景视频有时被称为360度视频、沉浸式视频或者球面视频。全景视频可以使用全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机系统，包括一个或多个处理单元和存储器，其中所述计算机系统实施全景视频回放系统，所述全景视频回放系统包括：视图相关操作控制器，被配置为：接收对用于应用的视图方向的指示；至少部分地基于所述视图方向，标识输入平板投影中的全景视频图片的片段，在所述输入平板投影中的所述全景视频图片基于在给定时间、在中心位置周围的多个方向中记录的不同相机视图的采样值，其中被标识的所述片段包括所述输入平板投影中的所述全景视频图片的一部分；以及在所述输入平板投影中的所述全景视频图片的所述部分周围，针对标识的所述片段定义边界框，所述边界框包括所述输入平板投影中的所述全景视频图片的所述部分外部的缓冲区域；流控制器，被配置为请求针对一个或多个空间区域的编码数据，其中所述边界框与所述一个或多个空间区域的边界对齐、或者适于在所述一个或多个空间区域内，并且其中所述一个或多个空间区域是片或者图块；输入缓冲器，被配置为存储所述编码数据；视频解码器，被配置为对所述编码数据中的至少一些编码数据进行解码，从而产生被标识的所述片段的采样值，被标识的所述片段的所述采样值包括在所述输入平板投影中的所述全景视频图片的所述部分的采样值以及所述缓冲区域的采样值；以及映射器，所述映射器被配置为将所述输入平板投影中的被标识的所述片段的所述采样值中的至少一些采样值映射到输出平板投影，其中所述映射器被配置为将所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值朝向针对所述视图方向的中心位置重新投影。2.根据权利要求1所述的计算机系统，其中所述视图方向是当前视图方向或者预测视图方向。3.根据权利要求1所述的计算机系统，其中所述映射器被配置为：针对所述输出平板投影中的位置，确定所述输入平板投影中的对应位置，其中所述输出平板投影中的所述位置和所述输入平板投影中的所述对应位置与中间球面投影的视图片段中的位置相关联，所述中间球面投影的所述视图片段由所述视图方向指示；基于在所述输入平板投影中的所述对应位置处的、所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值，将采样值分别分配给所述输出平板投影中的所述位置；以及将所述输出平板投影提供给所述应用。4.根据权利要求1所述的计算机系统，其中所述映射器被配置为：当所述视图方向快速改变时，在所述重新投影中使用所述缓存区域的所述采样值中的所述至少一些采样值。5.根据权利要求1所述的计算机系统，其中所述解码器被配置为：当所述视图方向逐渐改变时，在之后的解码操作中使用所述缓存区域的所述采样值中的所述至少一些采样值用于参考。6.根据权利要求1所述的计算机系统，其中所述映射器被配置为：重新投影所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值，使得所述输出平板
投影以针对所述视图方向的所述中心位置为中心。7.根据权利要求1所述的计算机系统，其中所述映射器被配置为缩放所述输入平板投影的被标识的所述片段以大体上填满所述输出平板投影。8.根据权利要求1所述的计算机系统，其中所述全景视频回放系统还包括所述应用，并且其中所述应用包括：第二映射器，被配置为将来自所述输出平板投影的至少一些采样值映射到屏幕投影。9.一种计算机系统中的方法，包括：接收对用于应用的视图方向的指示；至少部分地基于所述视图方向，标识输入平板投影中的全景视频图片的片段，所述输入平板投影中的所述全景视频图片基于在给定时间、在中心位置周围的多个方向中记录的不同相机视图的采样值，其中被标识的所述片段包括所述输入平板投影中的所述全景视频图片的一部分；在所述输入平板投影中的所述全景视频图片的所述部分周围，针对标识的所述片段定义边界框，所述边界框包括所述输入平板投影中的所述全景视频图片的所述部分外部的缓冲区域；接收针对一个或多个空间区域的编码数据，其中所述边界框与所述一个或多个空间区域的边界对齐、或者适于在所述一个或多个空间区域内，并且其中所述一个或多个空间区域是片或者图块...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：