重新投影全景视频图片的平板投影以通过应用进行渲染制造技术

本公开描述了在全景视频的重建和渲染方面的创新。例如，全景视频回放系统的视图相关操作控制器接收对应用的视图方向的指示，并且至少部分地基于视图方向来标识全景视频图片在输入投影中的片段。视图相关操作控制器将颜色转换器、视频解码器和/或流控制器的操作限于经标识的片段。以这种方式，全景视频回放系统可以避免执行用以重建所述全景视频图片的不会被观看的片段的操作。作为另一示例，全景视频回放系统的映射器将输入平板投影中的至少一些采样值朝向视图方向的中心位置重新投影，从而产生输出平板投影，应用可以使用该输出平板投影来生成一个或多个屏幕投影。出平板投影来生成一个或多个屏幕投影。出平板投影来生成一个或多个屏幕投影。

【技术实现步骤摘要】
重新投影全景视频图片的平板投影以通过应用进行渲染
[0001]本申请是申请号为201780071646.0、申请日为2017年11月22日、专利技术名称为“重新投影全景视频图片的平板投影以通过应用进行渲染”的专利技术专利申请的分案申请。

技术介绍

[0002]在通过互联网流式传输视频并且通过Web浏览器或者媒体回放器回放视频时，以数字形式传送视频。在通过许多广播服务、卫星服务和有线电视服务传送视频时，也使用数字视频。实时视频会议通常使用数字视频，并且数字视频在视频捕获期间与大部分智能电话、Web相机和其他视频捕获设备一起使用。数字视频还用于诸如虚拟现实和增强现实的技术，不管视频是在头戴式显示器、移动设备中还是在其他类型的设备中被回放。
[0003]全景视频是在中心位置周围的多个方向上的视图被同时记录的视频。所记录的视频可以包括每个方向上的图像内容、或者至少包括在中心位置周围的360度球面中的每个方向上的图像内容，至少包括中心位置上方的一些图像内容以及至少包括中心位置下方的一些内容。全景视频有时被称为360度视频、沉浸式视频或者球面视频。全景视频可以使用全向相机或者指向不同的方向的多个相机的集合来捕获。对于现今的应用，在创建、编辑和传送阶段以及重建和渲染以进行回放的阶段期间以数字形式来处理全景视频。
[0004]在回放期间，观看者通常可以控制相对于中心位置的视图方向，潜在地随时间改变观看全景视频的哪个片段。在一些系统中，观看者还可以放大或者缩小，这有效地改变了全景视频的视场。当全景视频被渲染以进行显示时，全景视频的被观看的片段可以被投影到平面图像，这被称为屏幕投影。对于移动设备或者计算机监视器，单个屏幕投影可以被渲染。对于头戴式显示器(或者固定在头戴式带中的移动设备)，全景视频的被观看的片段可以分别被投影到针对左眼和右眼的两个屏幕投影。
[0005]当计算机系统重建和渲染全景视频时，可能会浪费资源来重建未被观看的图像内容。例如，存储器可能用于存储全景视频的未被观看的区域的采样值，并且处理周期可能用于确定未被观看的采样值和其在不同的处理阶段的位置。

技术实现思路

[0006]总言之，具体实施方式呈现了在全景视频的重建和渲染方面的创新。在一些示例实施方式中，这些创新帮助全景视频回放系统避免花费诸如存储器和处理周期等资源来重建未被观看的图像内容。备选地，这些创新帮助全景视频回放系统投入可用资源以改进被渲染的图像内容的质量。
[0007]根据本文所描述的创新的一个方面，计算机系统实施全景视频回放系统，该全景视频回放系统包括流控制器、输入缓冲器、视频解码器、颜色转换器、映射器和视图相关操作控制器。流控制器被配置为请求针对在输入投影中的全景视频图片的至少一个片段的编码数据。输入投影可以例如是等量矩形投影或者立方图投影。输入缓冲器被配置为存储编码数据，并且视频解码器被配置为对编码数据中的至少一些编码数据进行解码，从而产生在输入投影中的全景视频图片的至少一个片段的采样值。颜色转换器被配置为将由视频解
码器产生的采样值中的至少一些采样值从第一颜色空间转换到第二颜色空间。
[0008]映射器被配置为将经颜色转换的采样值中的至少一些采样值映射到输出投影。输出投影可以是屏幕投影，在这种情况下，应用可以仅使用屏幕投影来进行渲染。或者，输出投影可以是等量矩形投影或者立方图投影，在这种情况下，应用可以在渲染之前对输出投影执行进一步的映射操作。
[0009]视图相关操作控制器被配置为接收对用于应用的视图方向的指示，并且至少部分地基于视图方向来标识在输入投影中的全景视频图片的片段。视图相关操作控制器将颜色转换器的操作限于经标识的片段。换言之，针对经标识的片段中的采样值但是不针对经标识的片段外部的采样值执行颜色转换操作。在一些示例实施方式中，视图相关操作控制器还限制视频解码器的操作，以便于选择性地针对经标识的片段而不是对在输入投影中的全景视频图片的其他片段的编码数据进行解码。在另外一些示例实施方式中，视图相关操作控制器进一步限制流控制器的操作，使得流控制器请求针对经标识的片段而不是在输入投影中的全景视频图片的其他片段的编码数据。以这种方式，全景视频回放系统可以避免执行用以重建所述全景视频图片的将不被观看的片段的操作。
[0010]根据本文所描述的创新的另一方面，计算机系统实施全景视频回放系统，该全景视频回放系统包括流控制器、输入缓冲器、视频解码器和映射器。流控制器被配置为请求针对在输入平板投影中的全景视频图片的至少一个片段的编码数据。输入平板投影可以例如是等量矩形投影或者立方图投影。输入缓冲器被配置为存储编码数据，并且视频解码器被配置为对编码数据中的至少一些编码数据进行解码，从而产生在输入平板投影中的全景视频图片的至少一个片段的采样值。全景视频回放系统还可以包括颜色转换器，该颜色转换器被配置为将由视频解码器产生的采样值中的至少一些采样值从第一颜色空间转换到第二颜色空间。映射器被配置为将输入平板投影中的采样值中的至少一些采样值映射到输出平板投影，输出平板投影可以例如是等量矩形投影或者立方图投影。为了映射到输出平板投影，投影器被配置为将输入平板投影中的采样值中的至少一些采样值(共同地)朝向应用的视图方向的中心位置重新投影。应用可以在渲染之前对输出平板投影执行进一步的映射操作，例如，从被提供给应用的输出平板投影生成一个或多个屏幕投影。与输入平板投影相比较，输出平板投影可以通过更紧凑、高效的方式将相关细节(诸如，用于渲染视图的采样值)传送给应用，这可以简化之后通过应用进行的处理。
[0011]这些创新可以被实施为方法的一部分、被配置为执行针对方法的操作的计算机系统的一部分或者存储用于使计算机系统执行针对方法的操作的计算机可执行指令的一个或多个计算机可读介质的一部分。各种创新可以被组合使用或者单独使用。本
技术实现思路
被提供以通过简化形式介绍一些概念，这些概念将在以下具体实施方式中被进一步详细描述。本
技术实现思路
既不旨在标识所要求保护的主题的主要特征或者基本特征，也不旨在用于限制所要求保护的主题的范围。本专利技术的前述和其他目的、特征和优点通过以下参考附图进行的详细描述将变得显而易见。
附图说明
[0012]图1是图示了可以实施一些所描述的实施例的示例计算机系统的示意图。
[0013]图2a和图2b是图示了可以实施一些所描述的实施例的示例网络环境的示意图。
[0014]图3a至图3c是针对全景视频图片的示例投影的示意图。
[0015]图4是图示了针对全景视频图片的视图的屏幕投影的示例的示意图。
[0016]图5a和图5b是图示了标识针对全景视频图片的输入等量矩形投影的与球面投影的视图片段相对应的片段的示例的示意图。
[0017]图6是图示了支持针对平板投影的视图相关操作和重新投影操作的全景视频回放系统的示例架构的示意图。
[0018]图7是图示了用于通过视图相关操作回放全景视频的一般技术的流程图。
[0019]图8是图示了在应用渲染模式下、将全景视频图片的输入平板投影的采样值重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机系统，包括一个或多个处理单元和存储器，其中所述计算机系统实施全景视频回放系统，所述全景视频回放系统包括：视图相关操作控制器，被配置为：接收对用于应用的视图方向的指示；至少部分地基于所述视图方向，标识输入平板投影中的全景视频图片的片段，在所述输入平板投影中的所述全景视频图片基于在给定时间、在中心位置周围的多个方向中记录的不同相机视图的采样值，其中被标识的所述片段包括所述输入平板投影中的所述全景视频图片的一部分；以及在所述输入平板投影中的所述全景视频图片的所述部分周围，针对标识的所述片段定义边界框，所述边界框包括所述输入平板投影中的所述全景视频图片的所述部分外部的缓冲区域；流控制器，被配置为请求针对一个或多个空间区域的编码数据，其中所述边界框与所述一个或多个空间区域的边界对齐、或者适于在所述一个或多个空间区域内，并且其中所述一个或多个空间区域是片或者图块；输入缓冲器，被配置为存储所述编码数据；视频解码器，被配置为对所述编码数据中的至少一些编码数据进行解码，从而产生被标识的所述片段的采样值，被标识的所述片段的所述采样值包括在所述输入平板投影中的所述全景视频图片的所述部分的采样值以及所述缓冲区域的采样值；以及映射器，所述映射器被配置为将所述输入平板投影中的被标识的所述片段的所述采样值中的至少一些采样值映射到输出平板投影，其中所述映射器被配置为将所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值朝向针对所述视图方向的中心位置重新投影。2.根据权利要求1所述的计算机系统，其中所述视图方向是当前视图方向或者预测视图方向。3.根据权利要求1所述的计算机系统，其中所述映射器被配置为：针对所述输出平板投影中的位置，确定所述输入平板投影中的对应位置，其中所述输出平板投影中的所述位置和所述输入平板投影中的所述对应位置与中间球面投影的视图片段中的位置相关联，所述中间球面投影的所述视图片段由所述视图方向指示；基于在所述输入平板投影中的所述对应位置处的、所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值，将采样值分别分配给所述输出平板投影中的所述位置；以及将所述输出平板投影提供给所述应用。4.根据权利要求1所述的计算机系统，其中所述映射器被配置为：当所述视图方向快速改变时，在所述重新投影中使用所述缓存区域的所述采样值中的所述至少一些采样值。5.根据权利要求1所述的计算机系统，其中所述解码器被配置为：当所述视图方向逐渐改变时，在之后的解码操作中使用所述缓存区域的所述采样值中的所述至少一些采样值用于参考。6.根据权利要求1所述的计算机系统，其中所述映射器被配置为：重新投影所述输入平板投影中的被标识的所述片段的所述采样值中的所述至少一些采样值，使得所述输出平板
投影以针对所述视图方向的所述中心位置为中心。7.根据权利要求1所述的计算机系统，其中所述映射器被配置为缩放所述输入平板投影的被标识的所述片段以大体上填满所述输出平板投影。8.根据权利要求1所述的计算机系统，其中所述全景视频回放系统还包括所述应用，并且其中所述应用包括：第二映射器，被配置为将来自所述输出平板投影的至少一些采样值映射到屏幕投影。9.一种计算机系统中的方法，包括：接收对用于应用的视图方向的指示；至少部分地基于所述视图方向，标识输入平板投影中的全景视频图片的片段，所述输入平板投影中的所述全景视频图片基于在给定时间、在中心位置周围的多个方向中记录的不同相机视图的采样值，其中被标识的所述片段包括所述输入平板投影中的所述全景视频图片的一部分；在所述输入平板投影中的所述全景视频图片的所述部分周围，针对标识的所述片段定义边界框，所述边界框包括所述输入平板投影中的所述全景视频图片的所述部分外部的缓冲区域；接收针对一个或多个空间区域的编码数据，其中所述边界框与所述一个或多个空间区域的边界对齐、或者适于在所述一个或多个空间区域内，并且其中所述一个或多个空间区域是片或者图块...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：