来自分割掩模的重构数据的依赖于视图的雕刻制造技术

方法、系统和装置可以提供这样的技术：其生成在与多个物理相机相关联的图像内容中描绘的对象的点云模型，基于与虚拟相机相关联的视点信息来生成点云模型的颜色投影，以及基于与对象相关联的一个或多个分割掩模来从颜色投影中排除背景颜色信息。该技术还可以基于视点信息和分割掩模中的至少一个从颜色投影中排除外围信息。排除外围信息。排除外围信息。

【技术实现步骤摘要】
来自分割掩模的重构数据的依赖于视图的雕刻


[0001]实施例总体上涉及图形处理架构。更具体地，实施例涉及对来自分割 掩模(segmentation mask)的重构数据进行依赖于视图的雕刻的图形处理架 构。

技术介绍

[0002]对沉浸式的体育媒体体验的提供的最新发展涉及使用在体育场周围安 装的大量相机来捕获在体育场内进行的实况比赛的视频。实时多相机视频 馈送可以用于生成比赛的三维(3D)重构(例如，体积模型)，其中，3D 重构用于向最终用户提供沉浸式观看体验。可以通过将模型渲染为点云(例 如“原样(as
‑
is)”)并将颜色信息从原始视频馈送投影到点云上来生成体积 模型。但是，用于渲染点云的常规解决方案可能会降低颜色投影(colorprojection)的视觉质量。虽然将点云转换为网格可以提高渲染精度，但这 种方法可能是消耗资源的并且容易出错的。
附图说明
[0003]通过阅读以下说明书和所附权利要求并参考以下附图，实施例的各种 优点对于本领域技术人员将变得显而易见，在附图中：
[0004]图1是根据实施例的体积渲染过程的示例的图示；
[0005]图2和图3是根据实施例的依赖于视图的体积渲染的示例的框图；
[0006]图4是根据实施例的操作性能增强的计算系统的方法的示例的流程图；
[0007]图5是根据实施例的具有变化的点精灵(point sprite)大小的点云渲染 的示例的图示；
[0008]图6是常规点云渲染和根据实施例的点云渲染的示例的比较图示；
[0009]图7是根据实施例的模型膨胀(model inflation)的示例的几何图。
[0010]图8是传统的点云渲染和根据实施例的点云渲染的示例的另一比较图 示；
[0011]图9是根据实施例的性能增强的计算系统的示例的框图；
[0012]图10是根据实施例的处理系统的示例的框图；
[0013]图11A
‑
11D是根据实施例的计算系统和图形处理器的示例的框图；
[0014]图12A
‑
12C是根据实施例的附加图形处理器和计算加速器架构的示例 的框图；
[0015]图13是根据实施例的图形处理器的图形处理引擎的示例的框图；
[0016]图14A
‑
14B是根据实施例的图形处理器核心的线程执行逻辑的示例的 框图；
[0017]图15示出了根据实施例的附加执行单元的示例；
[0018]图16是示出根据实施例的图形处理器指令格式的示例的框图；
[0019]图17是根据实施例的图形处理器的另一示例的框图；
[0020]图18A是示出根据实施例的图形处理器命令格式的示例的框图；
[0021]图18B是示出根据实施例的图形处理器命令序列的示例的框图；
[0022]图19示出了根据实施例的用于数据处理系统的示例图形软件架构；
[0023]图20A是示出根据实施例的IP核心开发系统的示例的框图；
[0024]图20B示出了根据实施例的集成电路封装组装件的横截面侧视图的示 例；
[0025]图20C
‑
20D示出了根据实施例的封装组装件的示例；
[0026]图21是示出根据实施例的片上集成电路系统的示例的框图；以及
[0027]图22A
‑
22B是示出根据实施例的在SoC内使用的示例性图形处理器的 框图。
具体实施方式
[0028]现在转到图1，示出了体积渲染过程，其中，安装在体育场30周围的 大量相机用于捕获在体育场30中正在进行的实况比赛的视频(例如，在捕 获阶段期间获得的图像内容)。在实施例中，对捕获的视频执行计算机视觉 分析(例如，在分割阶段期间)，以针对每个相机以及针对视频的每个帧生 成分割掩模32。分割掩模32通常可以将图像内容中的动态对象(例如，队 员、球、抛射物)与静态对象(例如，背景)分开。在一个实例中，分割 掩模32是阿尔法掩模(例如，具有阿尔法通道的图像，其对应于动态对象 的像素的值为1，而其他像素的值为0)。
[0029]在实施例中，基于分割掩模32生成三维(3D)点云模型34(例如， 在重构阶段期间)，其中，3D点云模型34重构在体育场30中捕获的场景。 另外，可以基于与虚拟相机相关联的视点信息和从体育场30捕获的原始素 材来生成颜色投影36(例如，在投影阶段期间)。例如，可以将视点选择为 沉浸式观看体验的一部分，其中，虚拟相机可以放置在体育场30内的任何 位置(例如，在场地上并且远离物理相机位置)。如将更详细地讨论的，分 割掩模32可以用于在颜色投影36中从模型34中排除背景颜色信息。这种 方法可以通过防止动态图像的边缘包含不与动态对象对应的颜色来增强颜 色投影36的视觉质量。另外，分割掩模32和视点信息可以用于从颜色投 影36中排除外围信息，这通过防止模型34在投影36的创建期间变得膨胀 而进一步提高图像质量。
[0030]图2示出了体积渲染示例，其中，实况场景40包含具有各种颜色(例 如，蓝色、红色、绿色)的表面的对象42(例如，队员、球、抛射物)。另 外，背景44可以具有给定的颜色(例如，紫色)。在实施例中，多个物理 相机46(46a
‑
46c)捕获场景40的图像内容48(例如，视频和/或静止图像)。 在所示的示例中，图像内容48最初包含背景颜色信息50(例如，紫色内容)。 在实施例中，基于图像内容48来生成对象42的点云模型56。通常，点云 模型56可以将对象42表示为散布在对象42的表面处的一组未连接点。
[0031]另外，可以对图像内容48执行计算机视觉分析，以为图像内容48生 成一组分割掩模52(例如，阿尔法掩模)。例如，由第一相机46a捕获的每 个帧可以在集合中具有对应的分割掩模，由第二相机46b捕获的每个帧可 能在集合中具有对应的分割掩模，由第三相机46c捕获的每个帧可能在集 合中具有对应的分割掩模，依此类推。
[0032]在所示的示例中，使用一组分割掩模52从原始图像内容48中过滤出 背景颜色信息50。因此，获得了过滤后的图像内容54。在实施例中，基于 与虚拟相机相关联的视点信息59来生成/渲染颜色投影58。因此，视点信 息59可以与沉浸式观看体验相关联，其中，虚拟相机被放置在场景40周 围的某个地方并且远离物理相机46的位置。在所示的示例中，附加表面(例 如，黄色表面)从选定的视角可见。
[0033]特别注意的是，因为背景颜色信息50已从颜色投影58中排除，因此 可以改善图像
集成电路的配置数据、个性化电子电路和/或硬件固有的其他结构组件(例 如，主机处理器、中央处理器/CPU、微控制器等)的状态信息。
[0040]图示的处理框82生成在与多个相机(例如，二维/2D相机、深度相机、 光检测和测距/lidar传感器等)相关联的图像内容中描绘的对象的点云模型。 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，包括：多个物理相机，其用于生成图像内容；图形处理器，其耦合到所述多个物理相机；以及包括一组指令的存储器，所述一组指令当由所述图形处理器执行时，使所述计算系统：生成在所述图像内容中描绘的对象的点云模型，基于与虚拟相机相关联的视点信息，生成所述点云模型的颜色投影，以及基于与所述对象相关联的一个或多个分割掩模，从所述颜色投影中排除背景颜色信息。2.根据权利要求1所述的计算系统，其中，所述指令在被执行时还使所述计算系统：基于所述视点信息和所述一个或多个分割掩模中的至少一个，从所述颜色投影中排除外围信息。3.根据权利要求2所述的计算系统，其中，所述指令在被执行时还使所述计算系统：根据所述一个或多个分割掩模中的所述至少一个，从所述图像内容中过滤出所述外围信息。4.根据权利要求2所述的计算系统，其中，所述指令在被执行时还使所述计算系统：在所述外围信息和非外围信息之间进行插值，并且其中，所述颜色投影是基于所述插值生成的。5.根据权利要求1所述的计算系统，其中，所述一个或多个分割掩模用于区分所述图像内容中的背景内容和对象内容，并且其中，所述指令在被执行时还使所述计算系统：根据所述一个或多个分割掩模，从所述图像内容中过滤出所述背景颜色信息。6.根据权利要求1至5中任一项所述的计算系统，其中，所述对象是动态对象，所述图像内容是视频内容，并且所述视点信息是实时视点信息。7.一种半导体装置，包括：一个或多个衬底；以及与所述一个或多个衬底耦合的逻辑，其中，所述逻辑至少部分地以可配置逻辑或固定功能硬件逻辑中的一个或多个实现，所述逻辑耦合到所述一个或多个衬底以用于：生成在与多个物理相机相关联的图像内容中描绘的对象的点云模型；基于与虚拟相机相关联的视点信息，生成所述点云模型的颜色投影；以及基于与所述对象相关联的一个或多个分割掩模，从所述颜色投影中排除背景颜色信息。8.根据权利要求7所述的半导体装置，其中，耦合到所述一个或多个衬底的所述逻辑用于：基于所述视点信息和所述一个或...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：