应用于纹理压缩或放大的机器学习制造技术

用于生成硬件兼容压缩纹理的方法和设备可以包括：在应用程序的运行时，访问以与图形处理单元(GPU)不兼容的格式的图形硬件不兼容压缩纹理。方法和设备可以包括使用已训练机器学习模型将图形硬件不兼容压缩纹理直接转换为GPU可使用的硬件兼容压缩纹理。

【技术实现步骤摘要】
【国外来华专利技术】应用于纹理压缩或放大的机器学习
技术介绍
本公开涉及计算机设备、图形处理和纹理压缩。视频游戏正在经历纹理占用过多存储空间(例如，硬盘空间、光学介质空间和/或下载大小)以便提供当前用于视频游戏的分辨率的细节的问题。例如，视频游戏可能会占用100GB的存储空间，其中30-60GB的存储空间可以是纹理以便以4K分辨率提供细节。游戏在具有相对较大存储占用空间的纹理中进行加载的速度存在另一问题。游戏通常在运行时使用块压缩来节省内存、带宽和高速缓存压力，但是，这些方案具有固定压缩率。其他方案对纹理的压缩率要好得多，但可能不是以图形处理单元(GPU)直接可使用的格式。此外，期望增加具有更多变化的纹理的数量。因此，在本领域中需要改进纹理压缩。
技术实现思路
以下给出了本公开的一个或多个实现的简化概述，以提供对这样的实现的基本理解。该概述不是所有预期实现的广泛概述，并且既不旨在标识所有实现的关键或重要元素，也不旨在界定任何或所有实现的范围。其唯一目的是以简化的形式呈现本公开的一个或多个实现的一些概念，作为稍后呈现的更详细描述的序言。一个示例实现涉及一种计算机设备。该计算机设备可以包括图形处理单元(GPU)；用于存储数据和指令的存储器，数据和指令包括应用和以与GPU不兼容的格式的图形硬件不兼容压缩纹理；与存储器通信的至少一个处理器；以及与存储器、至少一个处理器、GPU、和应用通信的操作系统。该应用可以可操作以在应用的运行时访问图形硬件不兼容压缩纹理；并且使用已训练机器学习模型将图形硬件不兼容压缩纹理直接转换为GPU可使用的硬件兼容压缩纹理。另一示例实现涉及一种用于生成硬件兼容压缩纹理的方法。该方法可以包括：由在计算机设备上执行的应用在应用程序的运行时访问以与图形处理单元(GPU)不兼容的格式的图形硬件不兼容压缩纹理。该方法可以包括使用已训练机器学习模型将图形硬件不兼容压缩纹理直接转换为GPU可使用的硬件兼容压缩纹理。另一示例实现涉及一种存储由计算机设备可执行的指令的计算机可读介质。该计算机可读介质可以包括用于使计算机设备在应用程序的运行时接收以与图形处理单元(GPU)不兼容的格式的图形硬件不兼容压缩纹理的至少一个指令。该计算机可读介质可以包括用于使计算机设备使用已训练机器学习模型将硬件不兼容压缩纹理直接转换为GPU可使用的硬件兼容压缩纹理的至少一个指令。与本公开的实现有关的另外的优点和新颖特征将在以下的描述中部分地阐述，并且在对以下内容进行检查或通过实践学习之后对于本领域技术人员将部分地变得更加明显。附图说明在附图中：图1是根据本公开的实现的示例计算机设备的示意性框图；图2A是根据本公开的实现的用于与纹理一起使用的MIP链的示例；图2B是根据本公开的实现的用于与纹理一起使用的、移除MIP链的第一图像的已修改MIP链的示例；图2C是根据本公开的实现的用于与纹理一起使用的、移除MIP链的第一图像以及MIP链的中间图像的已修改MIP链的示例；图3是根据本公开的实现的训练机器学习模型以放大图像的示例；图4是根据本公开的实现的训练机器学习模型以对压缩纹理解压缩的示例；图5是根据一种实现的用于使用机器学习来生成硬件兼容压缩纹理的示例方法流程；图6是根据一种实现的用于使用机器学习来生成硬件兼容压缩纹理的示例方法流程；以及图7是根据本公开的实现的示例设备的示意性框图。具体实施方式本公开涉及用于在例如适合于从硬盘驱动器(HDD)加载纹理的一种压缩方案与适合于由图形处理单元(GPU)使用的压缩方案(例如，块压缩格式)之间进行转换的设备和方法。计算机游戏使用块压缩来存储纹理，因为块压缩可以直接由GPU读取，从而节省了计算机设备上的存储器、带宽和/或缓存压力。但是，使用其他类型的压缩(例如，但不限于机器学习图像压缩、联合图像专家组(JPEG)压缩、小波压缩和/或通用无损压缩(例如，zip、lzma和kraken))可以以可接受的图像质量实现更高的压缩率。为了减小输入/输出带宽和/或减小游戏在硬盘、光学介质、闪存上或在通过互联网下载时的大小，可能需要使用对游戏的纹理具有更高压缩率的压缩格式。不幸的是，这些其他压缩方案不能直接由GPU使用。上述设备和方法可以使用已训练机器学习模型(诸如生成对抗网络(GAN))将硬件不兼容压缩纹理直接解压缩为硬件兼容压缩纹理。例如，已训练机器学习模型可以接收和/或以其他方式访问硬件不兼容压缩纹理，并且可以使用块压缩纹理的各种组件(例如，端点和/或索引)将纹理直接解压缩为GPU可使用的块压缩纹理。可以针对不同的纹理类型(例如，法线贴图、漫反射、光贴图等)和不同的内容类型(例如，砖、草、金属、皮肤等)来创建不同的机器学习网络和/或已训练模型。这些机器学习网络/模型可以基于与应用相关联的纹理进行学习作为离线过程。上述设备和方法还可以修改与纹理一起使用的MIP链以减小硬盘、光学介质上或在通过互联网下载时的应用大小。MIP链可以包含要在纹理中使用的多个图像，每个图像可以是同一图像的分辨率逐渐降低的表示。可以通过重复缩小MIP链中的第一图像和/或一个或多个中间图像的尺寸来创建MIP链。例如，MIP链的第一图像可能会占用用于MIP链的大部分存储空间。设备和方法可以移除MIP链的第一图像和/或一个或多个中间图像，并且生成已修改MIP链以与应用一起传输，以减少输入/输出带宽和/或减小应用在硬盘、光学介质上或在通过互联网下载时的大小。设备和方法可以在应用的运行时和/或应用安装时例如使用已训练机器学习模型(诸如生成对抗网络(GAN))来重构MIP链的已删除的第一图像和/或任何被移除的中间图像，并且生成硬件兼容压缩重构MIP链。已训练机器学习模型可以接收和/或以其他方式访问已修改MIP链，并且可以通过放大顶部图像和/或下一最大中间图像以重新创建已修改MIP链中的丢失图像并且将重构MIP链直接解压缩为硬件兼容压缩重构MIP链(诸如块压缩MIP链)来重构MIP链的第一图像和/或任何移除的中间图像。这样，在应用的运行时和/或安装时，设备和方法可以通过使用机器学习将压缩纹理直接解压缩为GPU可使用的格式来快速地将GPU不兼容压缩纹理转换为GPU可使用的格式。另外，设备和方法可以快速重构任何已修改MIP链的第一图像和/或任何移除的中间图像以与应用中的纹理一起使用。因此，基于本公开，可以使用较高压缩率压缩算法(相对于GPU兼容压缩算法)来压缩纹理以进行存储和/或传输，并且可以将其直接解压缩为GPU可使用的格式。对GPU不兼容纹理进行解压缩可能会产生经压缩的GPU兼容纹理。现在参考图1-4，用于与纹理压缩和/或放大结合使用的示例系统100可以包括计算机设备102，该计算机设备102可以包括具有纹理26的基于图形的应用10，诸如但不限于游戏，应用10可以由计算机设备102的处理器32和/或操作系统110运行。例如，应用10可以由计算机设备102从硬盘、光学介质访问，和/或通过互联网下载。应用1本文档来自技高网...

【技术保护点】
1.一种计算机设备，包括：/n图形处理单元(GPU)；/n存储器，用于存储数据和指令，所述数据和指令包括应用和以与所述GPU不兼容的格式的图形硬件不兼容压缩纹理；/n至少一个处理器，与所述存储器通信；/n操作系统，与所述存储器、所述至少一个处理器、所述GPU、和所述应用通信，其中所述应用可操作以用于：/n在所述应用的运行时或安装时，接收所述图形硬件不兼容压缩纹理；/n确定所述图形硬件不兼容压缩纹理与所述GPU不兼容；以及/n使用已训练机器学习模型，将所述图形硬件不兼容压缩纹理直接转换为所述GPU能够使用的硬件兼容压缩纹理，其中所述已训练机器学习模型使用元数据，所述元数据提供在转换期间要使用的、针对所述图形硬件不兼容压缩纹理的块压缩的配置，以使得所述硬件兼容压缩纹理与所述应用的原始未加工图像非常相似。/n

【技术特征摘要】
【国外来华专利技术】20180330 US 62/650,641;20180531 US 15/994,4641.一种计算机设备，包括：
图形处理单元(GPU)；
存储器，用于存储数据和指令，所述数据和指令包括应用和以与所述GPU不兼容的格式的图形硬件不兼容压缩纹理；
至少一个处理器，与所述存储器通信；
操作系统，与所述存储器、所述至少一个处理器、所述GPU、和所述应用通信，其中所述应用可操作以用于：
在所述应用的运行时或安装时，接收所述图形硬件不兼容压缩纹理；
确定所述图形硬件不兼容压缩纹理与所述GPU不兼容；以及
使用已训练机器学习模型，将所述图形硬件不兼容压缩纹理直接转换为所述GPU能够使用的硬件兼容压缩纹理，其中所述已训练机器学习模型使用元数据，所述元数据提供在转换期间要使用的、针对所述图形硬件不兼容压缩纹理的块压缩的配置，以使得所述硬件兼容压缩纹理与所述应用的原始未加工图像非常相似。


2.根据权利要求1所述的计算机设备，其中所述硬件兼容压缩纹理是以块压缩数字(BCN)纹理的格式，并且其中所述GPU还被配置为绘制来自所述硬件兼容压缩纹理的纹理以呈现在显示器上。


3.根据权利要求1所述的计算机设备，其中所述已训练机器学习模型是通过以下过程而被离线训练的：对所述图形硬件不兼容压缩纹理执行至少一个机器学习搜索，以确定针对所述图形硬件不兼容压缩纹理的块压缩的所述配置，并且
其中不同的机器学习搜索针对不同纹理类型和不同内容类型中的一种或多种被训练。


4.根据权利要求1所述的计算机设备，其中所述应用还可操作以用于：
访问用于与所述应用的纹理一起使用的已修改MIP链，所述已修改MIP链包括具有变化的分辨率的多个图像，其中所述已修改MIP链从原始MIP链中移除最高分辨率图像，并且所述多个图像与用于与所述应用的所述纹理一起使用的原始MIP链相对应。


5.根据权利要求4所述的计算机设备，其中所述应用还可操作以用于：
通过将所述已训练机器学习模型应用于所述已修改MIP链的第一图像，来重构所述最高分辨率图像；
生成具有所重构的所述最高分辨率图像和所述多个图像的硬件兼容压缩重构MIP链；以及
向所述GPU传输所述硬件兼容压缩重构MIP链，
其中所述硬件兼容压缩重构MIP链包括以块压缩数字(BCN)纹理格式的图像。


6.根据权利要求4所述的计算机设备，其中所述已修改MIP链还从所述原始MIP链中移除一个或多个较低分辨率图像。


7.根据权利要求1所述的计算机设备，其中所述GPU和中央处理单元(CPU)中的至少一者将所述硬件不兼容压缩纹理直接解压缩为所述硬件兼容压缩纹理。


8.一种用于生成硬件兼容压缩纹理的方法，包括：
由在计算机设备上执行的...

【专利技术属性】
技术研发人员：M·J·I·福勒，D·G·肯内特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US