选择性地增强经压缩的数字内容制造技术

本公开涉及选择性地增强数字图像和视频内容的系统、方法和计算机可读介质。例如，本文公开的系统可对原始视频内容进行编码以压缩和解压缩原始视频内容。本文描述的系统可进一步标识感兴趣区域的信息以用于标识经解压缩的视频内容的各部分以分析和移除其中发现的一个或多个压缩伪影。本文描述的系统可以通过增加显示分辨率来进一步增强经解压缩的视频内容。通过标识感兴趣区域和选择性地增强数字视频内容，本文描述的系统可以减少带宽和处理资源的消耗，同时保持数字内容的高视觉质量。同时保持数字内容的高视觉质量。同时保持数字内容的高视觉质量。

【技术实现步骤摘要】
【国外来华专利技术】选择性地增强经压缩的数字内容

技术介绍

[0001]近年来，使用计算设备(例如，移动设备、个人计算机)来接收、存储、编辑、流传输或以其他方式显示数字媒体的使用急剧增加。事实上，现在消费者电子设备显示来自多个不同远程源的实时视频已经很普遍。此外，随着个人计算机、移动设备、游戏控制台和其他消费者电子设备变得更加流行，具有不同计算和显示能力的更多种类的电子设备正被用于各种数字媒体应用中。此外，随着计算设备变得更加复杂，计算设备的显示能力也得到了类似的改进。
[0002]虽然计算设备在显示数字媒体方面提供了有用的工具，但是用于传送和显示数字媒体的常规系统包括各种问题和缺点。例如，随着数字媒体质量的提高，连接资源(例如带宽)通常不足以使内容提供商能够流传输或以其他方式提供高质量的媒体。此外，即使在连接资源充足且可用于提供高质量媒体内容的情况下，消费者也经常因与下载和处理大量数字内容相关联的各种成本而感到沮丧。此外，用于生成和传送媒体内容的常规加密和解密技术经常导致低质量的内容显示。
[0003]在传送和显示数字视频内容方面存在这些和其他问题。
附图说明
[0004]图1解说了根据一个或多个实施例的包括编码器系统和视频增强系统的示例环境。
[0005]图2解说了根据一个或多个实施例的编码器系统和视频增强系统的示例实现。
[0006]图3A
‑
3C解说了根据一个或多个实施例的编码器系统和视频增强系统的进一步示例实现。
[0007]图4解说了根据一个或多个实施例的涉及标识视频帧的感兴趣区域的示例实现。
[0008]图5解说了根据一个或多个实施例的用于增强数字视频内容的示例方法。
[0009]图6解说了根据一个或多个实施例的用于编码视频内容和标识用于增强数字视频内容的感兴趣区域的示例方法。
[0010]图7解说了可被包括在计算机系统内的某些组件。
具体实施方式
[0011]本公开一般涉及用于基于视频内容内的经标识的重要区域来选择性地增强视频内容的编码器系统和数字视频增强系统。具体而言，如下文将进一步详细讨论的，服务器设备可以包括编码器系统，该编码器系统压缩要流传输(例如，实况流传输)或以其他方式提供给客户端设备的视频内容。编码器系统可通过在将经压缩的视频内容传送到客户端设备之前将压缩或编码算法应用于视频内容来生成经压缩的数字视频。此外，如下文将进一步详细讨论的，编码器系统可以标识感兴趣区域的信息并将其提供给与视频内容的重要部分(例如，像素区域和/或颜色通道)相关联的客户端设备，以启用客户端设备以选择性地修复、细化和以其他方式增强与感兴趣区域的信息相关联的视频内容的各部分。
[0012]除了编码器系统之外，本公开还涉及用于选择性地修复、改进和以其他方式增强数字视频内容的选择部分的视频增强系统。例如，如下文将进一步详细讨论的，视频增强系统可标识对应于视频帧的一个或多个重要部分的经解码的视频帧(例如，经解压缩的视频帧)的感兴趣区域。视频增强系统可然后将去噪模型应用于经解码的视频帧以移除在压缩和解压缩过程期间引入数字内容的一个或多个压缩伪影。一旦经解码的视频帧被去噪，则视频增强系统可在经由显示设备的图形用户界面显示输出视频帧之前，通过内插像素、上采样或以其他方式增加经修复的视频帧的像素分辨率来进一步细化经解码的视频帧。实际上，编码器系统和视频增强系统可将类似的过程应用于经解压缩的或流传输数字视频的任意数量的视频帧。
[0013]如本文将进一步详细讨论的，本公开包括提供益处和/或解决与经由客户端设备的图形用户界面递送和显示数字视频内容相关联的问题的多个实际应用。例如，通过标识视频帧的感兴趣区域，视频增强系统可显著地减少在修复或以其他方式增强数字视频内容时消耗的处理资源。实际上，通过选择性地修复视频帧的重要部分中的伪影，视频增强系统可生成质量视频帧，其中视频帧的最重要部分被保存，并且即使在客户端设备具有有限的处理资源或者在消耗更多的处理资源导致视频延迟和/或电池性能差的情况下也具有高质量。
[0014]此外，通过标识感兴趣区域，视频增强系统可利用一个或多个鲁棒且准确的机器学习模型并同时保留计算资源的开销。例如，视频增强系统可选择性地将被训练成从输入图像移除伪影的去噪模型应用于经解码的视频帧的经标识的感兴趣区域，以从经标识的感兴趣区域移除伪影，而不是分析经解码的视频帧的每个像素或附加部分。作为进一步的示例，视频增强系统可将超分辨率模型应用于经修复的图像(例如，经修复的经解码的视频帧)或选择经修复的图像的各部分，以在有效地利用计算资源的同时进一步增强图像。此外，本文描述的一个或多个实施例涉及被训练成生成分段图和/或图像缓冲器以指示不同实现中的关键感兴趣区域的机器学习模型。
[0015]如将在下文结合多个实施例进一步详细讨论的，视频增强系统和编码器系统可以以多种方式协作地标识和利用感兴趣区域的信息。例如，在视频内容的开发者(例如，游戏开发者)知道云计算或压缩考虑的情况下，编码器系统和/或视频增强系统可在提高视频质量时以有效的和高效的方式利用感兴趣区域的信息。例如，游戏开发者可使视频生成系统结合所提供的游戏内容来提供感兴趣区域的信息。此外，即使在原始内容源不生成或提供感兴趣区域的信息的情况下，本文描述的示例也涉及感兴趣区域的信息由编码器系统和/或视频增强系统标识以更有效地增强数字视频内容的各种方式。
[0016]通过更有效地利用处理和带宽资源，本文描述的系统可在生成和递送数字视频内容方面提供显著的灵活性。例如，通过更有效地利用处理和带宽资源，本文描述的系统在不增加带宽消耗的情况下促进更高质量的输出。附加地或作为替换，本文描述的系统可在减少带宽消耗的同时保持视频内容的高或阈值质量。实际上，取决于任意数量的用户或系统偏好和设置(例如，带宽预算、蜂窝数据使用限制、选定的图形设置、电池消耗设置)，本文描述的系统可以在显示数字视频内容时在客户端设备的操作中提供许多不同的益处。
[0017]如在前面的讨论中所例示的，本公开利用各种术语来描述本文描述的系统的特征和优点。现在提供关于此类术语的含义的附加细节。例如，如本文所使用的，“数字视频”、
“
数字视频内容”或“视频内容”可以互换地指代表示数字图像序列(例如，多个数字视频帧)的数字数据。数字视频可以包括可经由计算设备的显示器的图形用户界面显示的数字数据或数字文件。例如，数字视频可以包括图像序列，其包括指代数字图像的离散单元或元素的像素数据，该离散单元或元素在组合时形成数字图像的可显示内容。数字视频可能具有相应的帧速率、分辨率或历时。作为示例，数字视频可以指具有以下扩展名之一的数字文件：AVI、FLV、WMV、MOV、MP4。如本文所使用的，“视频帧”或“数字视频帧”指的是来自数字视频内容的视频内容的离散帧。
[0018]在本文描述的一个或多个实现中，数字视频可以指经压缩的数字视频。如本文所使用的，“经压缩的数字视频”或“经编码的视频”指的是其像素数据已使用多种压缩技术中的一种进行缩减的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：解压缩经压缩的数字视频内容以生成包括多个经解码的视频帧的经解压缩的数字视频内容；从所述多个经解码的视频帧中标识一经解码的视频帧；标识该经解码的视频帧的感兴趣区域，所述感兴趣区域包括该经解码的视频帧的一部分；以及将去噪模型应用于该经解码的视频帧的所述部分以生成经去噪的视频帧，在所述经去噪的视频帧中来自所述经解码的视频帧的所述感兴趣区域的一个或多个压缩伪影已被移除，其中所述去噪模型包括机器学习模型，所述机器学习模型被训练成接收包括至少一个压缩伪影的输入图像并生成其中所述至少一个压缩伪影已被移除的输出图像。2.如权利要求1所述的方法，其特征在于，所述去噪模型是基于训练图像对来训练的，所述训练图像对包括第一多个非经压缩的图像和基于压缩后的所述第一多个非经压缩的图像的第二多个经解压缩的数字图像。3.如权利要求1或2中任一者所述的方法，其特征在于，进一步包括将超分辨率模型应用于所述经去噪的视频帧以生成具有与所述经解码的视频帧相比更高分辨率的输出视频帧，其中所述超分辨率模型包括第二机器学习模型，所述第二机器学习模型被训练成接收具有输入分辨率的输入数字图像以基于输入数字图像来生成具有与所述输入分辨率相比更高分辨率的输出数字图像。4.如权利要求1
‑
3中任一者所述的方法，其特征在于，标识所述感兴趣区域包括标识所述经解码的视频帧的像素的一个或多个离散区域。5.如权利要求1
‑
4中任一者所述的方法，其特征在于，标识所述感兴趣区域包括从共同构成所述经解码的视频帧的多个颜色通道中标识第一颜色通道，以及其中经标识的第一颜色通道包括来自包括亮度通道、第一色度通道和第二色度通道的颜色通道族的亮度通道。6.如权利要求1
‑
5中任一者所述的方法，其特征在于，标识所述感兴趣区域包括从服务器设备接收对所述感兴趣区域的标识，连同从所述服务器设备接收所述经压缩的数字视频。7.如权利要求6所述的方法，其特征在于，接收对所述感兴趣区域的标识包括以下一者或多者：接收合成缓冲器，所述合成缓冲器包括所述经解码的视频帧的分段掩码，所述分段掩码包括对所述经解码的视频帧内的重要内容的指示；或者接收可变速率着色缓冲器，所述可变速率着色缓冲器指示所述经解码的视频帧中与不同着色精度率相关联的区域。8.如权利要求1
‑
7中任一者所述的方法，其特征在于，进一步包括：从所述多个经解码的视频帧中标识附加经解码的视频帧的感兴趣区域，所述感兴趣区域包括所述附加经解码的视频帧的相应部分；以及将所述去噪模型应用于所述附加经解码的视频帧的所述相应部分中的每一者以生成多个经去噪的视频帧，在所述多个经去噪的视频帧中来自所述经解码的视频帧的所述感兴趣区域的压缩伪影已被移除。9.一种方法，包括：
接收要被流传输到客户端设备的视频内容，所述视频内容包括多个非经...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：