用于视频译码的基于机器学习的流确定制造技术

本文描述了用于处理视频数据的系统和技术。在一些方面中，一种方法可以包括通过机器学习系统获得输入视频数据。输入视频数据包括用于当前帧的一个或多个亮度分量。该方法可以包括通过机器学习系统，使用用于当前帧的亮度分量来确定用于当前帧的亮度分量的运动信息和用于当前帧的一个或多个色度分量的运动信息。在一些情况下，该方法可以包括基于当前帧的亮度分量和先前帧的至少一个经重构的亮度分量来确定用于亮度分量的运动信息。在一些情况下，该方法还可以包括使用针对当前帧的亮度分量确定的运动信息来确定用于当前帧的色度分量的运动信息。分量的运动信息。分量的运动信息。

【技术实现步骤摘要】
【国外来华专利技术】用于视频译码的基于机器学习的流确定


[0001]概括而言，本公开内容涉及图像和视频译码，包括对图像和/或视频的编码(或压缩)和解码(解压缩)。例如，本公开内容的各方面涉及用于确定一个或多个图像帧或图片(例如，视频帧/图片)的亮度分量和色度分量的流信息的技术。

技术介绍

[0002]许多设备和系统允许视频数据被处理和输出以供消费。数字视频数据包括大量数据，以满足消费者和视频提供者的需求。例如，视频数据的消费者期望高质量视频，包括高保真度、高分辨率、高帧速率等。结果，满足这些需求所需要的大量视频数据为处理和存储视频数据的通信网络和设备带来了负担。
[0003]各种视频译码技术可以用于对视频数据进行压缩。视频译码的一个目标是将视频数据压缩为使用较低比特率的形式，同时避免或最小化对视频质量的降级。随着不断发展的视频服务变得可用，需要具有更好的译码效率的编码技术。

技术实现思路

[0004]描述了用于使用一个或多个机器学习系统来对图像和//或视频内容进行译码(例如，编码和/或解码)的系统和技术。根据至少一个示例，提供了一种处理视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理视频数据的方法，所述方法包括：通过机器学习系统获得输入视频数据，所述输入视频数据包括用于当前帧的至少一个亮度分量；以及通过所述机器学习系统，使用用于所述当前帧的所述至少一个亮度分量来确定用于所述当前帧的所述至少一个亮度分量的运动信息和用于所述当前帧的一个或多个色度分量的运动信息。2.根据权利要求1所述的方法，还包括：通过所述机器学习系统，使用用于所述当前帧的所述至少一个亮度分量的所述运动信息和用于所述当前帧的所述一个或多个色度分量的所述运动信息，来确定用于所述当前帧的所述至少一个亮度分量的扭曲参数和用于所述当前帧的一个或多个色度分量的一个或多个扭曲参数；以及使用用于所述当前帧的所述至少一个亮度分量的所述扭曲参数和用于所述当前帧的所述一个或多个色度分量的所述一个或多个扭曲参数来确定用于所述当前帧的一个或多个帧间预测。3.根据权利要求2所述的方法，其中，所述一个或多个帧间预测是至少部分地通过以下操作来确定的：使用用于所述当前帧的所述至少一个亮度分量的所述扭曲参数和用于所述当前帧的所述一个或多个色度分量的所述一个或多个扭曲参数来应用插值操作。4.根据权利要求3所述的方法，其中，所述插值操作包括三线性插值操作。5.根据权利要求2所述的方法，其中，用于所述当前帧的所述至少一个亮度分量的所述扭曲参数和用于所述当前帧的所述一个或多个色度分量的所述一个或多个扭曲参数包括空间尺度流(SSF)扭曲参数。6.根据权利要求5所述的方法，其中，所述SSF扭曲参数包括所学习到的尺度流向量。7.根据权利要求1所述的方法，其中，使用用于所述当前帧的所述至少一个亮度分量来确定用于所述当前帧的所述至少一个亮度分量的所述运动信息和用于所述当前帧的所述一个或多个色度分量的所述运动信息包括：基于所述当前帧的所述至少一个亮度分量和先前帧的至少一个经重构的亮度分量来确定用于所述当前帧的所述至少一个亮度分量的所述运动信息；以及使用针对所述当前帧的所述至少一个亮度分量所确定的所述运动信息来确定用于所述当前帧的所述一个或多个色度分量的所述运动信息。8.根据权利要求7所述的方法，其中，用于所述当前帧的所述一个或多个色度分量的所述运动信息是使用所述机器学习系统的卷积层来确定的。9.根据权利要求7所述的方法，其中，用于所述当前帧的所述一个或多个色度分量的所述运动信息是至少部分地通过对针对所述当前帧的所述至少一个亮度分量所确定的所述运动信息进行采样来确定的。10.根据权利要求1所述的方法，其中，所述当前帧包括视频帧。11.根据权利要求1所述的方法，其中，所述一个或多个色度分量包括至少一个色度蓝色分量和至少一个色度红色分量。12.根据权利要求1所述的方法，其中，所述当前帧具有亮度
‑
色度(YUV)格式。13.根据权利要求12所述的方法，其中，所述YUV格式是YUV 4:2:0格式。
14.一种用于处理视频数据的装置，包括：至少一个存储器；以及耦合到所述至少一个存储器的一个或多个处理器，所述一个或多个处理器被配置为：使用机器学习系统获得输入视频数据，所述输入视频数据包括用于当前帧的至少一个亮度分量；以及使用所述机器学习系统，使用用于所述当前帧的所述至少一个亮度分量来确定用于所述当前帧的所述至少一个亮度分量的运动信息和用于所述当前帧的一个或多个色度分量的运动信息。15.根据权利要求14所述...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：