【技术实现步骤摘要】
【国外来华专利技术】机器学习视频处理系统和方法相关申请的交叉引用本专利申请是要求2017年9月1日提交的名称为“MACHINELEARNINGVIDEOPROCESSINGSYSTEMSANDMETHODS”的美国临时专利申请62/553,587的优先权的非临时专利申请，该申请全文以引用方式并入本文以供所有目的。
技术介绍
本公开整体涉及视频处理，并且更具体地讲，涉及至少部分地基于机器学习技术来处理(例如，编码、解码、分析和/或滤波)图像数据。该部分旨在向读者介绍可与下面描述和/或要求保护的本技术的各个方面相关的领域的各个方面。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地，应当理解，应就此而论阅读这些陈述，而不是作为对现有技术的认可。为了呈现信息的视觉表示，电子设备可利用电子显示器基于对应的图像数据来显示一个或多个图像(例如，图像帧)。由于图像数据可从另一电子设备接收并且/或者存储在电子设备中，因此可对图像数据进行编码(例如，压缩)以减小大小(例如，位数)，并且因此减少用于传输和/或存储图像数据的资源(例如，传...
【技术保护点】
1.一种视频编码流水线，所述视频编码流水线包括：/n在电子设备中实现的主编码流水线，其中所述主编码流水线被配置为通过至少部分地基于编码参数来处理源图像数据，从而压缩对应于图像帧的至少一部分的所述源图像数据以生成经编码图像数据；以及/n机器学习块，所述机器学习块通信地耦接到所述主编码流水线，其中：/n所述机器学习块被配置为通过至少部分地基于当所述机器学习块被所述编码参数启用时在所述机器学习块中实现的机器学习参数来处理所述源图像数据，从而分析所述图像帧的内容；以及/n所述视频编码流水线被配置为至少部分地基于期望存在于所述图像帧中的所述内容来自适应地调节所述编码参数，以便于提高编码效率。/n
【技术特征摘要】
【国外来华专利技术】20170901 US 62/553,587;20180118 US 15/874,6551.一种视频编码流水线，所述视频编码流水线包括：
在电子设备中实现的主编码流水线，其中所述主编码流水线被配置为通过至少部分地基于编码参数来处理源图像数据，从而压缩对应于图像帧的至少一部分的所述源图像数据以生成经编码图像数据；以及
机器学习块，所述机器学习块通信地耦接到所述主编码流水线，其中：
所述机器学习块被配置为通过至少部分地基于当所述机器学习块被所述编码参数启用时在所述机器学习块中实现的机器学习参数来处理所述源图像数据，从而分析所述图像帧的内容；以及
所述视频编码流水线被配置为至少部分地基于期望存在于所述图像帧中的所述内容来自适应地调节所述编码参数，以便于提高编码效率。
2.根据权利要求1所述的视频编码流水线，其中：
所述机器学习块包括卷积神经网络，所述卷积神经网络被配置为确定指示期望存在于所述图像帧中的所述内容的特性的特征度量；以及
所述机器学习参数指示将在所述卷积神经网络中实现的卷积层的数量、将在所述卷积层中的每个卷积层中实现的卷积权重、所述卷积神经网络的层之间的互连的配置、或它们的任何组合。
3.根据权利要求1所述的视频编码流水线，其中：
所述机器学习块包括：
第一卷积层，所述第一卷积层被配置为通过至少部分地基于在所述第一卷积层中实现的第一卷积权重来处理所述源图像数据，从而确定指示期望存在于所述图像帧中的所述内容的第一特性的第一特征度量；以及
第二卷积层，所述第二卷积层连接在所述第一卷积层的下游，其中所述第二卷积层被配置为至少部分地基于所述第一特征和在所述第二卷积层中实现的第二卷积权重来确定指示期望存在于所述图像帧中的所述内容的第二特性的第二特征度量；并且
所述视频编码流水线被配置为至少部分地基于所述第一特征度量、所述第二特征度量或两者来自适应地调节所述编码参数。
4.根据权利要求1所述的视频编码流水线，其中，当所述机器学习块被启用时：
所述视频编码流水线被配置为确定所述编码参数以指示至少目标采样比、目标采样模式或两者；以及
所述主编码流水线被配置为：
通过至少部分地基于所述编码参数来对所述源图像数据进行降采样、应用正变换、应用正量化、应用反量化以及上采样来确定指示对所述源图像数据的预测的预测样本；
至少部分地基于所述预测样本与所述源图像数据之间的差值来确定预测残差；并且
生成所述经编码图像数据以指示至少所述编码参数和所述预测残差。
5.根据权利要求4所述的视频编码流水线，其中，当所述机器学习块未被启用时，所述主编码流水线被配置为：
当所述编码参数指示将使用帧内预测技术对所述源图像数据进行编码时，至少部分地基于对应于所述图像帧的不同部分的第一经重构图像数据来确定所述预测样本；
当所述编码参数指示将使用帧间预测技术对所述源图像数据进行编码时，至少部分地基于对应于不同图像帧的第二经重构图像数据来确定所述预测样本；
至少部分地基于所述预测样本与所述源图像数据之间的差值来确定所述预测残差；以及
生成所述经编码图像数据以至少指示所述编码参数和所述预测残差。
6.根据权利要求1所述的视频编码流水线，其中：
所述主编码流水线包括滤波块，所述滤波块被配置为至少部分地基于当所述机器学习块被启用时期望存在于所述图像帧中的所述内容来确定当应用于与所述经编码图像数据对应的经解码图像数据时期望降低产生可感知视觉伪影的可能性的滤波器参数，以便于改善所述经解码图像数据的视频质量；以及
所述视频编码流水线被配置为指示所述滤波器参数以及所述经编码图像数据。
7.根据权利要求1所述的视频编码流水线，其中所述视频编码流水线被配置为：
至少部分地基于当所述机器学习块被启用时期望存在于所述图像帧中的所述内容来确定对应于所述经编码图像数据的经解码图像数据的期望视频质量；以及
至少部分地基于所述经解码图像数据的所述期望视频质量来确定所述编码参数，以便于当所述经解码图像数据用于在电子显示器上显示所述图像帧时改善所感知到的图像质量。
8.根据权利要求1所述的视频编码流水线，其中，为了训练所述机器学习块，所述机器学习块被配置为：
接收训练图像数据和对应于所述训练图像数据的图像的实际特性；
至少部分地基于所述机器学习参数来处理所述训练图像数据以确定所述图像帧的期望特性；以及
至少部分地基于所述图像的所述实际特性和所述期望特性来调节在所述机器学习块中实现的所述机器学习参数。
9.根据权利要求1所述的视频编码流水线，其中所述机器学习块在所述电子设备外部实现并且经由通信网络通信地耦接到所述电子设备。
10.根据权利要求1所述的视频编码流水线，其中所述视频编码流水线被配置为指示在所述机器学习块中实现的所述机器学习参数以及所述经编码图像数据，以使得视频解码流水线能够至少部分地基于期望存在于所述图像帧中的所述内容来自适应地调节所述经编码图像数据的解码、对应于所述经编码图像数据的经解码图像数据的滤波或两者以便于提高解码效率。
11.根据权利要求10所述的视频编码流水线，其中：
所述机器学习块被配置为实现选自多个预先确定的机器学习参数组的所述机器学习参数；以及
所述视频编码流水线被配置为通过识别选择了所述多个预先确定的机器学习参数组中的哪个机器学习参数组来指示在所述机器学习块中实现的所述机器学习参数以及所述经编码图像数据。
12.一种视频解码流水线，所述视频解码流水线包括：
在电子设备中实现的主解码流水线，其中所述主解码流水...
【专利技术属性】
技术研发人员：J·C·周，A·多拉佩斯，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。