【技术实现步骤摘要】
【国外来华专利技术】
示例和非限制性实施例总体上涉及多媒体传输和机器学习，并且更具体地，涉及经由基于学习神经网络的过滤器对机器视觉任务的性能改进。
技术介绍
1、已知在多媒体系统中执行数据压缩和解码。
技术实现思路
【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述至少一个过滤器利用神经网络而被实现。
3.根据权利要求1所述的方法，其中所述模型包括神经网络。
4.根据权利要求1所述的方法，其中：
5.根据权利要求1所述的方法，其中所述解码器包括学习解码器，并且所述编码器包括学习编码器。
6.根据权利要求1所述的方法，还包括：使用至少一个处理操作来生成所述辅助特征，所述至少一个处理操作将所述辅助信息映射为适合于使用所述过滤器生成所述经过滤的数据的信息。
7.根据权利要求6所述的方法，其中所述至少一个处理操作包括神经网络。
8.根据权利要求1所述的方法，其中所述经解码的数据包括经解码的图像，并且所述经过滤的数据包括经过滤的图像。
9.根据权利要求1所述的方法，还包括：向所述机器任务提供所述辅助信息或所述辅助特征作为一个或多个输入。
10.根据权利要求1所述的方法，还包括：基于随时间提供的多项所述辅助信息的聚合来生成所述辅助特征。
11.根据权利要求1所述的方法，其中所
12.根据权利要求1所述的方法，其中所述至少一个过滤器包括公共过滤器和专用过滤器，所述方法还包括：
13.根据权利要求1所述的方法，其中在所述解码器内可用的所述信息包括对应图像/视频的块划分信息。
14.根据权利要求13所述的方法，其中所述辅助特征是使用所述块划分信息而被生成，并且所述辅助特征包括呈图像格式的块划分图。
15.根据权利要求14所述的方法，其中所述块划分图的划分边界在二进制图像中被标记。
16.根据权利要求14所述的方法，其中所述块划分图包括经由将划分块中的像素分配给指示所述划分块的值而生成的图像。
17.根据权利要求14所述的方法，其中所述块划分图的不同块在所述至少一个过滤器中使用所述块划分图之前被标记。
18.根据权利要求1所述的方法，其中：
19.根据权利要求1所述的方法，其中所述辅助信息包括图像帧的帧间预测块的运动向量信息。
20.根据权利要求1所述的方法，其中所述辅助信息包括缩放的运动信息或运动向量，所述运动信息或运动向量已经基于所述机器任务的参考图片而被缩放。
21.根据权利要求1所述的方法，其中所述辅助信息包括在所述解码器内可用的所述信息的变换，或者所述辅助信息包括从使用所述编码器编码的所述数据输出的所述比特流的变换，所述变换是离散余弦变换、离散正弦变换、或低频不可分离变换。
22.根据权利要求1所述的方法，其中所述辅助信息包括所述解码器的残余信息。
23.根据权利要求1所述的方法，其中所述辅助信息源自与视频编解码器的一个或多个环路内过滤器/后处理过滤器有关的信息。
24.根据权利要求1所述的方法，其中所述辅助信息包括来自所述编码器的预处理信息。
25.根据权利要求1所述的方法，还包括：基于所述机器任务，从编解码器中选择所述辅助信息。
26.根据权利要求1所述的方法，还包括：使用解码器侧信息的子集来训练所述至少一个过滤器，使得所述辅助信息的子集提供对所述机器任务的改进。
27.根据权利要求1所述的方法，还包括：通过至少一个补充增强信息消息向解码器发信号通知对在所述解码器内可用的所述信息的选择。
28.根据权利要求1所述的方法，还包括：从所述编码器向所述解码器发信号通知是否将所述辅助信息或所述辅助特征输入到所述过滤器。
29.根据权利要求1所述的方法，还包括：在将所述辅助信息或所述辅助特征输入到所述过滤器之前，从所述编码器向所述解码器发信号通知用于处理所述辅助信息的一个或多个参数。
30.一种装置，包括：
31.一种装置，包括：
32.一种由机器可读取的非暂态程序存储设备，有形地体现能够用所述机器执行的用于执行操作的指令的程序，所述操作包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种方法，包括：
2.根据权利要求1所述的方法，其中所述至少一个过滤器利用神经网络而被实现。
3.根据权利要求1所述的方法，其中所述模型包括神经网络。
4.根据权利要求1所述的方法，其中：
5.根据权利要求1所述的方法，其中所述解码器包括学习解码器，并且所述编码器包括学习编码器。
6.根据权利要求1所述的方法，还包括：使用至少一个处理操作来生成所述辅助特征，所述至少一个处理操作将所述辅助信息映射为适合于使用所述过滤器生成所述经过滤的数据的信息。
7.根据权利要求6所述的方法，其中所述至少一个处理操作包括神经网络。
8.根据权利要求1所述的方法，其中所述经解码的数据包括经解码的图像，并且所述经过滤的数据包括经过滤的图像。
9.根据权利要求1所述的方法，还包括：向所述机器任务提供所述辅助信息或所述辅助特征作为一个或多个输入。
10.根据权利要求1所述的方法，还包括：基于随时间提供的多项所述辅助信息的聚合来生成所述辅助特征。
11.根据权利要求1所述的方法，其中所述辅助特征包括具有两个空间维度和一个通道维度的三维张量，所述三维张量具有与所述经解码的数据、或所述经解码的数据的下采样或上采样版本基本上相同的空间分辨率，并且所述辅助特征的通道包括用于图像的像素的所述辅助信息。
12.根据权利要求1所述的方法，其中所述至少一个过滤器包括公共过滤器和专用过滤器，所述方法还包括：
13.根据权利要求1所述的方法，其中在所述解码器内可用的所述信息包括对应图像/视频的块划分信息。
14.根据权利要求13所述的方法，其中所述辅助特征是使用所述块划分信息而被生成，并且所述辅助特征包括呈图像格式的块划分图。
15.根据权利要求14所述的方法，其中所述块划分图的划分边界在二进制图像中被标记。
16.根据权利要求14所述的方法，其中所述块划分图包括经由将划分块中的像素分配给指示所述划分块的值而生成的图像。
17.根据权利要求14所述的方法，...
【专利技术属性】
技术研发人员：R·加兹纳维·尤瓦拉里，张洪雷，F·克里克里，N·H·勒，M·M·安尼克塞拉，H·雷扎扎德甘·塔瓦科利，J·I·阿霍南，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。