【技术实现步骤摘要】
本申请涉及基于人工智能的图像或音视频压缩，尤其涉及特征数据编解码方法及相关装置。
技术介绍
1、在端到端图像或视频压缩方法中使用跳跃式(skip)熵编码技术，既能够保证压缩率失真性能，又能显著降低熵编码和熵解码的耗时，因此跳跃式熵编码技术在图像或视频压缩方法得到了广泛应用。
2、但是在某些场景下，例如在结合上下文网络的应用场景中，采用跳跃式熵编解码技术，有可能导致编解码训练时的运算逻辑与实际应用时的编解码运算逻辑不一致，这就影响了压缩率失真性能。因此，如何运用跳跃式熵编解码和何时运用跳跃式熵编解码是亟需研发的问题。
技术实现思路
1、本申请提供了特征数据编解码方法及相关装置，采用本申请所述方法，降低了特征数据编解码消耗的时长，提高了压缩性能。
2、第一方面，本申请提供了一种特征数据编码方法，包括：获取待编码特征数据，所述待编码特征数据中包括多个特征元素，所述多个特征元素中包括第一特征元素；对所述待编码特征数据进行处理，获得所述第一特征元素的决策信息；根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，所述第一目标特征元素为所述第一特征元素或第一残差特征元素，所述第一残差特征元素是基于所述第一特征元素处理获得的；在确定需要对所述第一目标特征元素执行熵编码的情况下，对所述第一目标特征元素执行熵编码。
3、可以看到，通过对待编码特征数据中的各个特征元素进行处理，获得各个特征元素的决策信息，根据各个特征元素的决策信息，确定需要执行熵
4、其中，对待编码特征数据中的各个特征元素进行处理，这里处理可以理解为对待编码特征数据进行特征提取，提取出关键特征，再对关键特征进行学习、泛化处理等，从而获得各个特征元素的决策信息，各个特征元素的决策信息可作为用于判断各个特征元素是否需要执行熵编码的依据，例如，对待编码特征数据中的第一特征元素进行处理获得第一特征元素的决策信息，第一特征元素的决策信息可用于作为判断第一目标特征元素是否需要执行熵编码的依据。
5、基于第一方面，在可能的实现方式中，所述对所述待编码特征数据进行处理，获得所述第一特征元素的决策信息，包括：对所述待编码特征数据进行处理，获得所述第一特征元素的决策信息和第二特征元素，所述第二特征元素是与所述第一特征元素具有第一对应关系的特征元素；将所述第一特征元素减去所述第二特征元素，获得所述第一残差特征元素。
6、可以理解，对待编码特征数据进行编码，一种方式是，对待编码特征数据中包括的各个特征元素间接进行熵编码，比如，将待编码特征数据中的各个特征元素减去某一个值(特征元素)，对差值进行熵编码。
7、基于第一方面，在可能的实现方式中，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：在所述第一特征元素的决策信息满足预设条件的情况下，确定不需要对所述第一目标特征元素执行熵编码；或者，在所述第一特征元素的决策信息不满足预设条件的情况下，确定需要对所述第一目标特征元素执行熵编码。
8、基于第一方面，在可能的实现方式中，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：在所述第一特征元素的决策信息大于或等于设置的阈值的情况下，确定不需要对所述第一目标特征元素执行熵编码；或者，在所述第一特征元素的决策信息小于设置的阈值的情况下，确定需要对所述第一目标特征元素执行熵编码。
9、基于第一方面，在可能的实现方式中，所述对所述待编码特征数据进行处理，以得到所述第一特征元素的决策信息，包括：对所述待编码特征数据进行特征提取，获得边信息，对所述边信息进行熵编码，获得所述边信息的码流；对所述边信息进行处理，获得第一信息和第二信息，所述第一信息包括所述第一特征元素的决策信息，所述第二信息中所述第二特征元素。
10、可以理解，这里对边信息进行处理，可以理解为对边信息进行学习、泛化处理等。
11、基于第一方面，在可能的实现方式中，在所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码之后，所述方法还包括：在确定不需要对所述第一目标特征元素执行熵编码的情况下，跳过对所述第一目标特征元素执行熵编码，并将所述待编码特征数据中第一目标特征元素的值替换为替换值。
12、可以看到，对无需执行熵编码的目标特征元素，跳过执行熵编码，从而减少了需要编码的特征元素的数量，降低了编码时长，提高编码效率。对于跳过执行熵编码的目标特征元素，将该目标特征元素的值替换为替换值，目的是计算位于该目标特征元素之后的其他特征元素的上下文信息时，需要用到该目标特征元素的值。本申请提供的方法是在概率估计模型计算概率估计结果(概率估计模型计算概率估计结果，又可称为熵估计过程)之前进行替换操作，替换操作保证了本应用方法与测试训练方法(测试训练方法可参见第五方面的描述或者下文中关于“一种特征数据编解码训练方法”实施例的描述)所使用的计算逻辑、运算内容的一致性。
13、基于第一方面，在可能的实现方式中，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素的值；或者，在所述第一目标特征元素为所述第一残差特征元素的情况下，所述替换值为0。
14、基于第一方面，在可能的实现方式中，所述对所述第一目标特征元素执行熵编码，包括：基于邻域特征元素，确定所述第一目标特征元素的上下文信息，所述邻域特征元素包括所述第一目标特征元素预设邻域范围内已执行熵编码的特征元素和跳过执行熵编码的特征元素，所述跳过执行熵编码的特征元素的值为替换后的值；将所述第一目标特征元素的上下文信息、所述第一特征元素的决策信息和所述第一目标特征元素的替换值输入聚合网络中，确定概率估计模型中的参数；基于所述概率估计模型中的参数，对所述第一目标特征元素执行熵编码。
15、可以看到，本申请所述的跳跃式熵编码方法可以应用于包含上下文网络的场景中，将上下文网络和跳跃式熵编码方式相结合，既降低了编码消耗的时长，又提升了压缩性能。另外，本申请所述的方法和上下文网络相结合使用，实现了测试训练过程与实际应用过程计算逻辑上、计算内容上的一致性。
16、基于第一方面，在可能的实现方式中，在所述对所述待编码特征数据进行处理之后，所述方法还包括：获得第三信息，所述第三信息中包括与所述多个特征元素中各个特征元素具有第二对应关系的特征元素；所述对所述第一目标特征元素执行熵编码，包括：基于邻域特征元素，确定所述第一目标特征元素的上下文信息，所述邻域特征元素包括所述第一目标特征元素预设邻域范围内已执行熵编码的特征元素和跳过执行熵编码的特征元素，所述跳过执行熵编码的特征元素的值为替换后的值；将所述第一目本文档来自技高网...
【技术保护点】
1.一种特征数据编码方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待编码特征数据进行处理，获得所述第一特征元素的决策信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述对所述待编码特征数据进行处理，以得到所述第一特征元素的决策信息，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码之后，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素的值；或者，
8.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第一目
9.根据权利要求1-5任一项所述的方法，其特征在于，在所述对所述待编码特征数据进行处理之后，所述方法还包括：
10.根据权利要求8或9所述的方法，其特征在于，所述概率估计模型中的参数包括多个，所述概率估计模型中的多个参数中的部分参数的值等于所述第一特征元素的决策信息，或者等于所述第二特征元素的值。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述多个特征元素中还包括其他特征元素，所述方法还包括：
12.一种特征数据解码方法，其特征在于，包括：
13.根据权利要求12所述的方法，其特征在于，所述对所述边信息的码流进行熵解码，并将熵解码输出的结果进行处理，获得第一信息，包括：
14.根据权利要求12或13所述的方法，其特征在于，所述根据第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵解码，包括：
15.根据权利要求12-14任一项所述的方法，其特征在于，所述根据第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵解码，包括：
16.根据权利要求12-15任一项所述的方法，其特征在于，在所述根据所述第一特征元素的决策信息，确定是否需要对所述第一目标特征元素执行熵解码之后，所述方法还包括：
17.根据权利要求16所述的方法，其特征在于，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素；或者，
18.根据权利要求12-15任一项所述的方法，其特征在于，所述对所述第一目标特征元素执行熵解码包括：
19.根据权利要求12-15任一项所述的方法，其特征在于，在所述对所述边信息的码流进行熵解码，并将熵解码输出的结果进行解码处理之后，所述方法还包括：
20.根据权利要求18或19所述的方法，其特征在于，所述概率估计模型中的参数包括多个，所述概率估计模型中的多个参数中的部分参数的值等于所述第一特征元素的决策信息，或者等于所述第二特征元素的值。
21.根据权利要求12-20任一项所述的方法，其特征在于，
22.一种特征数据编码装置，其特征在于，包括：
23.根据权利要求22所述的装置，其特征在于，所述处理模块用于：
24.根据权利要求22或23所述的装置，其特征在于，所述确定模块用于：
25.根据权利要求22-24任一项所述的装置，其特征在于，所述确定模块用于：
26.根据权利要求22或23所述的装置，其特征在于，所述处理模块用于：
27.根据权利要求22-26任一项所述的装置，其特征在于，所述执行模块用于：
28.根据权利要求27所述的装置，其特征在于，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素的值；或者，
29.根据权利要求22-26任一项所述的装置，其特征在于，所述执行模块用于：
30.根据权利要求22-26任一项所述的装置，其特征在于，
31.根据权利要求29或30所述的装置，其特征在于，所述概率估计模型中的参数包括多个，所述概率估计模型中的多个参数中的部分参数的值等于所述第一特征元素的决策信息，或者等于所述第二特征元素的值。
32.根据权利要求22-31任一项所述的装置，其特征在于，所述多个特征元素中还包括其他特征元素，所述装置还包括：
3...
【技术特征摘要】
1.一种特征数据编码方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述待编码特征数据进行处理，获得所述第一特征元素的决策信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码，包括：
5.根据权利要求1或2所述的方法，其特征在于，所述对所述待编码特征数据进行处理，以得到所述第一特征元素的决策信息，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述根据所述第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵编码之后，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素的值；或者，
8.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述第一目标特征元素执行熵编码，包括：
9.根据权利要求1-5任一项所述的方法，其特征在于，在所述对所述待编码特征数据进行处理之后，所述方法还包括：
10.根据权利要求8或9所述的方法，其特征在于，所述概率估计模型中的参数包括多个，所述概率估计模型中的多个参数中的部分参数的值等于所述第一特征元素的决策信息，或者等于所述第二特征元素的值。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述多个特征元素中还包括其他特征元素，所述方法还包括：
12.一种特征数据解码方法，其特征在于，包括：
13.根据权利要求12所述的方法，其特征在于，所述对所述边信息的码流进行熵解码，并将熵解码输出的结果进行处理，获得第一信息，包括：
14.根据权利要求12或13所述的方法，其特征在于，所述根据第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵解码，包括：
15.根据权利要求12-14任一项所述的方法，其特征在于，所述根据第一特征元素的决策信息，确定是否需要对第一目标特征元素执行熵解码，包括：
16.根据权利要求12-15任一项所述的方法，其特征在于，在所述根据所述第一特征元素的决策信息，确定是否需要对所述第一目标特征元素执行熵解码之后，所述方法还包括：
17.根据权利要求16所述的方法，其特征在于，在所述第一目标特征元素为所述第一特征元素的情况下，所述替换值为所述第二特征元素；或者，
18.根据权利要求12-15任一项所述的方法，其特征在于，所述对所述第一目标特征元素执行熵解码包括：
19.根据权利要求12-15任一项所述的方法，其特征在于，在所述对所述边信息的码流进行熵解码，并将熵解码输出的结果进行解码处理之后，所述方法还包括：
20.根据权利要求18或19所述的方法，其特征在于，所述概率估计模型中的参数包括多个，所述概率估计模型中的多个参数中的部分参数的值等于所述第一特征元素的决策信息，或者等于所述第二特征元素的值。
21.根据权利要求12-20任一项所述的方法，...
【专利技术属性】
技术研发人员：郭天生，师一博，陈馨瑶，毛珏，王晶，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。