特征图的处理方法和相关设备技术

本申请提供了一种特征图的处理方法和相关设备，涉及人工智能技术领域。该方法包括：根据预设的步长与特征图尺寸范围的对应关系、以及目标特征图的尺寸确定P个目标步长，所述P为任意正整数；调用神经网络模型对所述目标特征图进行处理，以得到所述目标特征图的处理结果；其中，所述神经网络模型包括P个动态步长模块，在调用所述神经网络模型对所述目标特征图进行处理的过程中，所述P个动态步长模块中的任一个动态步长模块的步长为所述P个目标步长中与所述任一个动态步长模块对应的目标步长。本申请实施例，在给定算力的情况下，能够使得特征域任务网络适配不同尺寸的输入特征图。特征域任务网络适配不同尺寸的输入特征图。特征域任务网络适配不同尺寸的输入特征图。

【技术实现步骤摘要】
特征图的处理方法和相关设备


[0001]本申请实施例涉及人工智能(AI)
，尤其涉及一种特征图的处理方法和相关设备。

技术介绍

[0002]现有机器任务的神经网络大多是以图像作为输入的视觉任务神经网络(简称为图像域任务网络)，也即图像域任务网络的输入为图像，图像域任务网络对输入的图像进行处理后，输出处理结果。图像域任务网络结合视频或图像编解码应用时，需要解码端(例如基于人工神经网络的图像解码器)首先解析码流产生重建特征图，再将重建特征图输入图像重建网络产生重建图像，以重建图像作为图像域任务网络的输入。因此，图像域任务网络结合视频或图像编解码应用时，需要较大的算力。
[0003]为此，采用以特征图作为输入的视觉任务神经网络(简称为特征域任务网络)替代图像域任务网络，以降低机器任务在结合视频或图像编解码应用时的算力。例如，将解析码流产生的重建特征图作为特征域任务网络的输入，省去图像重建的过程，从而降低算力。然而，在给定算力的情况下，如何使得特征域任务网络可以适配不同尺寸(也称分辨率)的输入特征图，仍为还未解决的技术问题。

技术实现思路

[0004]本申请提供一种特征图的处理方法和相关设备，在给定算力的情况下，能够使得特征域任务网络适配不同尺寸的输入特征图。
[0005]上述和其它目标通过独立权利要求的主体实现。其它实现方式在从属权利要求、具体实施方式和附图中显而易见。
[0006]具体实施例在所附独立权利要求中概述，其它实施例在从属权利要求中概述。
[0007]根据第一方面，本申请涉及一种特征图的处理方法，该方法包括：根据预设的步长与特征图尺寸范围的对应关系、以及目标特征图的尺寸确定P个目标步长，所述P为任意正整数；调用神经网络模型对所述目标特征图进行处理，以得到所述目标特征图的处理结果；其中，所述神经网络模型包括P个动态步长模块，所述P个动态步长模块与所述P个目标步长对应，在调用所述神经网络模型对所述目标特征图进行处理的过程中，所述P个动态步长模块中的任一个动态步长模块的步长为所述P个目标步长中与所述任一个动态步长模块对应的目标步长。
[0008]在本申请实施例中，神经网络模型包括P个动态步长模块，具体地，神经网络模型的主干网络包括P个动态步长模块；在神经网络模型的训练阶段，确定好预设的步长与特征图尺寸范围的对应关系，也即确定好P个动态步长模块中每个动态步长模块的步长与输入特征图尺寸范围的对应关系。在神经网络模型的推理阶段，先根据目标特征图的尺寸以及预设的步长与特征图尺寸范围的对应关系，得到P个动态步长模块中每个动态步长模块的步长；然后将P个动态步长模块的步长配置为前述确定的步长；再将目标特征图输入到神经
网络模型进行处理，从而得到目标特征图的处理结果。其中，动态步长模块可以对特征图进行下采样，输入特征图的所属的特征图尺寸范围不同，对应的动态步长模块的步长也不同，那么动态步长模块的下采样倍率也不同；故当输入特征图的尺寸较大时，可以根据输入特征图的尺寸，选择合适的动态步长模块的步长，也即选择合适的下采样倍率，使得神经网络模型对该尺寸较大的输入特征图进行处理，相比于对尺寸较小的输入特征图进行处理，也不会增加计算量。并且，对于神经网络模型来说，当输入的输入特征图所属的尺寸范围不同时，仅是动态步长模块的步长会变化，而动态步长模块的模型参数(也即权重参数)并不会变化；故对于不同尺寸范围的输入特征图来说，神经网络模型的模型参数是相同的；而神经网络模型的参数在训练过程中固定的，在训练得到该神经网络模型过程中，合理选择训练样本，使得训练样本包含各个尺寸范围的样本特征图，如此训练得到的该神经网络模型对于各个尺寸范围的输入特征图都是适配的，其精度可以得到保障。如此，本申请不引入额外的网络结构、不增加模型参数，使得特征域任务网络可以在不增加计算量的情况下，动态适配不同尺寸大小的输入特征图；也即，在兼顾网络运行效率、模型大小以及精度的同时，使得网络可以在比较大的输入尺寸范围内良好地工作。
[0009]在一种可能的设计中，所述目标特征图是解码码流得到的特征图。
[0010]在本设计中，由于神经网络模型的输入的目标特征图为解码码流得到的特征图，例如目标特征图为使用端到端图像解码器的熵解码模块对特征图码流进行解码得到的特征图；如此，对于视频或图像编解码来说，无需将解码码流得到的特征图再进行图像重建，以得到重建的图像输入神经网络模型处理，也即可以省略图像重建的过程，而直接将解码码流得到的特征图输入神经网络模型分析，从而降低算力。
[0011]在一种可能的设计中，所述动态步长模块为动态步长卷积层或动态步长残差块。
[0012]在本设计中，卷积层或残差块对特征图进行下采样，故动态步长模块可以为动态步长卷积层或动态步长残差块；针对输入特征图的尺寸的不同，确定合适的动态步长卷积层或动态步长残差块的步长，在调用神经网络模型对输入特征图进行处理时，该动态步长卷积层或动态步长残差块的步长采用该确定的步长，从而在给定算力的情况下，有利于该神经网络模型适配不同尺寸的输入特征图。
[0013]在一种可能的设计中，所述方法还包括：确定所述预设的步长与特征图尺寸范围的对应关系，所述预设的步长与特征图尺寸范围的对应关系包括N组步长与N个特征图尺寸范围的对应关系，所述N为任意正整数；获取M组样本特征图，所述M组样本特征图中的任一组样本特征图包括所述N个特征图尺寸范围中的任一个特征图尺寸范围内的特征图，所述M为任意正整数；根据所述M组样本特征图对神经网络进行多次迭代训练，以得到所述神经网络模型；其中，所述神经网络包括所述P个动态步长模块，在采用任一个样本特征图对所述神经网络进行训练的过程中，所述P个动态步长模块与P个训练步长对应，所述P个动态步长模块中的任一个动态步长模块的步长为所述P个训练步长中与所述任一个动态步长模块对应的训练步长；所述P个训练步长为所述任一个样本特征图对应的P个训练步长，所述任一个样本特征图对应的P个训练步长是根据所述N组步长与N个特征图尺寸范围的对应关系、以及所述任一个样本特征图的尺寸从所述N组步长中确定的。
[0014]在本设计中，在神经网络模型的训练阶段，确定好预设的步长与特征图尺寸范围的对应关系，具体包括设定N组步长与N个特征图尺寸范围的对应关系，N的取值可以根据实
际需求来确定；对于输入的任一个样本特征图来说，其尺寸属于N个特征图尺寸范围中的一个，那么其对应的一组步长为其所属的特征图尺寸范围对应的一组步长；由于神经网络模型包括P个动态步长模块，则任一个样本特征图对应的一组步长中包括P个训练步长，在训练时，P个动态步长模块的步长一一对应配置为该P个训练步长；如此，对于不同特征图尺寸范围的样本特征图，用于训练时，神经网络中的动态步长模块的步长是不同的。在选择训练样本时，可以选择M组样本特征图，M的取值可以根据实际需求来确定，M组样本特征图中的任一组样本特征图包括前述N个特征图尺寸范围的特征图；如此，在训练时，采用的各个特征图尺寸范围内的样本特征图是均衡的。综上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征图的处理方法，其特征在于，包括：根据预设的步长与特征图尺寸范围的对应关系、以及目标特征图的尺寸确定P个目标步长，所述P为任意正整数；调用神经网络模型对所述目标特征图进行处理，以得到所述目标特征图的处理结果；其中，所述神经网络模型包括P个动态步长模块，在调用所述神经网络模型对所述目标特征图进行处理的过程中，所述P个动态步长模块中的任一个动态步长模块的步长为所述P个目标步长中与所述任一个动态步长模块对应的目标步长。2.根据权利要求1所述的方法，其特征在于，所述目标特征图是解码码流得到的特征图。3.根据权利要求1或2所述的方法，其特征在于，所述动态步长模块为动态步长卷积层或动态步长残差块。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：确定所述预设的步长与特征图尺寸范围的对应关系，所述预设的步长与特征图尺寸范围的对应关系包括N组步长与N个特征图尺寸范围的对应关系，所述N为任意正整数；获取M组样本特征图，所述M组样本特征图中的任一组样本特征图包括所述N个特征图尺寸范围中的任一个特征图尺寸范围内的特征图，所述M为任意正整数；根据所述M组样本特征图对神经网络进行多次迭代训练，以得到所述神经网络模型；其中，在采用任一个样本特征图对所述神经网络进行训练的过程中，所述P个动态步长模块中的任一个动态步长模块的步长为P个训练步长中与所述任一个动态步长模块对应的训练步长，所述P个训练步长是根据所述N组步长与N个特征图尺寸范围的对应关系、以及所述任一个样本特征图的尺寸从所述N组步长中确定的。5.根据权利要求4所述的方法，其特征在于，所述根据所述M组样本特征图对神经网络进行多次迭代训练，以得到所述神经网络模型，包括：S1：针对第一组样本特征图，执行步骤S11至步骤S13，所述第一组样本特征图为所述M组样本特征图中的任一组样本特征图：S11：将所述第一组样本特征图中的第一样本特征图输入所述神经网络，以得到第一损失；S12：若所述第一损失收敛，则得到所述神经网络模型；若所述第一损失不收敛，则根据所述第一损失调整所述神经网络的参数，以及执行步骤S13；S13：将所述第一组样本特征图中还未用于训练的任一第二样本特征图作为所述第一样本特征图，继续执行上述步骤S11和S12；若直至所述第一组样本特征图中的全部样本特征图均用于训练过之后，所述第一损失仍不收敛，则执行步骤S2；S2：将所述M组样本特征图中还未用于训练的任一第二组样本特征图作为所述第一组样本特征图，继续执行上述步骤S1。6.根据权利要求4所述的方法，其特征在于，所述根据所述M组样本特征图对神经网络进行多次迭代训练，以得到所述神经网络模型，包括：S1：针对第一组样本特征图，执行步骤S11至步骤S13，所述第一组样本特征图为所述M组样本特征图中的任一组样本特征图：S11：将所述第一组样本特征图输入所述神经网络，以得到N个第一损失，所述N个第一
损失与所述N个特征图尺寸范围对应；S12：根据所述N个第一损失计算得到第二损失；S13：若所述第二损失收敛，则得到所述神经网络模型；若所述第二损失不收敛，则根据所述第二损失调整所述神经网络的参数，以及执行步骤S2；S2：将所述M组样本特征图中还未用于训练的任一第二组样本特征图作为所述第一组样本特征图，继续执行上述步骤S1。7.根据权利要求4
‑
6任一项所述的方法，其特征在于，所述M组样本特征图中的任一组样本特征图包括N个样本特征图，所述N个样本特征图是对N个第一样本图像进行编码得到的，所述N个第一样本图像是对第二样本图像进行尺寸调整得到的，所述N个第一样本图像包括N个图像尺寸范围的图像，所述N个图像尺寸范围与所述N个特征图尺寸范围对应。8.一种特征图的处理装置，其特征在于，包括：处理单元，用于：根据预设的步长与特征图尺寸范围的对应关系、以及目标特征图的尺寸确定P个目标步长，所述P为任意正整数；调用神经网络模型对所述目标特征图进行处理，以得到所述目标特征图的处理结果；其中，所述神经网络模...

【专利技术属性】
技术研发人员：于德权，赵寅，杨海涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：