模型间的特征兼容学习方法、装置、电子设备及介质制造方法及图纸

本申请提供一种模型间的特征兼容学习方法、装置、电子设备及介质。所述方法包括：根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；将所述特征兼容学习信息以及用于监督第二模型的目标损失共同作为第二模型最终的优化目标，以完成第一模型和第二模型间的特征兼容学习，通过本方案，能够获得一个兼容的特征，使得其可以与旧版本模型提取的特征直接进行匹配检索，旧版本模型被更新后，整个数据库的特征无需被重新提取，节约了时间，减少了计算资源消耗。消耗。消耗。

【技术实现步骤摘要】
模型间的特征兼容学习方法、装置、电子设备及介质


[0001]本申请涉及人工智能
，具体涉及一种模型间的特征兼容学习方法及装置、一种电子设备以及一种计算机可读存储介质。

技术介绍

[0002]在目标再识别系统中，为了取得更高的性能，部署的模型需要被频繁的更新。新模型可能训练自更大的数据集，使用更先进的网络架构或损失函数。一旦模型被更新，整个数据库的特征需要被重新提取，以保证特征的兼容性。因为数据库中包含百万甚至千万级别图像，特征重提取十分消耗时间和计算资源。此外，在实际的应用系统中，计算资源十分有限，用户往往没有临时的可以被大量使用的GPU资源。

技术实现思路

[0003]本申请的目的是提供一种模型间的特征兼容学习方法及装置、一种电子设备以及一种计算机可读存储介质。
[0004]本申请第一方面提供一种模型间的特征兼容学习方法，包括：
[0005]根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；
[0006]将所述特征兼容学习信息以及用于监督第二模型的目标损失共同作为第二模型最终的优化目标，以完成第一模型和第二模型间的特征兼容学习。
[0007]本申请第二方面提供一种模型间的特征兼容学习装置，包括：
[0008]确定模块，用于根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；
[0009]特征兼容模块，用于将所述特征兼容学习信息以及用于监督第二模型的目标损失共同作为第二模型最终的优化目标，以完成第一模型和第二模型间的特征兼容学习。
[0010]本申请第三方面提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现本申请第一方面所述的方法。
[0011]本申请第四方面提供一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。
[0012]相较于现有技术，本申请提供的模型间的特征兼容学习方法，根据第一模型和第二模型的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；将所述特征兼容学习信息以及用于监督第二模型的目标损失共同作为第二模型最终的优化目标，以完成第一模型和第二模型间的特征兼容学习，通过本方案，
能够获得一个兼容的特征，使得其可以与旧版本模型提取的特征直接进行匹配检索，旧版本模型被更新后，整个数据库的特征无需被重新提取，节约了时间，减少了计算资源消耗。
附图说明
[0013]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0014]图1示出了新旧版本模型间特征兼容学习的示意图；
[0015]图2示出了本申请提供的一种模型间的特征兼容学习方法的流程图；
[0016]图3示出了模型的网络结构拆分示意图；
[0017]图4示出了基于度量空间的代表特征迁移损失示意图；
[0018]图5示出了模型间网络组件级别的结构正则示意图；
[0019]图6示出了本申请提供的一种模型间的特征兼容学习装置的示意图；
[0020]图7示出了本申请提供的一种电子设备的示意图；
[0021]图8示出了本申请提供的一种计算机可读存储介质的示意图。
具体实施方式
[0022]下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0023]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
[0024]另外，术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0025]目前，大规模视频数据分析系统需要频繁的模型更新和部署，不同版本模型提取的特征描述子之间面临着特征互操作性的问题。每当系统更新之后，需要重新提取数据库中的所有特征，这十分消耗计算和存储资源。
[0026]如图1所示，为了使新空间和旧空间中的特征可以互操作(兼容)，需要进行新旧版本模型间的特征兼容学习。现有的一部分特征互操作方法希望学习一个额外的映射模型来将模型A的特征转变为模型B的特征。然而在新模型特征与数据库特征比对之前，一个额外的特征重提取程序仍然需要。此外，虽然有工作涉及额外的正则化策略，使用旧的分类器协助新的度量特征学习，基于这样的兼容策略，在获得兼容特征的同时，可以避免额外的特征重提取程序。然而，当旧模型的分类器或者监督损失与新模型不同时，基于分类器的监督使用受限，面临着严重的性能下降。此外，该工作限制了新模型的训练数据需要与旧模型的训练数据有重叠的类别，限制了其使用场景。
[0027]有鉴于此，本申请实施例提供一种模型间的特征兼容学习方法及装置、一种电子设备以及计算机可读存储介质，下面结合附图进行说明。
[0028]请参考图2，其示出了本申请的一些实施方式所提供的一种模型间的特征兼容学习方法的流程图，该方法可以包括以下步骤S101至S102：
[0029]步骤S101：根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息；
[0030]其中，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；
[0031]实际应用中，第一模型可以为旧模型，其模型参数是确定的，第二模型可以为新模型，其模型参数需要学习。
[0032]图3为模型的网络结构拆分示意图，如图3所示，各模型的网络组件可以包括特征提取模块和任务头模块，当然也可以只包括特征提取模块和任务头模块中的任一个。特征提取模块用于特征提取，任务头模块用于根据提取的特征进行分类、检测等任务。特征提取模块的度量空间和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型间的特征兼容学习方法，其特征在于，包括：根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训练数据集，确定第一模型和第二模型的特征兼容学习信息，所述特征兼容学习信息包括代表特征迁移损失和/或网络组件的结构正则，所述新训练数据集用于第二模型训练；将所述特征兼容学习信息以及用于监督第二模型的目标损失共同作为第二模型最终的优化目标，以完成第一模型和第二模型间的特征兼容学习。2.根据权利要求1所述的方法，其特征在于，所述确定第一模型和第二模型的代表特征迁移损失，包括：使用第一模型提取新训练数据集中所有样本的特征，得到第一模型特征；基于第一模型特征，提取第一模型对应的每个类别的代表特征；使用第二模型提取新训练数据集中所有样本的特征，得到第二模型特征，对于每个第二模型特征，计算其与各所述代表特征的相似度；计算基于所述相似度的代表特征迁移损失，以实现第一模型和第二模型的特征兼容；所述代表特征迁移损失的表达式如下：其中，为第二模型参数，M
o
为第一模型代表特征的集合，T
N
为新训练数据集，符号<.，.>代表样本特征的余弦距离，x
c
为类别标签为c的样本，为c类别的代表特征。3.根据权利要求1或2所述的方法，其特征在于，所述第一模型的网络组件包括第一特征提取模块和第一任务头模块；所述第二模型的网络组件包括第二特征提取模块和第二任务头模块。4.根据权利要求3所述的方法，其特征在于，所述确定第一模型和第二模型的网络组件的结构正则，包括：确定第一特征提取模块和第二任务头模块重组后的第一重组网络的第一监督损失；确定第二特征提取模块和第一任务头模块重组后的第二重组网络的第二监督损失；根据第一监督损失和第二监督损失确定第一模型和第二模型相互结构正则化的优化目标；所述优化目标的表达式如下：其中，L
CE_O
为第一监督损失，L
CE_N
为第二监督损失；代表使用第一特征提取模块和第二任务头模块h
N
在数据集T
N
上进行特定的目标任务，T
N
为新训练数据集；代表使用第二特征提取模块和第一任务头模块h
O
在数据集t
N
′
上进行特定的目标任务，t
N
′
为新训练数据集与旧训练数据集中具有相同类别的样本集合，所述旧训练数据集用于第一模型训练。5.一种模型间的特征兼容学习装置，其特征在于，包括：确定模块，用于根据第一模型确定的模型参数和第二模型待学习的模型参数以及新训
练数据集...

【专利技术属性】
技术研发人员：段凌宇，白燕，吴生森，
申请(专利权)人：北京大学，
类型：发明
国别省市：