模型更新方法、视觉任务处理方法、装置、设备及介质制造方法及图纸

本申请属于人工智能技术领域，具体涉及一种模型更新方法、视觉任务处理方法、装置、设备及介质。所述方法包括：将样本数据分别输入原始视觉特征提取模型和初始更新视觉特征提取模型进行视觉特征提取处理，得到原始视觉特征数据和初始更新视觉特征数据，并对初始更新视觉特征提取模型中的初始数据转换模型进行训练，得到目标更新视觉特征提取模型；将原始视觉特征提取模型更新为目标更新视觉特征提取模型，目标更新视觉特征模型用于提取视觉特征数据，视觉特征数据用于执行视觉任务。该模型更新方法提高了模型更新效率，并降低了模型更新成本。新成本。新成本。

【技术实现步骤摘要】
模型更新方法、视觉任务处理方法、装置、设备及介质


[0001]本申请属于人工智能
，具体涉及一种模型更新方法、视觉任务处理方法、装置、设备及介质。

技术介绍

[0002]随着人工智能技术的研究和进步，出现了很多计算机视觉(Computer Vision，CV)系统，比如图像识别系统、图像检索系统、视频处理系统等。计算机视觉系统的实现，离不开视觉基础模型。视觉基础模型一般以自监督的方式从海量数据中学习特征表达，可以应用于多种下游视觉任务，构成了视觉系统的基石。在视觉系统中，视觉模型通常作为上游特征提取器来提取视觉特征，通过设计不同的下游视觉任务模块来完成特定视觉任务。
[0003]由于计算机视觉技术发展迅猛，为了提升计算机视觉系统的性能，以改善用户体验，视觉基础模型需要进行不断地升级以满足发展需求。目前，视觉基础模型的升级方式多采用冷插拔式升级。在升级视觉基础模型的过程中，需要对所有的下游视觉任务模块重新进行训练。因此，这种升级方式具有低灵活性、低效率、高成本等弊端。

技术实现思路

[0004]为了解决上述技术问题，本申请提出了一种模型更新方法、视觉任务处理方法、装置、设备及介质。通过将训练好的预设视觉特征提取模型和初始数据转换模型进行融合得到初始更新视觉特征提取模型，利用原始视觉特征提取模型和初始更新视觉特征提取模型对同一样本多媒体数据处理得到的原始视觉特征数据和初始更新视觉特征数据，对初始更新视觉特征提取模型中的初始数据转换模型进行训练，使初始更新视觉特征数据与原始视觉特征数据在特征空间上对齐，从而在升级视觉基础模型时，无需对下游视觉任务模块重新进行训练，提高了模型更新效率，并降低了模型更新成本。
[0005]一方面，本申请实施例提供了一种模型更新方法，所述方法包括：
[0006]获取样本多媒体数据；
[0007]将样本多媒体数据输入原始视觉特征提取模型进行视觉特征提取处理，得到原始视觉特征数据；以及将样本多媒体数据输入到初始更新视觉特征提取模型进行视觉特征提取和数据转换处理，得到初始更新视觉特征数据；初始更新视觉特征提取模型为基于预设视觉特征提取模型和初始数据转换模型融合得到；预设视觉特征提取模型用于对样本多媒体数据进行视觉特征提取，得到预设视觉特征数据；初始数据转换模型用于对预设视觉特征数据进行数据转换，得到初始更新视觉特征数据；
[0008]基于原始视觉特征数据和初始更新视觉特征数据，对初始更新视觉特征提取模型中的初始数据转换模型进行训练，直至原始视觉特征数据和初始更新视觉特征数据的差异满足预设条件，得到目标更新视觉特征提取模型；
[0009]将原始视觉特征提取模型更新为目标更新视觉特征提取模型，目标更新视觉特征模型用于提取视觉特征数据，视觉特征数据用于执行视觉任务。
[0010]另一方面，本申请实施例还提供了一种视觉任务处理方法，所述方法包括：
[0011]获取待处理多媒体数据；
[0012]将待处理多媒体数据输入至目标更新视觉特征提取模型进行视觉特征提取，得到视觉特征数据；目标更新视觉特征提取模型为基于如上所述的模型更新方法对原始视觉特征提取模型进行更新得到；
[0013]基于视觉特征数据对视觉任务处理进行处理，得到视觉任务处理结果。
[0014]另一方面，本申请实施例还提供了一种模型更新装置，所述装置包括：
[0015]样本多媒体数据获取模块，用于获取样本多媒体数据；
[0016]样本多媒体数据处理模块，用于将样本多媒体数据输入原始视觉特征提取模型进行视觉特征提取处理，得到原始视觉特征数据；以及将样本多媒体数据输入到初始更新视觉特征提取模型进行视觉特征提取和数据转换处理，得到初始更新视觉特征数据；初始更新视觉特征提取模型为基于预设视觉特征提取模型和初始数据转换模型融合得到；预设视觉特征提取模型用于对样本多媒体数据进行视觉特征提取，得到预设视觉特征数据；初始数据转换模型用于对预设视觉特征数据进行数据转换，得到初始更新视觉特征数据；
[0017]模型训练模块，用于基于原始视觉特征数据和初始更新视觉特征数据，对初始更新视觉特征提取模型中的初始数据转换模型进行训练，直至原始视觉特征数据和初始更新视觉特征数据的差异满足预设条件，得到目标更新视觉特征提取模型；
[0018]模型更新模块，用于将原始视觉特征提取模型更新为目标更新视觉特征提取模型，目标更新视觉特征模型用于提取视觉特征数据，视觉特征数据用于执行视觉任务。
[0019]另一方面，本申请实施例提供了一种视觉任务处理装置，所述装置包括：
[0020]待处理多媒体数据获取模块，用于获取待处理多媒体数据；
[0021]视觉特征提取模块，用于将待处理多媒体数据输入至目标更新视觉特征提取模型进行视觉特征提取，得到视觉特征数据；目标更新视觉特征提取模型为基于如上所述的模型更新方法对原始视觉特征提取模型进行更新得到；
[0022]任务处理模块，用于基于视觉特征数据对视觉任务处理进行处理，得到视觉任务处理结果。
[0023]另一方面，本申请实施例还提供了一种模型更新的电子设备，所述电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的模型更新方法。
[0024]另一方面，本申请实施例还提供了一种视觉任务处理的电子设备，所述电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的视觉任务处理方法。
[0025]另一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以如上所述的模型更新方法或如上所述的视觉任务处理方法。
[0026]另一方面，本申请提供了一种计算机程序产品，所述计算机程被处理器执行时实现如上所述的模型更新方法或如上所述的视觉任务处理方法。
[0027]本申请实施例提出的模型更新方法、视觉任务处理方法、装置、设备及介质，利用原始视觉特征提取模型和初始更新视觉特征提取模型对同一样本多媒体数据处理，得到原
始视觉特征数据和初始更新视觉特征数据，初始更新视觉特征提取模型为训练好的预设视觉特征提取模型和初始数据转换模型进行融合得到。然后基于原始视觉特征数据和初始更新视觉特征数据，对初始更新视觉特征提取模型中的初始数据转换模型进行训练，直至原始视觉特征数据和初始更新视觉特征数据的差异满足预设条件，得到目标更新视觉特征提取模型，从而使目标更新视觉特征提取模型与原始视觉特征提取模型所对应的特征空间对齐。将原始视觉特征提取模型更新为目标更新视觉特征提取模型，实现了对原始视觉特征提取模型的更新。在上述模型更新过程中，目标更新视觉特征提取模型实现了对原始视觉特征提取模型的兼容性，通过该模型更新方法，不要对下游视觉任务模块进行重新训练就可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型更新方法，其特征在于，所述方法包括：获取样本多媒体数据；将所述样本多媒体数据输入原始视觉特征提取模型进行视觉特征提取处理，得到原始视觉特征数据；以及将所述样本多媒体数据输入到初始更新视觉特征提取模型进行视觉特征提取和数据转换处理，得到初始更新视觉特征数据；所述初始更新视觉特征提取模型为基于预设视觉特征提取模型和初始数据转换模型融合得到；所述预设视觉特征提取模型用于对所述样本多媒体数据进行视觉特征提取，得到预设视觉特征数据；所述初始数据转换模型用于对所述预设视觉特征数据进行数据转换，得到所述初始更新视觉特征数据；基于所述原始视觉特征数据和所述初始更新视觉特征数据，对所述初始更新视觉特征提取模型中的初始数据转换模型进行训练，直至所述原始视觉特征数据和所述初始更新视觉特征数据的差异满足预设条件，得到目标更新视觉特征提取模型；将所述原始视觉特征提取模型更新为所述目标更新视觉特征提取模型，所述目标更新视觉特征模型用于提取视觉特征数据，所述视觉特征数据用于执行视觉任务。2.根据权利要求1所述的方法，其特征在于，所述初始数据转换模型包括下采样层、激活层和上采样层；所述预设视觉特征数据的维度为第一预设维度；所述将所述样本多媒体数据输入到初始更新视觉特征提取模型进行视觉特征提取和数据转换处理，得到初始更新视觉特征数据，包括：将所述样本多媒体数据输入到所述预设视觉特征提取模型进行视觉特征提取，得到所述预设视觉特征数据；将所述预设视觉特征数据输入至所述下采样层进行下采样处理，得到维度为第二预设维度的下采样视觉特征处理结果；所述第二预设维度小于所述第一预设维度；将所述下采样视觉特征处理结果输入至所述激活层进行激活处理，得到视觉特征激活处理结果；将所述视觉特征激活处理结果输入至所述上采样层进行上采样处理，得到维度为所述第一预设维度的上采样视觉特征处理结果；基于所述上采样视觉特征处理结果，确定所述初始更新视觉特征数据。3.根据权利要求2所述的方法，其特征在于，所述原始视觉特征数据的维度为第三预设维度；所述初始更新视觉特征提取模型包括维度对齐层；所述基于所述上采样视觉特征处理结果，确定所述初始更新视觉特征数据，包括：将所述上采样视觉特征处理结果输入到所述维度对齐层进行维度对齐处理，得到维度为所述第三预设维度的所述初始更新视觉特征数据。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述基于所述原始视觉特征数据和所述初始更新视觉特征数据，对所述初始更新视觉特征提取模型中的初始数据转换模型进行训练，直至所述原始视觉特征数据和所述初始更新视觉特征数据的差异满足预设条件，得到目标更新视觉特征提取模型，包括：基于所述原始视觉特征数据和所述初始更新视觉特征数据之间的差异，确定目标模型损失数据；基于所述目标模型损失数据，对所述初始更新视觉特征提取模型中的初始数据转换模型的参数进行调整，直至所述目标模型损失数据满足预设条件，得到所述目标更新视觉特
征提取模型。5.根据权利要求4所述的方法，其特征在于，所述样本多媒体数据包括样本图像数据和样本文本数据，所述样本文本数据用于描述所述样本图像数据；所述原始视觉特征提取模型包括原始图像特征提取子模型和原始文本特征提取子模型；所述将所述样本多媒体数据输入原始视觉特征提取模型进行视觉特征提取处理，得到原始视觉特征数据，包括：将所述样本图像数据输入至所述原始图像特征提取子模型进行图像视觉特征提取，得到原始图像视觉特征数据；将所述样本文本数据输入至所述原始文本特征提取子模型进行文本视觉特征提取，得到原始文本视觉特征数据；将所述原始图像视觉特征数据和所述原始文本视觉特征数据作为所述原始视觉特征数据。6.根据权利要求5所述的方法，其特征...

【专利技术属性】
技术研发人员：张斌杰，葛艺潇，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：