图像处理方法及其模型的训练方法和装置、设备、介质制造方法及图纸

本申请公开了一种图像处理方法及其模型的训练方法和装置、设备、介质，图像处理模型的训练方法包括：获取多张样本图像，其中，多张样本图像所属的图像类型为至少两种，样本图像对应有标注结果，样本图像的标注结果包括关于样本图像的内容的真实信息；分别利用图像处理模型对各样本图像进行处理，得到各样本图像的预测结果，其中，样本图像的预测结果包括关于样本图像的内容的预测信息；基于各样本图像的标注结果和预测结果，调整图像处理模型的参数。上述方案，通过使用多种图像类型的样本图像对模型进行训练，能够提高图像处理模型的适用性。性。性。

【技术实现步骤摘要】
图像处理方法及其模型的训练方法和装置、设备、介质


[0001]本申请涉及图像处理
，特别是涉及一种图像处理方法及其模型的训练方法和装置、设备、介质。

技术介绍

[0002]目前，随着社会的进步，人们对生活和工作中的便捷性提出了较高的需求。例如，在图像处理
中，现有的图像处理模型只能对单一图像类型的图像进行处理，一旦输入到图像处理模型中的是其他类型的模型，则图像处理模型对其进行图像处理的准确度相对会降低，无法满足日常工作需求。

技术实现思路

[0003]本申请至少提供一种图像处理方法及其模型的训练方法和装置、设备、介质。
[0004]本申请提供了一种图像处理模型的训练方法，包括获取多张样本图像，其中，多张样本图像所属的图像类型为至少两种，样本图像对应有标注结果，样本图像的标注结果包括关于样本图像的内容的真实信息；分别利用图像处理模型对各样本图像进行处理，得到各样本图像的预测结果，其中，样本图像的预测结果包括关于样本图像的内容的预测信息；基于各样本图像的标注结果和预测结果，调整图像处理模型的参数。
[0005]因此，通过使用多种图像类型的样本图像对图像处理模型进行训练，使得训练得到的图像处理模型能够对多种类型的图像进行图像处理，从而提高了图像处理模型的适用性。
[0006]其中，图像处理模型包括目标分类模型和显著性检测模型中的至少一者；在图像处理模型为目标分类模型的情况下，真实信息为样本图像中目标的真实类别，预测信息包括样本图像中目标的预测类别；在图像处理模型为显著性检测模型的情况下，真实信息为样本图像中关于显著性区域的真实位置信息，预测信息包括样本图像中关于显著性区域的预测位置信息。
[0007]因此，通过使用多种图像类型的样本图像对目标分类模型进行训练，使得训练得到的目标分类模型能够对多种类型的图像进行目标分类，从而提高了目标分类模型的适用性。以及，通过使用多种图像类型的样本图像对显著性检测模型进行训练，使得训练得到的显著性检测模型能够对多种类型的图像进行显著性检测，从而提高了显著性检测模型的适用性。
[0008]其中，样本图像的标注信息还包括样本图像的真实图像类型，样本图像的预测结果包括样本图像的预测图像类型。
[0009]因此，结合样本图像的真实图像类型以及样本图像的预测图像类型，对图像处理模型的参数进行调整，可以使得包含同一目标但是属于不同图像类型的图像所提取的特征在特征空间中的距离更接近，进而使得调整之后的图像处理模型对不同图像类型的图像的内容预测更加准确。
[0010]其中，基于各样本图像的标注结果和预测结果，调整图像处理模型的参数，包括：基于真实信息与预测信息，得到第一损失，以及基于真实图像类型和预测图像类型，得到第二损失；基于第一损失和第二损失，调整图像处理模型的参数。
[0011]因此，通过使用关于样本图像的内容的真实信息与其内容的预测信息之间的第一损失以及基于真实图像类型和预测图像类型的第二损失，调整图像处理模型的参数，能够提高训练后的图像处理模型的预测准确性。
[0012]其中，基于第一损失和第二损失，调整图像处理模型的参数，包括：获取第一损失与第二损失之间的损失差；利用损失差和第二损失，对图像处理模型的参数进行调整。
[0013]因此，通过使用第一损失和第二损失的损失差以及第二损失对图像处理模型的参数进行调整，能够提高训练后的图像处理模型的预测准确性。
[0014]其中，图像处理模型为目标分类模型，目标分类模型包括特征提取网络、目标分类网络以及图像类型分类网络；分别利用图像处理模型对各样本图像进行处理，得到各样本图像的预测结果，包括：利用特征提取网络对样本图像进行特征提取，得到样本特征；利用目标分类网络对样本特征进行目标分类，得到样本图像的预测信息；利用图像类型分类网络对样本特征进行图像类型分类，得到样本图像的预测图像类型；利用损失差和第二损失，对图像处理模型的参数进行调整，包括：利用第二损失，对图像类型分类网络的参数进行调整；利用损失差，对特征提取网络以及目标分类网络的参数进行调整。
[0015]因此，通过使用损失差对图像处理模型中的特征提取网络以及目标分类网络进行调整，使得图像处理模型得到的关于样本图像的内容的预测信息更准确，以及使用第二损失对图像类型分类网络的参数进行调整，能够提高图像类型分类网络的准确度。
[0016]其中，分别利用图像处理模型对各样本图像进行处理，得到各样本图像的预测结果，基于各样本图像的标注结果和预测结果，调整图像处理模型的参数，包括：从多张样本图像中选择若干样本图像作为当前样本图像；其中，若干样本图像所属的图像类型包含多张样本图像的所有图像类型；利用图像处理模型对当前样本图像进行处理，得到当前样本图像中的预测结果；基于当前样本图像的标注结果和预测结果，调整图像处理模型的参数；重复从多张样本图像选择若干样本图像作为当前样本图像以及后续步骤，直到图像处理模型满足预设要求。
[0017]因此，从多张样本图像中选择若干样本图像作为当前样本图像，并利用图像处理模型对当前样本图像进行处理，以分批次对图像处理模型进行训练，而且每批次训练均保证存在所有图像类型的的样本图像，可提高每批次对图像处理模型的训练效果。
[0018]其中，图像类型包括对目标拍摄得到的图像、手绘图、卡通图中的一种或多种。
[0019]因此，通过将常见的图像类型对应的样本图像用于对图像处理模型进行训练，使得训练得到的图像处理模型在日常生活或工作中更为适用。
[0020]本申请提供了一种图像处理方法，包括：获取待处理图像；利用图像处理模型对待处理图像进行处理，得到关于待处理图像的内容的预测信息，其中，图像处理模型是由上述图像处理模型的训练方法训练得到的。
[0021]因此，通过使用上述图像处理模型的训练方法训练得到的图像处理模型对待处理图像进行处理，能够提高图像处理的准确度。
[0022]其中，图像处理模型包括目标分类模型和显著性检测模型中的至少一者；在图像
处理模型为目标分类模型的情况下，预测信息为待处理图像中目标的预测类别；在图像处理模型为显著性检测模型的情况下，预测信息为待处理图像中关于显著性区域的预测位置信息。
[0023]因此，通过使用上述图像处理模型的训练方法训练得到的目标分类模型对待处理图像进行处理，得到的目标的预测类别更为准确。和/或，通过使用上述图像处理模型的训练方法训练得到的显著性检测模型对待处理图像进行处理，得到的关于显著性区域的预测位置信息更为准确。
[0024]其中，在图像处理模型为目标分类模型的情况下，在利用图像处理模型对待处理图像进行处理，得到关于待处理图像的内容的预测信息之后，方法还包括以下至少一种：在显示待处理图像的界面上显示预测类别；选择与预测类别匹配的音频进行播放；选择与预测类别匹配的源骨骼，并将与源骨骼相关的第一动画驱动数据迁移至目标骨骼上，得到目标骨骼的第二动画驱动数据，其中，目标骨骼是基于待处理图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，包括：获取多张样本图像，其中，所述多张样本图像所属的图像类型为至少两种，所述样本图像对应有标注结果，所述样本图像的标注结果包括关于所述样本图像的内容的真实信息；分别利用所述图像处理模型对各所述样本图像进行处理，得到各所述样本图像的预测结果，其中，所述样本图像的预测结果包括关于所述样本图像的内容的预测信息；基于各所述样本图像的所述标注结果和所述预测结果，调整所述图像处理模型的参数。2.根据权利要求1所述的方法，其特征在于，所述图像处理模型包括目标分类模型和显著性检测模型中的至少一者；在所述图像处理模型为所述目标分类模型的情况下，所述真实信息为所述样本图像中目标的真实类别，所述预测信息包括所述样本图像中所述目标的预测类别；在所述图像处理模型为所述显著性检测模型的情况下，所述真实信息为所述样本图像中关于显著性区域的真实位置信息，所述预测信息包括所述样本图像中关于显著性区域的预测位置信息。3.根据权利要求1或2所述的方法，其特征在于，所述样本图像的标注信息还包括所述样本图像的真实图像类型，所述样本图像的预测结果包括所述样本图像的预测图像类型。4.根据权利要求3所述的方法，其特征在于，所述基于各所述样本图像的所述标注结果和所述预测结果，调整所述图像处理模型的参数，包括：基于所述真实信息与预测信息，得到第一损失，以及基于所述真实图像类型和预测图像类型，得到第二损失；基于所述第一损失和第二损失，调整所述图像处理模型的参数。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失和第二损失，调整所述图像处理模型的参数，包括：获取所述第一损失与所述第二损失之间的损失差；利用所述损失差和所述第二损失，对所述图像处理模型的参数进行调整。6.根据权利要求5所述的方法，其特征在于，所述图像处理模型为目标分类模型，所述目标分类模型包括特征提取网络、目标分类网络以及图像类型分类网络；所述分别利用所述图像处理模型对各所述样本图像进行处理，得到各所述样本图像的预测结果，包括：利用所述特征提取网络对所述样本图像进行特征提取，得到样本特征；利用所述目标分类网络对所述样本特征进行目标分类，得到所述样本图像的所述预测信息；利用所述图像类型分类网络对所述样本特征进行图像类型分类，得到所述样本图像的预测图像类型；所述利用所述损失差和所述第二损失，对所述图像处理模型的参数进行调整，包括：利用所述第二损失，对所述图像类型分类网络的参数进行调整；利用所述损失差，对所述特征提取网络以及目标分类网络的参数进行调整。7.根据权利要求1至6任一项所述的方法，其特征在于，所述分别利用所述图像处理模型对各所述样本图像进行处理，得到各所述样本图像的预测结果，基于各所述样本图像的
所述标注结果和预测结果，调整所述图像处理模型的参数，包括：从所述多张样本图像中选择若干所述样本图像作为当前样本图像；其中，所述若干样本图像所属的图像类型包含所述多张样本图像的所有图像类型；利用所述图像处理模型对所述当前样本图像进行处理，得到所述当前样本图像中的预测结果；基于所述当前样本图像的标注结果和预测结果，调整所述图像处理模...

【专利技术属性】
技术研发人员：黄健文，秦梓鹏，黄展鹏，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：