显著性检测方法及其模型的训练方法和装置、设备、介质制造方法及图纸

本申请公开了一种显著性检测方法及其模型的训练方法和装置、设备、介质，显著性检测模型的训练方法包括：获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。上述方案，通过对样本图像进行筛选再利用筛选后的样本图像对显著性检测模型进行训练，能够提高显著性检测模型输出结果的准确度。度。度。

【技术实现步骤摘要】
显著性检测方法及其模型的训练方法和装置、设备、介质


[0001]本申请涉及图像处理
，特别是涉及一种显著性检测方法及其模型的训练方法和装置、设备、介质。

技术介绍

[0002]目前，在对模型进行训练的过程中，只是简单从样本图像数据库中获取一定数据的样本图像，并直接使用这部分样本图像对模型进行训练。但是有的样本图像本身存在一定的缺陷，若使用这部分样本图像对模型进行训练，会导致训练后的模型对图像进行处理得到的结果的准确度不高。

技术实现思路

[0003]本申请至少提供一种显著性检测方法及其模型的训练方法和装置、设备、介质。
[0004]本申请提供了一种显著性检测模型的训练方法，包括：获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。
[0005]因此，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
[0006]其中，基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤，包括：对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异；在差异满足预设要求的情况下，过滤目标样本图像。
[0007]因此，通过对样本图像按照轮廓缺失的情况进行过滤，使得留下的样本图像中显著性区域轮廓的质量更好。另外，通过获取填补样本图像与目标样本图像中关于显著性区域的差异能够较快的获取显著性区域的轮廓缺失情况。
[0008]其中，预设要求为差异大于预设差异值；对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像，包括：对目标样本图像进行闭运算，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异，包括：获取填补样本图像关于显著性区域的第一面积，以及目标样本图像中关于显著性区域的第二面积；将第一面积和第二面积之差作为差异。
[0009]因此，若目标样本图像中的显著性区域的轮廓存在较大的缺口，则填补前后的显著性区域的面积可能存在较大的差异，从而根据填补前后显著性区域的面积差，即可确定目标样本图像中显著性区域的轮廓是否存在缺失。
[0010]其中，在基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤之后，方法还包括：基于填补样本图像的显著性区域的位置信息，得到目标样本图像关于显著性区域的标注位置信息。
[0011]因此，通过填补样本图像的显著性区域的位置信息，确定目标样本图像关于显著性区域的标注位置信息，能够保障显著性区域的完整性。
[0012]其中，至少一张样本图像包括多种图像类型。
[0013]因此，通过使用多种图像类型的样本图像对显著性检测模型进行训练，使得训练得到的显著性检测模型能够对多种类型的图像进行图像处理，从而提高了显著性检测模型的适用性。
[0014]其中，多种图像类型包括对真实物体拍摄得到的图像、手绘图、卡通图中的至少两种。
[0015]因此，通过将常见的图像类型对应的样本图像用于对图像处理模型进行训练，使得训练得到的图像处理模型在日常生活或工作中更为适用。
[0016]其中，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数，包括：基于标注位置信息和预测位置信息，获取样本图像中各像素的第一损失；将样本图像中各像素的第一损失进行加权，得到样本图像的第二损失；基于第二损失，调整显著性检测模型的参数。
[0017]因此，通过对各像素的第一损失进行加权，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
[0018]其中，像素的第一损失的权重与像素的边界距离相关，像素的边界距离为像素与真实显著性区域的边界之间的距离，真实显著性区域为样本图像中由标注位置信息定义的显著性区域。
[0019]因此，通过根据像素的边界距离确定权重，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
[0020]其中，像素的边界距离越小，像素的第一损失的权重越大。
[0021]因此，像素的边界距离与像素的第一损失的权重呈负相关，使得得到的第二损失更准确。
[0022]其中，显著性检测模型为MobileNetV3的网络结构；和/或，显著性检测模型包括特征提取子网络和第一检测子网络和第二检测子网络；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息，包括：利用特征提取子网络对样本图像进行特征提取，得到样本图像对应的特征图；利用第一检测子网络对特征图进行初始检测，得到样本图像中关于显著性区域的初始位置信息；将特征图和初始位置信息进行融合，得到融合结果；利用第二检测子网络对融合结果进行最终检测，得到样本图像的预测位置信息。
[0023]因此，因MobileNetV3的网络结构简单，通过使用MobileNetV3的网络结构，能够加快检测效率，而且可以使得处理能力较小的设备也可使用该显著性检测模型实现显著性检测；另，通过第一检测子网络对特征图进行初始检测之后，再使用第二检测子网络对初始检测结果进行最终检测，能够提高检测的准确度。
[0024]其中，在利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中
关于显著性区域的预测位置信息之前，方法还包括：对经过滤后的样本图像进行数据增强；其中，数据增强的方式包括对样本图像中除显著性区域以外的背景区域进行填充。
[0025]因此，通过对样本图像进行数据增强，能够提高显著性检测模型的适用性。
[0026]本申请提供了一种显著性检测方法，包括：获取待处理图像；利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息，其中，显著性检测模型是由上述显著性检测模型的训练方法训练得到的。
[0027]因此，通过使用显著性检测模型的训练方法训练得到的显著性检测模型对待处理图像进行检测，能够提高得到关于显著性区域的预测位置信息的准确度。
[0028]其中，在利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息之后，方法还包括：利用预测位置信息，对显著性区域进行骨骼提取，得到目标骨骼；为目标骨骼选择一骨骼模型作为源骨骼；将与源骨骼相关的第一动画驱动数据迁移至目标骨骼上，得到目标骨骼的第二动画驱动数据。
[0029]因此，通过利用预测位置信息，对显著性区域进行骨胳提取，能够提高目标骨骼的准确度。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显著性检测模型的训练方法，其特征在于，包括：获取至少一张样本图像，其中，所述至少一张样本图像包括属于预设图像类型的目标样本图像；基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤；利用显著性检测模型对经过滤后的所述样本图像进行检测，得到所述样本图像中关于显著性区域的预测位置信息；基于所述样本图像关于所述显著性区域的标注位置信息与所述预测位置信息，调整所述显著性检测模型的参数。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤，包括：对所述目标样本图像中所述显著性区域的轮廓进行填补，得到填补样本图像；获取所述填补样本图像与所述目标样本图像中关于所述显著性区域的差异；在所述差异满足预设要求的情况下，过滤所述目标样本图像。3.根据权利要求2所述的方法，其特征在于，所述预设要求为所述差异大于预设差异值；所述对所述目标样本图像中所述显著性区域的轮廓进行填补，得到填补样本图像，包括：对所述目标样本图像进行闭运算，得到填补样本图像；所述获取所述填补样本图像与所述目标样本图像中关于所述显著性区域的差异，包括：获取所述填补样本图像关于所述显著性区域的第一面积，以及所述目标样本图像中关于所述显著性区域的第二面积；将所述第一面积和第二面积之差作为所述差异。4.根据权利要求2或3所述的方法，其特征在于，在所述基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤之后，所述方法还包括：基于所述填补样本图像的显著性区域的位置信息，得到所述目标样本图像关于所述显著性区域的标注位置信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述至少一张样本图像包括多种图像类型。6.根据权利要求5所述的方法，其特征在于，所述多种图像类型包括对真实物体拍摄得到的图像、手绘图、卡通图中的至少两种。7.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像关于所述显著性区域的标注位置信息与所述预测位置信息，调整所述显著性检测模型的参数，包括：基于所述标注位置信息和预测位置信息，获取所述样本图像中各像素的第一损失；将所述样本图像中各像素的第一损失进行加权，得到所述样本图像的第二损失；基于所述第二损失，调整所述显著性检测模型的参数。8.根据权利要求7所述的方法，其特征在于，所述像素的第一损失的权重与所述像素的边界距离相关，所述像素的边界距离为所述像素与真实显著性区域的边界之间的距离，所
述真实显著性区域为所述样本图像中由所述标注位置信息定义的显著性区域。9.根据权利要求8所述的方法，其特征在于，所述像素的边界距离越小，所述像素的第一损失的权重越大。10.根据权利要求1至9任一项所述的方法，其特征在于，所述显著性检测模型为MobileNetV3的网络结构；和/或，所述显著性检...

【专利技术属性】
技术研发人员：秦梓鹏，黄健文，黄展鹏，
申请(专利权)人：深圳市慧鲤科技有限公司，
类型：发明
国别省市：