图像处理方法、装置及设备制造方法及图纸

本公开实施例提供了一种图像处理方法、装置及电子设备，考虑到对于不可靠样本，虽然无法基于预测结果准确确定该样本属于某个类别，但是可以基于预测结果确定该不可靠样本大概率不属于的目标类别，进而可以基于不可靠样本不属于的目标类别构建负样本。然后可以将负样本充分利用起来，对模型进行训练，提高了无标签样本的利用率，增加了可用的训练样本的数量，进而也提升了训练得到的模型的精度。然后再利用训练的高精度模型对待处理的目标图像所属的类别，或目标图像中像素点所属的类别进行预测，可以得到更加准确的预测结果，用于后续的应用。续的应用。续的应用。

【技术实现步骤摘要】
图像处理方法、装置及设备


[0001]本公开涉及人工智能
，尤其涉及一种图像处理方法、装置及设备。

技术介绍

[0002]在很多场景，需要对图像进行分类，比如，确定图像为人物图像、或风景图像，或者需要对图像中的像素点进行分类，比如，确定图像中各像素点属于天空、草地、或人物等类别(即语义分割)。通常可以采用预先训练的模型对图像进行分类，或者对图像进行语义分割。
[0003]在对模型进行训练时，可以采用半监督学习的训练方式。半监督学习是一种将有监督学习和无监督学习相结合的方式，在训练过程中利用少量有标签样本与大量无标签样本对模型进行训练，通过利用大量的无标签样本，作为有标签样本的补充，可以提升训练的模型的精度。但是，目前的半监督学习训练方式中，仍然无法对无标签样本进行充分的、最大化的利用，导致可利用的训练样本数量有限，训练得到的模型的精度依然有待提高。

技术实现思路

[0004]本公开实施例提供一种图像处理方法、装置及设备。
[0005]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0006]获取待处理的目标图像；
[0007]利用预先训练的分类模型确定所述目标图像的分类信息，所述分类信息包括所述目标图像的各像素点所属的类别以及所述目标图像所属的类别中的至少一种，其中，所述分类模型基于以下方式训练得到：
[0008]对无标签的第一样本图像进行预测，得到包含所述分类信息的预测结果；
[0009]从所述第一样本图像中确定所述预测结果可靠度低于预设阈值的不可靠样本，并确定所述不可靠样本不属于的目标类别，所述不可靠样本包括像素点或图像；
[0010]基于负样本对预设的模型进行训练，以得到所述分类模型，其中，所述负样本基于所述不可靠样本以及对应不属于的所述目标类别构建。
[0011]在一些实施例中，预测结果包括第一样本图像中的像素点属于预设的多个类别中的每个类别的概率，从所述第一样本图像中确定所述预测结果的可靠程度低于预设阈值的不可靠样本，包括：
[0012]针对第一样本图像的各像素点，基于所预测的各像素点属于所述每个类别的概率，确定所述各像素点的信息熵，所述信息熵用于表征所述各像素点的预测结果可靠度的高低；
[0013]从所述第一样本图像的像素点中选取若干个目标像素点，所选取的若干个目标像素点的所述信息熵均大于所述第一样本图像中除所述若干个目标像素点以外的其他像素点的所述信息熵；
[0014]将所述若干个目标像素点作为所述不可靠样本；或
[0015]所述第一样本图像包括多帧，所述预测结果包括每帧第一样本图像属于预设的多个类别中的每个类别的概率，从所述第一样本图像中确定所述预测结果的可靠程度低于预设阈值的不可靠样本，包括：
[0016]基于每帧第一样本图像属于所述每个类别的概率，确定每帧第一样本图像的信息熵，所述信息熵用于表征每帧第一样本图像的预测结果可靠度的高低；
[0017]从多帧第一样本图像中选取若干帧目标图像，所选取的若干帧目标图像的所述信息熵大于所述多帧第一样本图像中除所述若干帧目标图像以外的其他图像的所述信息熵；
[0018]将所述若干帧目标图像作为所述不可靠样本。
[0019]在一些实施例中，基于所述负样本对预设的模型进行训练，包括
[0020]基于所述负样本对预设的模型进行多轮训练；
[0021]在所述不可靠样本为所述第一样本图像中的像素点的情况下，所述不可靠像样本的数量与所述第一样本图像中像素点的总数量的占比随着训练轮数的增加而减小；和/或
[0022]在所述不可靠样本为所述第一样本图像的情况下，所述不可靠样本的数量与所述第一样本图像的总数量的占比随着训练轮数的增加而减小。
[0023]在一些实施例中，所述占比基于当前的训练轮数与训练总轮数的比值确定。
[0024]在一些实施例中，确定所述不可靠样本不属于的目标类别，包括：
[0025]针对每个不可靠样本，基于所述每个不可样本属于预设的多个类别中的每个类别的概率的大小对所述多个类别进行排序处理；
[0026]将所述多个类别中除排在前面的若干个类别之外的类别作为所述不可靠样本不属于的目标类别；或从所述多个类别中选取排在中间的若干个类别作为所述不可靠样本不属于的目标类别。
[0027]在一些实施例中，基于所述负样本对预设的模型进行训练，以得到所述分类模型，包括：
[0028]将所述第一样本图像输入至预设的模型中，基于所述模型输出的所述负样本属于所述目标类别的概率确定第一目标损失；
[0029]利用所述第一目标损失对所述预设的模型进行训练，以得到所述分类模型。
[0030]在一些实施例中，基于所述负样本对预设的模型进行训练，以得到所述分类模型，包括：
[0031]针对任一目标类别，确定属于所述目标类别的至少两个正样本，所述正样本为像素点或图像；
[0032]基于所述至少两个正样本以及所述负样本对预设的模型进行训练，以得到所述分类模型。
[0033]在一些实施例中，基于所述至少两个正样本以及所述目标类别的负样本对预设的模型进行训练，以得到所述分类模型，包括：
[0034]分别对所述目标类别的负样本、所述至少两个正样本进行特征提取，得到所述目标类别的负样本的目标特征、以及所述至少两个正样本的目标特征，所述目标特征与样本所属的类别相关；
[0035]基于所述目标类别的负样本的目标特征与所述至少两个正样本中的任一个的目标特征的相似度、以及所述至少两个正样本的目标特征之间的相似度确定第二目标损失；
[0036]利用所述第二目标损失对所述预设的模型进行训练，得到所述分类模型。
[0037]在一些实施例中，所述方法还包括：
[0038]基于所述预测结果从所述第一样本图像中确定可靠样本，并基于所述预测结果确定所述可靠样本的伪标签，其中，所述可靠样本为所述预测结果的可靠度高于预设阈值的像素点或图像；所述基于所述负样本对预设的模型进行训练，包括：
[0039]基于所述负样本、所述携带伪标签的可靠样本以及携带真实标签的第二样本图像对所述预设的模型进行训练，其中，所述真实标签为人工标注的用于指示所述第二样本图像的所述分类信息的标签。
[0040]在一些实施例中，基于所述负样本、所述携带伪标签的可靠样本、以及携带真实标签的第二样本图像对所述预设的模型进行训练，包括：
[0041]基于所述负样本确定第一损失；
[0042]基于所述模型输出的第一样本图像中的所述可靠样本的预测结果与所述伪标签的差异确定第二损失；
[0043]基于所述模型输出的所述第二样本图像的预测结果与所述真实标签的差异确定第三损失；
[0044]基于所述第一损失、第二损失、第三损失得到第三目标损失，利用所述第三目标损失对所述预设的模型进行训练。
[0045]在一些实施例中，对无标签的第一样本图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的目标图像；利用预先训练的分类模型确定所述目标图像的分类信息，所述分类信息包括所述目标图像的各像素点所属的类别以及所述目标图像所属的类别中的至少一种，其中，所述分类模型基于以下方式训练得到：对无标签的第一样本图像进行预测，得到包含所述分类信息的预测结果；从所述第一样本图像中确定所述预测结果可靠度低于预设阈值的不可靠样本，并确定所述不可靠样本不属于的目标类别，所述不可靠样本包括像素点或图像；基于负样本对预设的模型进行训练，以得到所述分类模型，其中，所述负样本基于所述不可靠样本以及对应不属于的所述目标类别构建。2.根据权利要求1所述的方法，其特征在于，所述预测结果包括第一样本图像中的像素点属于预设的多个类别中的每个类别的概率，从所述第一样本图像中确定所述预测结果的可靠程度低于预设阈值的不可靠样本，包括：针对第一样本图像的各像素点，基于所预测的各像素点属于所述每个类别的概率，确定所述各像素点的信息熵，所述信息熵用于表征所述各像素点的预测结果可靠度的高低；从所述第一样本图像的像素点中选取若干个目标像素点，所选取的若干个目标像素点的所述信息熵均大于所述第一样本图像中除所述若干个目标像素点以外的其他像素点的所述信息熵；将所述若干个目标像素点作为所述不可靠样本；或所述第一样本图像包括多帧，所述预测结果包括每帧第一样本图像属于预设的多个类别中的每个类别的概率，从所述第一样本图像中确定所述预测结果的可靠程度低于预设阈值的不可靠样本，包括：基于每帧第一样本图像属于所述每个类别的概率，确定每帧第一样本图像的信息熵，所述信息熵用于表征每帧第一样本图像的预测结果可靠度的高低；从多帧第一样本图像中选取若干帧目标图像，所选取的若干帧目标图像的所述信息熵均大于所述多帧第一样本图像中除所述若干帧目标图像以外的其他图像的所述信息熵；将所述目标图像作为所述不可靠样本。3.根据权利要求1或2所述的方法，其特征在于，基于所述负样本对预设的模型进行训练，包括：基于所述负样本对预设的模型进行多轮训练；在所述不可靠样本为所述第一样本图像中的像素点的情况下，所述不可靠样本的数量与所述第一样本图像中像素点的总数量的占比随着训练轮数的增加而减小；和/或在所述不可靠样本为所述第一样本图像的情况下，所述不可靠样本的数量与所述第一样本图像的总数量的占比随着训练轮数的增加而减小。4.根据权利要求3所述的方法，其特征在于，所述占比基于当前的训练轮数与训练总轮数的比值确定。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，确定所述不可靠样本不属于的目标类别，包括：针对每个不可靠样本，基于所述每个不可样本属于预设的多个类别中的每个类别的概
率的大小对所述多个类别进行排序处理；将所述多个类别中除排在前面的若干个类别之外的类别作为所述不可靠样本不属于的目标类别；或，从所述多个类别中选取排在中间的若干个类别作为所述不可靠样本不属于的目标类别。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述基于所述负样本对预设的模型进行训练，以得到所述分类模型，包括：将所述第一样本图像输入至预设的模型中，基于所述模型输出的所述负样本属于所述目标类别的概率确定第一目标损失；利用所述第一目标损失对所述预设的模型进行训练，以得到所述分类模型。7.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述基于所述负样本对预设的模型进行训练，以得到所述分类模型，包括：针对任一目标类别，确定属于所述目标类别的至少两个正样本，所述正样本为像素点或图像；基于所述至少两个正样本以及所述目标类别的负样本对预设的模型进行训练，以得到所述分类模型。8.根据权利要求7所述的方法，其特征在于，基于所述至少两个正样本以及所述目标类别的负样本对预设的模型进行训练，以得到所述分类模型，包括：分别对所述目标...

【专利技术属性】
技术研发人员：费敬敬，王钰超，王淏辰，李韡，金国强，吴立威，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：