一种图像处理方法和装置制造方法及图纸

本发明专利技术公开了一种图像处理方法和装置，涉及计算机视觉技术领域。该方法的一具体实施方式包括：获取待处理图像；利用预先训练好的语义分割模型处理待处理图像，其中，语义分割模型是基于迭代更新的已标记图片集合和未标记图片集合，迭代训练全卷积神经网络得到，迭代更新已标记图片集合和未标记图片集合与迭代训练全卷积神经网络同步；根据处理的结果，对待处理图像包括的像素点进行标记；根据标记结果，确定待处理图像包括的目标。该实施方式使比较少的标注样本训练出的图像语义分割模型所依赖的人力成本大大降低，同时有效地提高图像语义分割的准确性。像语义分割的准确性。像语义分割的准确性。

【技术实现步骤摘要】
一种图像处理方法和装置


[0001]本专利技术涉及计算机视觉
，尤其涉及一种图像处理方法和装置。

技术介绍

[0002]在很多场景比如自动驾驶、医学影像分析、交通违章中，需要借助图像语义分割技术来对图像进行处理，以在图像中标注或确定场景所关注的目标比如自动驾驶场景所关注的道路障碍物、医学影像所关注的病灶等。
[0003]目前，基于图像语义分割技术实现的图像处理，需要依赖大量的具有的像素标签的图像样本训练深度学习网络。而图像样本的像素标签一般需要人工标注，需要消耗大量的人力资源，同时，人工在标注大量的样本过程中难免出现标注错误的问题，由于标注量比较大，这种标注错误很难被发现，导致现有的图像语义分割技术前期不仅消耗大量的人力，而且准确性较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种图像处理方法和装置，能够使比较少的标注样本训练出的图像语义分割模型所依赖的人力成本大大降低，同时有效地提高图像语义分割以及图像处理的准确性。
[0005]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：
[0006]获取待处理图像；
[0007]利用预先训练好的语义分割模型处理所述待处理图像，其中，所述语义分割模型是基于迭代更新的已标记图片集合和未标记图片集合，迭代训练全卷积神经网络得到，迭代更新所述已标记图片集合和所述未标记图片集合与迭代训练所述全卷积神经网络同步；
[0008]根据处理的结果，对所述待处理图像包括的像素点进行标记；
[0009]根据标记结果，确定所述待处理图像包括的目标。
[0010]可选地，所述利用预先训练好的语义分割模型处理所述待处理图像，包括：
[0011]将所述待处理图像分别进行水平翻转、垂直翻转以及对折翻转，得到三张待处理翻转图像；
[0012]将三张所述待处理翻转图像输入所述语义分割模型包括的训练好的全卷积神经网络。
[0013]可选地，所述利用预先训练好的语义分割模型处理所述待处理图像，进一步包括：
[0014]对训练好的全卷积神经网络输出的针对三张所述待处理翻转图像的输出结果进行锐化转换，得到三张待处理特征图；
[0015]将所述三张待处理特征图组合成一张新的待处理特征图；
[0016]对所述新的待处理特征图进行分别对应于水平翻转、垂直翻转以及对折翻转，得到三张新的待处理翻转图像；
[0017]基于所述待处理图像的三张待处理翻转图像以及三张新的待处理翻转图像，利用训练好的全卷积神经网络计算所述待处理图像中的像素点属于预设类型的概率。
[0018]可选地，所述对所述待处理图像包括的像素点进行标记，包括：
[0019]根据计算出的所述像素点属于预设类型的概率，对所述像素点进行标记。
[0020]可选地，所述将所述三张待处理特征图组合成一张新的待处理特征图，包括：
[0021]将所述三张待处理特征图的对应位置的像素点进行加权平均；
[0022]根据加权平均的结果以及像素点的位置，生成新的待处理特征图。
[0023]可选地，所述确定所述待处理图像包括的目标，包括：
[0024]根据预设的目标与标记的标签之间的对应关系，确定所述待处理图像的标记结果对应的目标。
[0025]可选地，上述图像处理方法，还包括：
[0026]迭代训练全卷积神经网络，以得到训练好的语义分割模型，其中，
[0027]针对训练所述全卷积神经网络的每一个迭代周期执行下述操作，直至满足迭代停止条件：
[0028]确定当前迭代周期所使用的已标记图片集合和未标记图片集合，其中，所述已标记图片集合包括有多个已标记图片，所述未标记图片集合包括有多个未标记图片；
[0029]利用所述已标记图片集合和所述未标记图片集合训练全卷积神经网络；
[0030]根据训练的结果，计算模型损失；
[0031]根据所述模型损失，调整所述全卷积神经网络的参数；
[0032]更新所述已标记图片集合和所述未标记图片集合，并将更新后的已标记图片集合和更新后的未标记图片集合作为下一迭代周期的已标记图片集合和未标记图片集合，并将调整后的全卷积神经网络作为下一个迭代周期的全卷积神经网络。
[0033]可选地，所述利用所述已标记图片集合和所述未标记图片集合训练全卷积神经网络，包括：
[0034]针对所述未标记图片集合包括的每一个未标记图片，执行将所述未标记图片分别进行水平翻转、垂直翻转以及对折翻转，得到三张翻转图片；
[0035]将每一个所述未标记图片的三张翻转图片和所述已标记图片集合包括的每一个已标记图片输入所述全卷积神经网络。
[0036]可选地，所述计算模型损失，包括：
[0037]分别计算针对所述已标记图片集合的第一损失以及针对所述未标记图片集合的第二损失；
[0038]利用所述第一损失和所述第二损失，计算所述模型损失。
[0039]可选地，所述计算针对所述已标记图片集合的第一损失，包括：
[0040]利用所述已标记图片集合中的已标记图片的标签以及所述全卷积神经网络的输出，计算第一损失。
[0041]可选地，所述针对所述未标记图片集合的第二损失，包括：
[0042]针对每一个所述未标记图片，执行对所述全卷积神经网络输出的针对所述未标记图片的输出结果进行锐化转换，得到三张特征图；将所述三张特征图组合成一张新的特征图；对所述新的特征图分别进行水平翻转、垂直翻转以及对折翻转，得到三张新的翻转图
片；
[0043]基于每一个所述未标记图片的三张翻转图片以及三张新的翻转图片，计算针对所述未标记图片集合的第二损失。
[0044]可选地，所述将所述三张特征图组合成一张新的特征图，包括：
[0045]将所述三张特征图的对应位置的像素点进行加权平均；
[0046]根据加权平均的结果以及像素点的位置，生成新的特征图。
[0047]可选地，在所述对所述全卷积神经网络输出的针对所述未标记图片的输出结果进行锐化转换，得到三张特征图之后，进一步包括：
[0048]针对每一张所述特征图，执行计算所述特征图包括的各个通道的通道熵，根据各个所述通道的通道熵；
[0049]根据所述通道的通道熵，计算对应的未标记图片的分数；
[0050]根据所述未标记图片的分数，执行所述选择设定数量的未标记图片的步骤。
[0051]可选地，所述对所述全卷积神经网络输出的针对所述未标记图片的输出结果进行锐化转换，包括：
[0052]将所述未标记图片的输出结果包括的三张初始特征图分别进行逆翻转，得到三张逆翻转特征图；
[0053]针对每一张所述逆翻转特征图，执行对所述逆翻转特征图进行通道级别的多分类，并根据分类的结果，对所述翻转特征图进行锐化处理，得到对应的特征图。
[0054]可选地，所述计算对应的未标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像；利用预先训练好的语义分割模型处理所述待处理图像，其中，所述语义分割模型是基于迭代更新的已标记图片集合和未标记图片集合，迭代训练全卷积神经网络得到，迭代更新所述已标记图片集合和所述未标记图片集合与迭代训练所述全卷积神经网络同步；根据处理的结果，对所述待处理图像包括的像素点进行标记；根据标记结果，确定所述待处理图像包括的目标。2.根据权利要求1所述的图像处理方法，其特征在于，所述利用预先训练好的语义分割模型处理所述待处理图像，包括：将所述待处理图像分别进行水平翻转、垂直翻转以及对折翻转，得到三张待处理翻转图像；将三张所述待处理翻转图像输入所述语义分割模型包括的训练好的全卷积神经网络。3.根据权利要求2所述的图像处理方法，其特征在于，所述利用预先训练好的语义分割模型处理所述待处理图像，进一步包括：对训练好的全卷积神经网络输出的针对三张所述待处理翻转图像的输出结果进行锐化转换，得到三张待处理特征图；将所述三张待处理特征图组合成一张新的待处理特征图；对所述新的待处理特征图进行分别对应于水平翻转、垂直翻转以及对折翻转，得到三张新的待处理翻转图像；基于所述待处理图像的三张待处理翻转图像以及三张新的待处理翻转图像，利用训练好的全卷积神经网络计算所述待处理图像中的像素点属于预设类型的概率。4.根据权利要求3所述的图像处理方法，其特征在于，所述对所述待处理图像包括的像素点进行标记，包括：根据计算出的所述像素点属于预设类型的概率，对所述像素点进行标记。5.根据权利要求3所述的图像处理方法，其特征在于，所述将所述三张待处理特征图组合成一张新的待处理特征图，包括：将所述三张待处理特征图的对应位置的像素点进行加权平均；根据加权平均的结果以及像素点的位置，生成新的待处理特征图。6.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述待处理图像包括的目标，包括：根据预设的目标与标记的标签之间的对应关系，确定所述待处理图像的标记结果对应的目标。7.根据权利要求1所述的图像处理方法，其特征在于，还包括：迭代训练全卷积神经网络，以得到训练好的语义分割模型，其中，针对训练所述全卷积神经网络的每一个迭代周期执行下述操作，直至满足迭代停止条件：确定当前迭代周期所使用的已标记图片集合和未标记图片集合，其中，所述已标记图片集合包括有多个已标记图片，所述未标记图片集合包括有多个未标记图片；利用所述已标记图片集合和所述未标记图片集合训练全卷积神经网络；
根据训练的结果，计算模型损失；根据所述模型损失，调整所述全卷积神经网络的参数；更新所述已标记图片集合和所述未标记图片集合，并将更新后的已标记图片集合和更新后的未标记图片集合作为下一迭代周期的已标记图片集合和未标记图片集合，并将调整后的全卷积神经网络作为下一个迭代周期的全卷积神经网络。8.根据权利要求7所述的图像处理方法，其特征在于，所述利用所述已标记图片集合和所述未标记图片集合训练全卷积神经网络，包括：针对所述未标记图片集合包括的每一个未标记图片，执行将所述未标记图片分别进行水平翻转、垂直翻转以及对折翻转，得到三张翻转图片；将每一个所述未标记图片的三张翻转图片和所述已标记图片集合包括的每一个已标记图片输入所述全卷积神经网络。9.根据权利要求7所述的图像处理方法，其特征在于，所述计算模型损失，包括：分别计算针对所述已标记图片集合的第一损失以及针对所述未标记图片集合的第二损失；利用所述第一损失和所述第二损失，计算所述模型损失。10.根据权利要求9所述的图像处理方法，其特征在于，所述计算针对所述已标记图片集合的第一损失，...

【专利技术属性】
技术研发人员：孙金，刘帅朝，张德，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：