一种图像分割质量评估方法技术

本发明专利技术涉及深度学习、计算机视觉以及图像处理领域，具体为一种图像分割质量评估方法，包括以下具体步骤：S1、收集数据信息并构建训练集和验证集；S2、选取神经网络结构并进行训练，利用验证集确定当前网络参数；S3、在训练集，利用对比学习的方法对特征空间层网络参数进行微调；S4、得到相似性匹配图，并以类激活图为指导转化为得分，确定最优迭代次数和最优网络参数；S5、对于原始图像和待评估分割结果，利用最优带参网络输出相似性匹配图，并以当前图像的类激活图为指导，输出最终得分。本发明专利技术在应用阶段无需真实标签即可给出得分，又将类激活图引入指导最终评估得分，使评估得分更加符合人类的视觉，取得了较好的结果。取得了较好的结果。取得了较好的结果。

【技术实现步骤摘要】
一种图像分割质量评估方法


[0001]本专利技术涉及深度学习、计算机视觉以及图像处理领域，具体为一种图像分割质量评估方法。

技术介绍

[0002]图像分割是指依据特定任务将图像分为若干个互不相交且具有某种性质的区域，并将感兴趣区域提取的过程。图像分割是计算机视觉、图像处理和分析的关键课题，有许多可应用领域，诸如图像分类，目标识别追踪、医疗影像分析以及自动驾驶等。在图像分割中，对分割结果质量好坏进行评估也是一个关键问题。一个好的评估方法可以更客观的对分割算法进行评估，指导分割算法的训练，还可以作为再分割、分割优化的指导因子。
[0003]目前，对图像分割质量进行评估的方法主要包括三种：
[0004]一、人工评估方法；人工评估方法依靠人工进行主观评估，这种方法过于耗费人力资源，且由于人的主观差异性，需要多人协作才能给出客观评估，在数据量较大的情况下难以展开；
[0005]二、有监督评估方法；有监督评估方法诸如IoU、F
‑
Measure、PRI等效果较好，评估较客观，是当前的主流方法，但是其仍然存在一些问题：首先，其需要图像的真实分割标签作为模版进行评估，无法应对新的数据，其次，其不同方法在不同场景评估的准确性，可靠性不一，难以统一，再之，其只是在分割结果的空间上进行评估，脱离图像本身的内容，不能理解图像真实语义，导致部分评估结果与人类视觉标准脱离；
[0006]三、无监督评估方法；无监督评估方法依据使用方法的不同可以分为两类：一是基于传统机器学习的图像分割质量评估方法，二是基于深度学习的神经网络图像分割评估方法；基于传统机器学习的方法主要使用颜色、边缘、纹理以及目标区域等特征的一致性和差异性作为评估的依据，这种方法不需要真实标签，但仍然是在分割结果的空间上进行评估，不能理解图像本身的语义信息，且具有传统机器学习方法固有的缺点，只能针对具体场景进行设计，准确性方面都远不足于有监督方法。
[0007]深度学习是近几年机器学习领域中新发展出的一个方向，深度学习让机器拥有了一定分析学习的能力，许多领域因为深度学习的加入，使获得的结果更加精准，研究深度进一步扩散，特别是在图像视频识别领域和自然语言处理领域，它的引入使机器学习更接近于最初的目标
‑‑‑
人工智能。由于深度学习兴起于近几年，基于深度学习的图像分割质量评估方法仍然较少，主要有直接利用有监督得分作为依据进行回归训练的方法和依据分割质量的好坏进行对比学习的方法两种，分析评估时需要真实标签，评估稳定可靠差且不符合人类视觉。

技术实现思路

[0008]本专利技术目的是针对
技术介绍
中存在的问题，提出一种无需真实标签，评估稳定可靠且符合人类视觉的图像分割质量评估方法。
[0009]本专利技术的技术方案：一种图像分割质量评估方法，包括以下具体步骤：
[0010]S1、收集数据信息，并构建训练集和验证集；其中，数据收集的步骤为：
[0011]S101、从公开数据集中筛选N幅原始图像和其真实分割标签，并将N幅原始图像和其真实分割标签整合为统一尺寸大小H*W*3,得到原始图像数据和真实分割标签数据；其中，N≥5000；数据图像的高度H与数据图像的宽度W的数值相同；
[0012]S102、选取K种现有分割方法，将获得的N幅原始图像分别输入K种现有分割方法中，输出分割结果；其中，K≥2；
[0013]每幅图像人工选取视觉上最好分割结果图和最坏分割结果图各一种；
[0014]将得到的所有最好分割结果图和最坏分割结果图整合为统一尺寸大小H*W*3，得到相对较好分割集数据和相对较差分割集数据；其中，数据图像的高度H与数据图像的宽度W的数值相同；
[0015]S2、选取神经网络结构，在训练集，将原始图像数据联合分割结果作为神经网络结构的输入，依据分割结果与真实分割标签数据的匹配程度，对神经网络结构进行训练，利用验证集确定当前网络参数；
[0016]S3、基于步骤S2中确定的具有网络参数的神经网络结构获得数据的特征空间，保持前序层网络参数不变；在训练集，利用对比学习的方法对特征空间层网络参数进行微调；
[0017]S4、获得所述步骤S3中微调后神经网络结构的多次迭代参数，将验证集数据输入，输出相似性匹配图，并以类激活图为指导转化为得分S，在多次迭代中，依据验证集得分确定最优迭代次数和最优网络参数；
[0018]S5、对于原始图像和待评估分割结果，首先利用训练好的最优带参网络输出相似性匹配图，并以当前图像的类激活图为指导，输出最终得分。
[0019]优选的，S2中确定当前网络参数的具有步骤为：
[0020]S201、选取结构基于全卷积神经网络框架的神经网络结构；
[0021]S202、对于真实分割标签数据、相对较好分割集数据和相对较差分割集数据，确定其与真实分割标签数据中是每个像素点是否匹配，组成大小为H*W的实际匹配图TM；
[0022]S203、将选取的分割图像与原始图像组成尺寸大小为H*W*6的数据，并输入神经网络结构，输出预测匹配图PM，计算预测匹配图PM与真实匹配图TM的差异，以此作为损失进行多次迭代训练；迭代训练的次数不少于100次；其中，计算预测匹配图PM与真实匹配图TM的差异的计算方法包括二元交叉熵、KL散度和Dice系数中的任意一种；
[0023]S204、对于训练中不同迭代次数的迭代参数，在验证集计算不同迭代参数下的像素级预测准确率P，选取取得最高准确率的迭代参数为当前网络参数；
[0024]预测准确率P的计算公式为P＝(PM∩TM)/TM。
[0025]优选的，S3中利用对比学习的方法对特征空间层网络参数进行微调的方法为：
[0026]S301、依据具有网络参数的神经网络结构获得数据的特征空间，输出预测匹配图PM，取其平均值作为评估得分；
[0027]S302、保持网络参数的神经网络结构其他层参数不变，在特征空间层，依据对比学习方法，将分割集依据视觉效果分为正负类，正类的得分S
P
应大于负类的得分S
N
，以正类得分与负类得分的差值作为损失对神经网络进行多次迭代微调。
[0028]优选的，S4中最优网络参数确定方法为：
[0029]S401、利用获取类激活图的算法获得原始图像的类激活图；
[0030]S402、将验证集数据输入S3中获得的具有网络参数的神经网络结构中，输出预测匹配图，以类激活图为指导，输出得分S，并以正类得分大于负类得分为依据，计算准确率，确定取得最高准确率的网络参数为最优参数。
[0031]优选的，获取类激活图的方法包括CAM、Grad
‑
CAM、Grad
‑
CAM++以及SmoothGradCAM++。
[0032]优选的，类激活图指导输出最终得分S采用惩戒的方式，即获得一个权重得分C，
[0033]当C大于一定阈值则保持输出得分不变，
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割质量评估方法，其特征在于，包括以下具体步骤：S1、收集数据信息，并构建训练集和验证集；其中，数据收集的步骤为：S101、从公开数据集中筛选N幅原始图像和其真实分割标签，并将N幅原始图像和其真实分割标签整合为统一尺寸大小H*W*3,得到原始图像数据和真实分割标签数据；其中，N≥5000；数据图像的高度H与数据图像的宽度W的数值相同；S102、选取K种现有分割方法，将获得的N幅原始图像分别输入K种现有分割方法中，输出分割结果；其中，K≥2；每幅图像人工选取视觉上最好分割结果图和最坏分割结果图各一种；将得到的所有最好分割结果图和最坏分割结果图整合为统一尺寸大小H*W*3，得到相对较好分割集数据和相对较差分割集数据；其中，数据图像的高度H与数据图像的宽度W的数值相同；S2、选取神经网络结构，在训练集，将原始图像数据联合分割结果作为神经网络结构的输入，依据分割结果与真实分割标签数据的匹配程度，对神经网络结构进行训练，利用验证集确定当前网络参数；S3、基于步骤S2中确定的具有网络参数的神经网络结构获得数据的特征空间，保持前序层网络参数不变；在训练集，利用对比学习的方法对特征空间层网络参数进行微调；S4、获得所述步骤S3中微调后神经网络结构的多次迭代参数，将验证集数据输入，输出相似性匹配图，并以类激活图为指导转化为得分S，在多次迭代中，依据验证集得分确定最优迭代次数和最优网络参数；S5、对于原始图像和待评估分割结果，首先利用训练好的最优带参网络输出相似性匹配图，并以当前图像的类激活图为指导，输出最终得分。2.根据权利要求1所述的一种图像分割质量评估方法，其特征在于，S2中确定当前网络参数的具有步骤为：S201、选取结构基于全卷积神经网络框架的神经网络结构；S202、对于真实分割标签数据、相对较好分割集数据和相对较差分割集数据，确定其与真实分割标签数据中是每个像素点是否匹配，组成大小为H*W的实际匹配图TM；S203、将选取的分割图像与原始图像组成尺寸大小为H*W*6的数据，并输入神经网络结构，输出预测匹配图PM，计算预测匹配图PM与真实匹配图TM的差异，以此作为损失进行多次迭代训练；迭代训练的次数不少于100次；其中，计算预测匹配图PM与真实匹配图TM的差异的计算方法包括二元交叉熵、KL散度和Dice系数中的任意一种；S204、对于训练中不同迭代次数的迭代参数，在验证集计算不同迭代参数下的像素级预测准确率P...

【专利技术属性】
技术研发人员：彭博，李晓凡，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：