基于排序约束的图像分割质量评价网络系统、方法及系统技术方案

本发明专利技术公开了图像分割技术领域的一种基于排序约束的图像分割质量评价网络系统、方法及系统，实现了对分割谱质量的精准预测，尤其是对分割谱间质量关系的精准预测。网络系统包括：参数共享的质量评价子网络Q1和Q2，质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；质量预测模块将第二特征映射成质量预测值；质量评价子网络Q2与质量评价子网络Q1结构相同。

【技术实现步骤摘要】
基于排序约束的图像分割质量评价网络系统、方法及系统
本专利技术属于图像分割
，具体涉及一种基于排序约束的图像分割质量评价网络系统、方法及系统。
技术介绍
图像分割是是计算机视觉和图像处理领域的主要研究之一，旨在提取图像中的语义对象区域，为计算机提供简洁、有效的内容信息，是解决图像分析和内容理解等诸多高级视觉任务的关键步骤。研究者在图像分割方面进行了大量研究，针对不同领域提出了诸多方法，然而这些方法通常解决某种具体问题，只能针对部分图像进行精准分割，因此现有单一分割方法无法适用于所有图像实现精准分割。现有图像分割质量评价方法在训练过程中通过计算分割结果与人工标注间的平均误差优化模型参数。这种方式只能降低预测的平均误差、提升预测的平均精度，但是无法准确反映两张分割结果间的质量关系。例如由两种算法在同一图片上生成的两张分割结果A和B，其真实质量得分分别为Sa和Sb，且有Sa>Sb，现有质量评价方法预测的质量得分f(A)＝Sa-delta和f(B)＝Sb+delta，两者间的排序关系是f(A)<f(B)。尽管预测结果f(A)和f(B)均接近于真实质量得分Sa和Sb，但是f(A)和f(B)间的关系显然与Sa和Sb间的排序关系相反，无法正确预测两种分割结果间的质量排序关系。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种基于排序约束的图像分割质量评价网络系统、方法及系统，实现了对分割谱的精准预测，尤其是对分割谱间质量关系的精准预测。为达到上述目的，本专利技术所采用的技术方案是：一种基于排序约束的图像分割质量评价网络系统，包括：参数共享的质量评价子网络Q1和Q2；所述质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；所述特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；所述质量预测模块将所述第二特征映射成质量预测值；所述质量评价子网络Q2与所述质量评价子网络Q1结构相同。进一步地，所述支流C1的输入为分割前景图像If1，所述支流C2的输入为分割背景图像Ib1；其中，If1由图片I和分割谱S1进行元素级相乘获得：If1＝I⊙S1；分割背景图像Ib1由图片I和分割谱的反转谱1-S1进行元素级相乘获得：Ib1＝I⊙(1-S1)。进一步地，所述支流C1包括一系列卷积层和池化层，用于从图像中提取前景和背景的初始特征。进一步地，所述特征转换模块包括级联层和卷积层，所述级联层用于将两个第一特征进行融合，所述卷积层将融合后的特征进行映射和降维，得到第二特征；所述质量预测模块包括一个全连接模块和一个输出模块，全连接模块包括两层全连接层，用于将第二特征转换成全局特征，输出模块包括一层全连接层和sigmoid层，用于将全局特征回归成一个[0,1]之间的标量，表示对当前分割谱质量的预测值。进一步地，质量预测损失L1是所述质量评价子网络Q1的损失函数，质量预测损失L2是所述质量评价子网络Q2的损失函数，排序损失Lr用于约束质量评价子网络Q1和质量评价子网络Q2预测值间的大小排序关系；所述质量预测损失L1和所述质量预测损失L2采用Euclidean损失函数；所述排序损失Lr采用MarginRankingLoss作为损失函数。一种基于排序约束的图像分割质量评价方法，包括：基于训练完成的权利要求1～5任一项所述的基于排序约束的图像分割质量评价网络系统RSQAN，构建基于排序约束的图像分割质量预测网络系统RSQPN；以图像及其分割谱作为RSQPN的输入，用RSQPN输出的预测值评价当前分割谱的质量。进一步地，所述基于排序约束的图像分割质量评价网络系统的训练方法包括：收集现有公开图像分割数据库中的图像及其人工标注谱，对于任意一张图像，利用现有的M种图像分割方法生成M张分割谱，形成数据库样本；根据人工标注谱，利用分割评价标准生成每张分割谱的质量得分，作为当前图像分割谱的标签，形成样本标签；将数据库样本划分成训练集、验证集和测试集；采用高排序样本选择方法从训练集中选择训练样本及对应的样本标签，用于训练基于排序约束的图像分割质量评价网络系统RSQAN，同时通过验证集对RSQAN的训练过程进行验证，并通过测试集测试RSQAN的训练效果。进一步地，所述高排序样本选择方法，具体为：从质量最高的前m张分割谱中选择一张分割谱，再从剩下的M-1张分割谱中选择另一张分割谱，共有m*M-m*(m+1)/2种组合。进一步地，所述基于排序约束的图像分割质量预测网络系统RSQPN与所述质量评价子网络Q1结构相同；在基于排序约束的图像分割质量评价网络系统RSQAN训练完成后，将其质量评价子网络Q1的参数传给构建的基于排序约束的图像分割质量预测网络系统RSQPN。一种基于排序约束的图像分割质量评价系统，包括：第一模块，用于基于训练完成的权利要求1～5任一项所述的基于排序约束的图像分割质量评价网络系统RSQAN，构建基于排序约束的图像分割质量预测网络系统RSQPN；第二模块，用于以图像及其分割谱作为RSQPN的输入，用RSQPN输出的预测值评价当前分割谱的质量。与现有技术相比，本专利技术所达到的有益效果：(1)本专利技术通过采用孪生网络构建基于排序约束的图像分割质量评价网络系统RSQAN，孪生网络以两个样本为输入，以比较两个样本的相似程度，孪生网络会最大化不同标签的表征，并最小化相同标签的表征，将两个输入映射至高维特征空间，并输出对应的表征，通过计算两个表征的距离，例如欧式距离，使用者可以比较两个输入的相似程度；并由此构建基于排序约束的图像分割质量预测网络系统RSQPN，实现了对分割谱的精准预测，尤其是对分割谱间质量关系的精准预测；(2)本专利技术所提出的基于排序约束的图像分割质量评价网络是一种通用的网络框架，网络中的子网络可以使用现有任意的基础网络，如Alex、VGG、Googlenet等，具备可扩展性；(3)本专利技术在网络训练中采用高排序样本选择方法选择训练样本，只需要利用部分训练样本对即可完成网络训练，减少了网络训练量，同时使网络训练倾向于对高质量分割谱的精准预测。附图说明图1是本专利技术实施例构建的基于排序约束的图像分割质量评价网络系统RSQAN的网络结构示意图；图2是本专利技术实施例构建的基于排序约束的图像分割质量预测网络系统RSQPN的网络结构示意图；图3是本专利技术实施例提供的一种基于排序约束的图像分割质量评价方法的流程图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。实施例一：如图1所示，一种基于排序约束的图像分割质量评价网络系统，包括两个卷积核参数共享的质量评价子网络Q1和Q2，质量预测损失L1是质量评价子网络Q1的损失函数，质量预测损失L2是质量评价子网络Q2的损失函数，排序损失Lr用于约束质量评价子网络Q1和质量评本文档来自技高网...

【技术保护点】
1.一种基于排序约束的图像分割质量评价网络系统，其特征是，包括：参数共享的质量评价子网络Q1和Q2；/n所述质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；/n所述特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；/n所述质量预测模块将所述第二特征映射成质量预测值；/n所述质量评价子网络Q2与所述质量评价子网络Q1结构相同。/n

【技术特征摘要】
1.一种基于排序约束的图像分割质量评价网络系统，其特征是，包括：参数共享的质量评价子网络Q1和Q2；
所述质量评价子网络Q1是孪生网络，包含两个参数共享的特征提取支流C1和C2、一个特征转换模块以及一个质量预测模块；
所述特征转换模块将支流C1和C2提取的第一特征进行融合，转换成第二特征；
所述质量预测模块将所述第二特征映射成质量预测值；
所述质量评价子网络Q2与所述质量评价子网络Q1结构相同。


2.根据权利要求1所述的基于排序约束的图像分割质量评价网络系统，其特征是，所述支流C1的输入为分割前景图像If1，所述支流C2的输入为分割背景图像Ib1；其中，If1由图片I和分割谱S1进行元素级相乘获得：If1＝I⊙S1；分割背景图像Ib1由图片I和分割谱的反转谱1-S1进行元素级相乘获得：Ib1＝I⊙(1-S1)。


3.根据权利要求1所述的基于排序约束的图像分割质量评价网络系统，其特征是，所述支流C1包括一系列卷积层和池化层，用于从图像中提取前景和背景的初始特征。


4.根据权利要求1所述的基于排序约束的图像分割质量评价网络系统，其特征是，所述特征转换模块包括级联层和卷积层，所述级联层用于将两个第一特征进行融合，所述卷积层将融合后的特征进行映射和降维，得到第二特征；
所述质量预测模块包含一个全连接模块和一个输出模块，全连接模块包括两层全连接层，用于将第二特征转换为全局特征；输出模块包括一层全连接层和sigmoid层，用于将全局特征回归成一个[0,1]之间的标量，表示对当前分割谱质量的预测值。


5.根据权利要求1所述的基于排序约束的图像分割质量评价网络系统，其特征是，质量预测损失L1是所述质量评价子网络Q1的损失函数，质量预测损失L2是所述质量评价子网络Q2的损失函数，排序损失Lr用于约束质量评价子网络Q1和质量评价子网络Q2预测值间的大小排序关系；所述质量预测损失L1和所述质量预测损失L2采用Euclidean损失函数；所述排序损失Lr采用MarginRankingLoss作为损失函数。


6.一种基于排序约束的...

【专利技术属性】
技术研发人员：谭凯，罗旺，俞弦，姚一杨，王小康，
申请(专利权)人：南京南瑞信息通信科技有限公司，
类型：发明
国别省市：江苏;32