基于深度种子的图像多层次分割的目标尺度选择方法技术

本发明专利技术公开了基于深度种子的图像多层次分割的目标尺度选择方法，包括步骤：利用多层次图像分割算法将输入图像分割成若干层次；构建多层次分割树；以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对分割区域的质量进行评价得到分割质量分数；找到最优分割树；对输入图像的前景类和背景类进行深度种子定位；利用最优分割树中的图像分割区域，建立一个图，通过求图的最小分割得到分割结果。本发明专利技术通过改进VGG‑19网络定位前景种子和显著性检测算法定位背景种子，生成深度种子处理图像多层次分割；设计了一个图模型，基于多层次分割结果中包含的多尺度分割区域，利用深度学习模型提供的语义信息，实现了图像目标的最优尺度选择。

Target scale selection method of image multi-level segmentation based on depth seed

【技术实现步骤摘要】
基于深度种子的图像多层次分割的目标尺度选择方法
本专利技术涉及图像分割
，具体涉及基于深度种子的图像多层次分割的目标尺度选择方法。
技术介绍
图像分割是计算机视觉中的一项重要技术，其目的是根据图像的颜色一致或纹理相似性等特性将图像分割成若干段。尽管在文献中也提出了综合的分割算法，但是有效地分割出物体的有意义的部分来可视化人类的感知仍然是一个开放的挑战。每个人对“有意义”有不同的定义，不同的人在如何正确地分割一个图像上会有所不同。许多人喜欢将图像分割成几个片段，而其他人往往只识别图像内容的几个片段。在这种情况下，一个单独的分割结果只能由一个算法生成，这可能不是解决图像分割问题的有效方法。最近的许多论文工作都研究了将图像分割成一个单一的多尺度结构，为了在所有尺度上捕捉图像目标。使用分层分割会导致在特定的分层级别上包含整个对象或对象的一部分的可能性更高。分层算法在不稳定性方面也有缺点，其结果是基于空间选择和特征参数的，因为层次是建立在低级特征(边缘、颜色等)上的，为了保持一致，对象的尺度没有被强加。然而，为不同的对象找到合适的分割层次并非易事。分层感知的层次图像分割对齐方法尝试将所有对象的比例与同一比例/级别对齐。基于大量的中低层特征，训练分类器对目标尺度进行重新对齐。但是现有方法需要依赖大量的图像特征，计算复杂度高，人工设计图像特征难度大，且优化选择得到的目标分割尺度在图像全局表达上并不是很好。
技术实现思路
针对现有层次图像分割目标尺度选择的不足，本专利技术提供的一种基于深度种子的图像多层次分割的目标尺度选择方法，克服现有图像多层次分割算法在单一分层级别上难以找到正确的目标分割尺度的缺点，通过生成前景类和背景类的深度种子，得到最优分割结果。为了达到上述专利技术目的，本专利技术采用的技术方案为：基于深度种子的图像多层次分割的目标尺度选择方法，包括：步骤1：利用多层次图像分割算法，将输入图像I分割成两个以上层次，每个层次是一个分割结果，每个分割结果包含两个以上非重叠分割区域；步骤2：构建多层次分割树T，包括：2.1从最低层次分割结果R1开始，由低到高取k个层次的分割结果，即{R1,R2,…,Rk}；低层次分割结果，其分割区域个数大于高一层次分割结果的分割区域个数，即|R1|>|R2|>…>|Rk|；其中，R2的每个分割区域，与R1中的一个分割区域相同，或者与R1中两个以上相邻分割区域的并集相同；R3的每个分割区域，与R2中的一个分割区域相同，或者与R2中两个以上相邻分割区域的并集相同；以此类推；2.2根据k个层次的分割结果构建深度为k的多层次分割树T：每个层次的分割结果的分割区域分别映射为分割树T对应层次的节点；其中，R2的分割区域所映射的节点，为R1中与其相同分割区域所映射的节点的父节点，或者为R1中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；R3的分割区域所映射的节点，为R2中与其相同分割区域所映射的节点的父节点，或者为R2中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；以此类推；步骤3：以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对k个层次的分割结果中每一个分割区域的质量进行评价，得到分割质量分数，包括3.1使用χ2分布计算区域间颜色相似度：在CIELab颜色空间下，分割区域x与同一层次的所有相邻分割区域y的颜色相似度为：其中，表示x的颜色直方图，表示y的颜色直方图，λ1是常数；a表示CIELab的颜色通道个数，b表示颜色直方图子区间的编号，为颜色直方图划分的子区间总数，颜色直方图划分的每个子区间大小相等；使用具有6个方向3个尺度((σx,σy)＝{(1,3),(2,6),(4,12)})的高斯一阶、二阶微分滤波器，得到区域的36个纹理特征，分别计算区域的纹理直方图；分割区域x与同一层次的所有相邻分割区域y的区域间纹理相似度为：其中，表示区域x的纹理直方图，表示区域y的纹理直方图，λ2是常数；a′表示区域纹理特征的编号，b′表示区域纹理直方图子区间的编号，为子区间的总数；3.2计算分割区域x的几何尺寸度量fgeo：其中，表示最低层次分割结果R1的分割区域个数，表示当前层次分割结果的分割区域个数，R表示输入图像I的面积，Rx表示分割区域x的面积；3.3计算分割区域x的分割质量分数Q(x)：Q(x)＝finter-color(x)+finter-texture(x)+fgeo(x)；步骤4：找到最优分割树，包括正向过程：计算多层次分割树T的每个层次的每个节点及其子树的分割质量；所述节点的分割质量等于其对应的分割区域的分割质量，子树的分割质量为该节点的所有子节点对应的分割区域的分割质量之和；反向过程：从高层到低层，依次比较节点与其子树的分割质量，具体为：选取一个节点，如果当前节点的分割质量优于其子树的分割质量，则将当前节点作为最优分割的节点，不再选取其子树的节点进行比较；否则，继续选取当前节点的子树的节点，与其子树的分割质量进行比较；直到比较完毕，得到最优分割的节点集合，构成最优分割树；步骤5：用输入图像I的语义类别标签作为监督信息，将图像I作为网络输入，用标准的VGG-19深度分类网络生成图像I的前景种子点，具体为：在该网络的全连接分类器生成的前景目标热图基础上，对热图应用一个阈值λ3来获得前景种子点；使用显著性检测算法计算输入图像I的背景种子点，即选择显著性图中像素值为0区域作为输入图像I的背景种子点；最后，将前景种子点和背景种子点放在一个单通道分割掩码图像中，生成输入图像I的种子点；其中，每个前景种子点的标签等于输入图像I的一个类别标签，背景种子点的类别标签为背景；种子点对应的像素集合记为S＝{sm}，sm是第m个类别的种子像素集合，m＝0,…,M；M是前景类别标签的个数；步骤6：将步骤4得到的最优分割树的节点所对应的分割区域表示为集合{xi,i＝1,…,N}，其中N表示分割区域个数，且满足使用图割优化框架，计算每个区域的最优类别标签，即为区域xi找到一个类别标签li，集合{li}表示为L，通过最小化能量方程E(L)的值得到目标分割结果：上式中，为区域xi基于种子点的一元式，如下：其中，M表示输入图像I所有前景类别标签的个数，li是区域xi的类别标签；ψi,j为相邻区域xi和xj的二元式，能量方程的第二项表示相邻区域的特征相似性，用区域的颜色直方图、纹理直方图进行归一化计算，如下：其中，如果li≠lj为真，则[.]为1，否则[.]为0；lj是区域xj的类别标签；δlab、δt为常数参数；Di,j是区域xi和区域xj的尺度不变特征转换得到的特征和加速鲁棒特征的欧几里德距离之和，如下：其中，δ1和δ2是常数参数，δ1+δ2＝1。本专利技术的有益效果为：1、提出了一种通过改进VGG-19网络定位前景种子和显著性本文档来自技高网...

【技术保护点】
1.基于深度种子的图像多层次分割的目标尺度选择方法，其特征在于，包括：/n步骤1：利用多层次图像分割算法，将输入图像I分割成两个以上层次，每个层次是一个分割结果，每个分割结果包含两个以上非重叠分割区域；/n步骤2：构建多层次分割树T，包括：/n2.1从最低层次分割结果R

【技术特征摘要】
1.基于深度种子的图像多层次分割的目标尺度选择方法，其特征在于，包括：
步骤1：利用多层次图像分割算法，将输入图像I分割成两个以上层次，每个层次是一个分割结果，每个分割结果包含两个以上非重叠分割区域；
步骤2：构建多层次分割树T，包括：
2.1从最低层次分割结果R1开始，由低到高取k个层次的分割结果，即{R1,R2,…,Rk}；低层次分割结果，其分割区域个数大于高一层次分割结果的分割区域个数，即|R1|>|R2|>…>|Rk|；其中，R2的每个分割区域，与R1中的一个分割区域相同，或者与R1中两个以上相邻分割区域的并集相同；R3的每个分割区域，与R2中的一个分割区域相同，或者与R2中两个以上相邻分割区域的并集相同；以此类推；
2.2根据k个层次的分割结果构建深度为k的多层次分割树T：每个层次的分割结果的分割区域分别映射为分割树T对应层次的节点；其中，R2的分割区域所映射的节点，为R1中与其相同分割区域所映射的节点的父节点，或者为R1中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；R3的分割区域所映射的节点，为R2中与其相同分割区域所映射的节点的父节点，或者为R2中并集与其相同的两个以上相邻分割区域所映射的节点的父节点；以此类推；
步骤3：以颜色直方图、纹理直方图和区域几何尺寸表示图像特征，对k个层次的分割结果中每一个分割区域的质量进行评价，得到分割质量分数，包括
3.1使用χ2分布计算区域间颜色相似度：在CIELab颜色空间下，分割区域x与同一层次的所有相邻分割区域y的颜色相似度为：



其中，表示x的颜色直方图，表示y的颜色直方图，λ1是常数；a表示CIELab的颜色通道个数，b表示颜色直方图子区间的编号，为颜色直方图划分的子区间总数，颜色直方图划分的每个子区间大小相等；
使用具有6个方向3个尺度((σx,σy)＝{(1,3),(2,6),(4,12)})的高斯一阶、二阶微分滤波器，得到区域的36个纹理特征，分别计算区域的纹理直方图；分割区域x与同一层次的所有相邻分割区域y的区域间纹理相似度为：



其中，表示区域x的纹理直方图，表示区域y的纹理直方图，λ2是常数；a′表示区域纹理特征的编号，b′表示区域纹理直方图子区间的编号，为子区间的总数；
3.2计算分割区域x的几何尺寸度量fgeo：



其中，表示最低层次分割结果R1的分割区域个数，表示当前层次分割结果的分割区域个数，R表示输入图像I的面积，Rx表示分割区域x的面积；
3.3计算分割区域...

【专利技术属性】
技术研发人员：彭博，扎伊德阿尔胡达，冯婷，杨燕，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川;51