一种基于神经网络的轮廓演化分割方法技术

本发明专利技术实施例公开了一种基于神经网络的轮廓演化以及分割方法。该方法使用神经网络来自主自动地表达轮廓演化方向，将其应用于图像分割任务。本方法将轮廓演化分割过程阐释为一个给定初始化的增量更新过程，并使用神经网络来表达演化方向。相比于传统的主动轮廓分割模型和方法需要人工设定能量函数与演化方向，基于神经网络的轮廓演化可从数据和当前轮廓中自动学习和估计轮廓的演化方向。这种表达方法能够适应不同的初始轮廓，也克服了传统主动轮廓分割模型对于初始化轮廓非常敏感的问题。同时，由于本方法基于神经网络，因此估计演化方向的网络能够根据需要自行拓展以适应不同的分割任务场景。

【技术实现步骤摘要】
一种基于神经网络的轮廓演化分割方法技术邻域本专利技术属于图像分割邻域，特别地涉及一种基于神经网络的轮廓演化以及分割方法。涉及到神经网络的表达能力，与基于轮廓演化的分割策略。
技术介绍
图像目标分割与目标识别是计算机视觉与图像处理领域两个基础和重要的任务。变分分割是一种经典的分割方法，其思路是设计一个能量函数，给定一个初始轮廓，然后使用梯度下降方法对能量函数进行优化，使得轮廓进行演化。经过一定时间的迭代，轮廓演化收敛。但是由于能量函数通常是手动设计，需要依赖一定的启发性知识，比如前景区域和背景区域各自内部都是同质的，同颜色、同纹理等。这些手工设计的能量函数限制了区域特征的表达，限定了轮廓演化的方向，因此很多时候这些方法只适用于特定图像和场景。传统变分方法的另一个问题是非常依赖于初始轮廓。如果初始轮廓设置不好，优化问题很可能落入局部最优值。由于神经网络是个万能逼近模型，所以我们使用神经网络来表达轮廓演化过程，其优点是能够自适应地学习和表达前背景区域的特征，以及轮廓演化过程中的演化方向，并且对初始轮廓不敏感。因此，基于神经网络的轮廓演化分割方法具有更强的鲁棒性和更优的性能。
技术实现思路
本专利技术的目的在于提供了一种基于神经网络的轮廓演化分割方法。本方法将轮廓演化分割过程阐释为一个给定初始化的增量更新过程，并方法使用神经网络来学习和表达轮廓演化方向，取代了传统方法中手工设计区域描述函数与演化方向的过程，让轮廓演化能够更加自适应更加鲁棒。为实现上述目的，本专利技术的技术方案为：一种基于神经网络的轮廓演化分割方法。该方法为：给定某时刻的演化轮廓，使用神经网络自主自动地学习和表达轮廓的演化方向，并以增量更新的方法完成演化过程：步骤1：给定RGB图像与对应的分割掩膜真值集合{Ii,mi}i＝1,2,…,N，其中mi∈{0,1}H×W是二值的，H,W为图像的长宽，i＝1,2,…,N为样本编号，根据数据集规模和任务规模设定用于演化轮廓和估计演化方向的演化方向估计网络f，演化方向估计网络f的输入为演化轮廓φ以及图像I，其输出为当前轮廓的演化方向；步骤2：对某图像I，设定演化的初始轮廓φ0∈(-∞,∞)；步骤3：将图像数据I和当前轮廓φt输入到演化方向估计网络f估计当前的演化方向其中t为当前迭代次数，首次输入时，t＝0，当前轮廓为初始轮廓φ0。步骤4：确定演化步长Δt，更新当前轮廓步骤5：重复执行步骤3-4，直到达到迭代次数限制，获得最终演化轮廓φT；步骤6：使用合适的映射函数σ(·)，将最终演化轮廓φT∈(-∞,∞)映射到[0,1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果qout＝q＞τ，其中τ是阈值；步骤7：训练演化方向估计网络f时，设定预测的分割掩膜q和掩膜真值m的误差损失作为网络f的损失函数并进行训练。步骤8：采集测试图像Itest，并设定该测试图像的初始轮廓φ0，将轮廓φ连同图像Itest一起输入到网络f中，按照步骤3-6的方法即可得到测试图像Itest的最终分割结果qout。进一步的，所述步骤1中，演化方向估计网络f可以为全连接网络或者卷积神经网络。进一步的，步骤2中所述的初始轮廓并不限定于特定方法。无论是通过已有模型方法得到的初始轮廓，比如其他的分割模型；或者是任意人工交互手动设计的初始轮廓；或者是符合某种数学表达的初始轮廓，比如棋盘状的初始轮廓，甚至是全0的初始轮廓。进一步的，步骤2-4中的更新过程可以使用固定演化步长Δt，然后使用循环神经网络来完成演化过程；也可使用已知的微分方程数值方法，如欧拉方法，Runge-Kutta方法以及其他微分方程邻域的数值求解方法，自动确定步长完成演化。进一步的，步骤6中所使用的映射函数σ(·)只要满足即可(其中是实数域)，不限定具体形式，如Sigmoid函数以及阶跃函数。本专利技术的有益效果是：(1)有效以及自适应地表达了轮廓演化过程中的演化方向，使得演化过程不受手工设计方法的约束，能更好地满足各种场景的分割任务；(2)减弱了初始轮廓对分割结果的不良影响，使得分割过程对初始轮廓不敏感，提高了分割过程的鲁棒性。附图说明图1为本专利技术的流程图；图2为演化方向估计网络f的结构的结构图；图3是若干张测试图像的轮廓演化和分割过程，其中从左到右各列为RGB图像，演化迭代次数t＝{0,1,3,5,9,12,15,20}时的轮廓φ(其中红线为前背景的分界线)，最终结果的二值化结果qout，以及掩膜真值m；这里初始轮廓为全0；图4～图5为初始轮廓为中央圆形、棋盘圆形的轮廓演化过程。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。相反，本专利技术涵盖任何由权利要求定义的在本专利技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本专利技术有更好的了解，在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述可以完全理解本专利技术。参考图1所示为本专利技术实施例的基于神经网络的轮廓演化分割方法的步骤流程图。给定训练用数据集{目标图像Ii，目标形状mi}，测试用目标图像Itest，按照以下方法处理：1.训练演化方向估计网络(1.1)基于数据集D0＝{目标图像Ii，目标形状mi}，将目标形状进行适当扩充(即数据集增广)，对部分训练形状进行不同程度的位移、形变和旋转，产生更多训练用形状。其与其标签定义为数据集D1＝{目标图像Ij，训练形状}。将所有目标形状图片归一化到64×64大小。(1.2)设定演化方向估计网络f的结构如图2所示，其中每个块都是特征层，虚线箭头为卷积操作，每个卷积算子之后还经过了一个批归一化层与ReLU激活层，下方数字(nc，2nc，1等)为特征通道数。除此之外，还可以采用全连接网络作为演化方向估计网络f。(1.3)设定初始轮廓为全0，即φ0＝0。(1.4)将轮廓φ连同图像I一起输入到网络f中，获得演化方向(1.5)使用微分方程邻域中的数值求解方法确定演化步长Δt，然后更新演化轮廓(1.6)迭代(1.4)-(1.5)直到达到一定次数，获得最终演化结果φT，使用映射函数σ(·)将最终演化轮廓φT∈(-∞,∞)映射到[0,1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果qout＝q＞τ，其中τ是阈值。这里映射函数为Sigmoid函数，即(1.7)根据分割结果q与分割真值m，定义两者的损失为均方误差其中x是图像区域坐标，然后对网络f进行训练。2.对测试图像Itest(2.1)设定初始轮廓为全0，即φ0＝0。(2.2)将轮廓φ连同图像Itest一起输入到网络f中，获得演化方向(2.3)使用微分方程邻本文档来自技高网...

【技术保护点】
1.一种基于神经网络的轮廓演化分割方法，其特征在于，该方法包括如下步骤：/n步骤1：给定RGB图像与对应的分割掩膜真值集合{I

【技术特征摘要】
1.一种基于神经网络的轮廓演化分割方法，其特征在于，该方法包括如下步骤：
步骤1：给定RGB图像与对应的分割掩膜真值集合{Ii，mi}i＝1，2，...，N，其中mi∈{0，1}H×W是二值的，H，W为图像的长宽，i＝1，2，...，N为样本编号，根据数据集规模和任务规模设定用于演化轮廓和估计演化方向的演化方向估计网络f，演化方向估计网络f的输入为演化轮廓φ以及图像I，输出为当前轮廓的演化方向。
步骤2：对某图像I，设定演化的初始轮廓φ0∈(-∞，∞)。
步骤3：将图像I和当前轮廓φt输入到演化方向估计网络f估计当前的演化方向其中t为当前迭代次数，首次输入时，t＝0，当前轮廓为初始轮廓φ0。
步骤4：确定演化步长Δt，更新当前轮廓
步骤5：重复执行步骤3-4，直到达到迭代次数限制，获得最终演化轮廓φT。
步骤6：使用映射函数σ(·)将最终演化轮廓φT∈(-∞，∞)映射到[0，1]范围内，得到预测的分割掩膜q＝σ(φ)，最后将q阈值化得到二值分割结果qout＝q＞τ，其中τ是阈值。
步...

【专利技术属性】
技术研发人员：于慧敏，黄伟，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33