一种结合深度学习形状先验的MRF图像分割方法技术

本公开揭示了一种结合深度学习形状先验的MRF图像分割方法，所述方法图像分割问题以能量函数的形式表示，当其最小时对应的则是最优分割结果，且易于以新能量项形式添加其他约束信息。但在基于MRF模型的图像分割研究中，由于自然图像存在阴影、杂乱背景等各种干扰因素，不仅增加了分割的难度，而且分割的效果往往也不好。本方法通过深度学习模型组合底层的特征形成高层的数据抽象特征，引入对目标形状的约束信息和先验信息以更好地解决图像分割问题。对于形状表示，本方法采用研究较多的水平集中的方式，将先验形状表示成符号距离函数，然后经过变换将其以形状能量项添加到分割能量函数中。

【技术实现步骤摘要】
一种结合深度学习形状先验的MRF图像分割方法
本专利技术属于图像处理
，特别涉及一种结合深度学习形状先验的MRF图像分割方法。
技术介绍
图像分割利用图像的某些特性将图像分割成多个特征相似、互不重叠的区域，分割后的区域有各自的类别，并且每个区域内部的属性特征相似，而不同区域间的属性特征有明显的差别。传统方法主要是基于灰度、边缘和纹理等图像底层数据信息，但在实际应用中，由于噪声、目标遮挡、背景混乱等干扰因素的存在，使得图像分割问题面临着很多的困难和挑战。当图像较为平滑或者目标背景易于区分时，使用早期的图像分割方法能够得到较好的分割结果，但是在存在干扰因素的情况下，仅仅依赖图像数据信息，往往很难得到理想的分割结果。在这种情况下，可以通过使用高层的、全局的先验形状等信息来辅助图像分割，降低图像中干扰因素对分割结果的影响，从而提高图像分割的准确性。对于一些常见的目标，其形状信息可以为图像分割提供很强的约束，能够有效改善分割效果，使得对存在噪声、遮挡、阴影等干扰因素的图像进行分割时更健壮。目前，已经有很多方法来表示二维形状。例如，本方法中涉及到的网格结构的马尔科夫随机场，网格结构的马尔科夫随机场模型可以表示为由一元项和二元项组成的能量函数形式，其中定义的一元能量项表示为像素点分配一个标记的可能性，二元能量项表示相邻像素之间的依赖关系，也即是施加给相邻像素之间局部区域限制强调形状的局部特征(平滑性或连通性)，但网格结构的马尔科夫随机场模型由于无法捕捉到凸性或曲率等更复杂的形状属性，故而表达全局形状时有一定的限制。
技术实现思路
基于此，本公开揭示了一种结合深度学习形状先验的MRF图像分割方法，所述方法包括下述步骤：S100、图像粗分割：输入图像I，基于MRF，计算所述图像I的外观能量项EA(f|I)，对外观能量项EA(f|I)进行最小化，得到图像I的粗分割结果f1；S200、训练由RBM、DBN、DBM形状模型组成的深度学习模型：对和图像I属于同一视频序列的多帧图像进行归一化，得到一批形状图像，将这批形状图像作为训练数据输入深度学习模型中，分别训练RBM、DBN、DBM形状模型，得到深度学习模型的参数；S300、采样得到形状先验：按照步骤S100中的方法对和图像I属于同一视频序列的多帧图像Ii进行粗分割，得到多帧图像Ii的粗分割结果fi1，将粗分割结果fi1归一化至步骤S200中形状图像的大小，并将归一化后的fi1分别作为步骤S200中已得到参数的深度学习模型的的输入，经过采样得到形状先验S，然后将形状先验S缩放到输入图像I大小；S400、利用约束项进行图像分割：基于MRF，计算得到由步骤S300得到形状先验S的能量项ES(f|I)，与步骤S100中的外观能量项EA(f|I)结合得到总能量约束项E(f|I)，求解E(f|I)的最小值，进而得到最终的分割结果f。本公开具有以下有益效果：1、本公开所述的方法通过深度学习模型提取图像的高层特征进而形成形状先验能量项的形式对图像分割进行约束，使得图像分割正确率大大提高。2、本公开提出一种融合深度学习形状先验的MRF图像分割方法，该方法使用RBM、DBN、DBM作为形状模型，将从模型中生成的目标先验形状信息引入基于MRF的图像分割框架中，利用图割算法最小化能量函数，进而得到分割结果。深度学习形状先验信息能够对目标的轮廓进行约束，从而得到较为完整的分割结果，并且使得分割效率大幅提高。本专利技术具有操作简便、精度高、抗噪性强等优点，可用于各种彩色和黑白图像的分割。附图说明图1为本公开所述方法的流程图；图2(a)为本公开RBM模型结构；图2(b)为本公开DBN模型结构；图2(c)为本公开DBM模型结构；图3(a1)-图3(a10)为输入数据；图3(b1)-图3(b10)为RBM模型的处理结果；图3(c1)-图3(c10)为DBN模型的处理结果；图3(d1)-图3(d10)为DBM模型的处理结果；图4(a1)-图4(a4)为原始图像；图4(b1)-图4(b4)为MRF方法的分割结果；图4(c1)-图4(c4)为RBM先验形状；图4(d1)-图4(d4)为结合RBM形状先验MRF方法的分割结果；图4(e1)-图4(e4)为DBN先验形状；图4(f1)-图4(f4)为结合DBN形状先验MRF方法的分割结果；图4(g1)-图4(g4)为DBM先验形状；图4(h1)-图4(h4)为结合DBM形状先验MRF方法的分割结果。具体实施方式下面结合附图对本专利技术进一步详细说明：在一个实施例中，本公开揭示了一种结合深度学习形状先验的MRF图像分割方法，所述方法包括下述步骤：S100、图像粗分割：输入图像I，基于MRF，计算所述图像I的外观能量项EA(f|I)，对外观能量项EA(f|I)进行最小化，得到图像I的粗分割结果f1；S200、训练由RBM、DBN、DBM形状模型组成的深度学习模型：对和图像I属于同一视频序列的多帧图像进行归一化，得到一批形状图像，将这批形状图像作为训练数据输入深度学习模型中，分别训练RBM、DBN、DBM形状模型，得到深度学习模型的参数；S300、采样得到形状先验：按照步骤S100中的方法对和图像I属于同一视频序列的多帧图像Ii进行粗分割，得到多帧图像Ii的粗分割结果fi1，将粗分割结果fi1归一化至步骤S200中形状图像的大小，并将归一化后的fi1分别作为步骤S200中已得到参数的深度学习模型的的输入，经过采样得到形状先验S，然后将形状先验S缩放到输入图像I大小；S400、利用约束项进行图像分割：基于MRF，计算得到由步骤S300得到形状先验S的能量项ES(f|I)，与步骤S100中的外观能量项EA(f|I)结合得到总能量约束项E(f|I)，求解E(f|I)的最小值，进而得到最终的分割结果f。在本实施例中，提出一种融合深度学习形状先验的MRF图像分割方法，该方法使用如图2(a)、图2(b)、图2(c)所示的RBM、DBN、DBM作为形状模型，将从模型中生成的目标先验形状信息引入基于MRF的图像分割框架中，利用图割算法最小化能量函数，进而得到分割结果。深度学习形状先验信息能够对目标的轮廓进行约束，从而得到较为完整的分割结果，并且使得分割效率大幅提高。本专利技术具有操作简便、精度高、抗噪性强等优点，可用于各种彩色和黑白图像的分割。在一个实施例中，所述的外观能量项EA(f|I)按下式计算：vp是像素点p的特征向量，是概率密度函数的参数向量，vp、vq是像素p、q的特征向量，dist(p,q)是像素p和q间的欧氏距离，参数σ是对噪声的估计，权值λ用来衡量二阶势函数的相对重要性。在一个实施例中，所述步骤S100中利用最大流/最小割定理对外观能量项EA(f|I)进行最小化。在一个实施例中，步骤S200中深度学习模型的参数包括深度学习模型的权值和偏置。在一个实施例中，步骤S200中对和图像I属于同一视频序列的多帧图像进行归一化具体为：将和图像I属于同一视频序列的多帧图像归一化为32x32或64x64大小的图像。在一个实施例中，步骤S400中所述先验能量项ES(f|I)按下式计算：其中，表示为：此时表示形状模板在像素点p处的值。在一个实施例中，按照下式计算步骤S400中的E(f|I)：E本文档来自技高网...

【技术保护点】
一种结合深度学习形状先验的MRF图像分割方法，其特征在于，所述方法包括下述步骤：S100、图像粗分割：输入图像I，基于MRF，计算所述图像I的外观能量项E

【技术特征摘要】
1.一种结合深度学习形状先验的MRF图像分割方法，其特征在于，所述方法包括下述步骤：S100、图像粗分割：输入图像I，基于MRF，计算所述图像I的外观能量项EA(f|I)，对外观能量项EA(f|I)进行最小化，得到图像I的粗分割结果f1；S200、训练由RBM、DBN、DBM形状模型组成的深度学习模型：对和图像I属于同一视频序列的多帧图像进行归一化，得到一批形状图像，将这批形状图像作为训练数据输入深度学习模型中，分别训练RBM、DBN、DBM形状模型，得到深度学习模型的参数；S300、采样得到形状先验：按照步骤S100中的方法对和图像I属于同一视频序列的多帧图像Ii进行粗分割，得到多帧图像Ii的粗分割结果将粗分割结果归一化至步骤S200中形状图像的大小，并将归一化后的分别作为步骤S200中已得到参数的深度学习模型的的输入，经过采样得到形状先验S，然后将形状先验S缩放到输入图像I大小；S400、利用约束项进行图像分割：基于MRF，计算得到由步骤S300得到形状先验S的能量项ES(f|I)，与步骤S100中的外观能量项EA(f|I)结合得到总能量约束项E(f|I)，求解E(f|I)的最小值，进而得到最终的分割结果f。2.根据权利要求1所述的方法，其特征在于，优选的，所述的外观能量项EA(f|I)按下式计算：

【专利技术属性】
技术研发人员：汪西莉，王研，杨建功，马君亮，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：陕西,61