【技术实现步骤摘要】
一种基于局部区域条件随机场模型的图像语义分割方法
本专利技术属于计算机视觉
，涉及一种基于局部区域条件随机场模型的图像语义分割方法。
技术介绍
近二十年来，深度卷积神经网络逐渐成为计算机视觉中关于图像理解的强大工具。近期，卷积神经网络在图像的语义分割任务上展现出了很好的效果。图像的语义分割作为图像理解的基石性技术，在多个方面有着举足轻重的地位，例如自动驾驶，无人机应用，可穿戴式设备等。如何设计出可以兼顾语义分割网络精度和语义分割速度的分割算法成为了当前研究的主流。目前图像的语义分割应用按照侧重点逐渐发展为两个主要方向，第一个方向侧重于分割速度，它使用全卷积神经网络对图片进行分割，全卷积神经网络最大的特点是将原始神经网络中的全连接层用卷积层替换，这样很好的保留了原始卷积结构中因为全连接而破坏的图片空间位置信息，之后，通过上采样过程将全卷积网络的输出恢复到原始图片大小，最后通过对所得特征图中每个位置进行分类的方式来获得像素级别的分类效果。这种方法关注的是分割速度，它只使用涉及到普通卷积结构而无需建立复杂的数学模型。通常情况下，全卷积网络产生的分割结果在目标边界区...
【技术保护点】
1.一种基于局部区域条件随机场模型的图像语义分割方法，其拓扑结构主要包括全卷积神经网络结构DeepLab‑RES18，区域选择结构，局部区域条件随机场模型结构；其特征在于：所述的全卷积神经网络结构用于提取输入图片特征并获得一个粗糙的分割结果，然后将该结果送入区域选择结构；区域选择结构用于将分割结果图进行边缘滤波，并选择分割结果为行人，自行车，机动车的部分的最大外接矩形，然后将这些矩形区域送入局部区域条件随机场模型；局部区域条件随机场模型用于精细优化上述矩形区域的分割结果；所述的全卷积神经网络结构通过改进DeepLab v2模型所得，将DeepLab v2中的VGG‑16结构...
【技术特征摘要】
1.一种基于局部区域条件随机场模型的图像语义分割方法，其拓扑结构主要包括全卷积神经网络结构DeepLab-RES18，区域选择结构，局部区域条件随机场模型结构；其特征在于：所述的全卷积神经网络结构用于提取输入图片特征并获得一个粗糙的分割结果，然后将该结果送入区域选择结构；区域选择结构用于将分割结果图进行边缘滤波，并选择分割结果为行人，自行车，机动车的部分的最大外接矩形，然后将这些矩形区域送入局部区域条件随机场模型；局部区域条件随机场模型用于精细优化上述矩形区域的分割结果；所述的全卷积神经网络结构通过改进DeepLabv2模型所得，将DeepLabv2中的VGG-16结构替换为泛化能力更好的ResNet-18结构；区域选择结构由一个边缘滤波器构成，用于获取分割结果中不同类别的边缘轮廓并保存属于行人，自行车，机动车的部分，然后获取这些部分的最大外接矩形区域；局部区域条件随机场模型在上述矩形区域中以每个像素点作为一个节点建立条件随机场模型，最终输出在上述矩形区域中更加精细的分割结果；具体过程如下：步骤一：通过线性插值的方式缩放训练样本至720*1080大小，并做减均值处理，选取数据样本中80％作为训练数据，20％作为测试数据，测试数据不参与训练过程；步骤二：将ResNet-18分类模型在ImageNet上做预训练直到ResNet-18网络收敛；步骤三：将经过预处理的训练数据送入经过预训练的全卷积网络结构中训练并输出一个粗糙分割结果特征图；步骤四：选取这个分割结果图中结果为行人，自行车，机动车的部分的最大外接矩形区域，并滤除掉尺寸过小的部分；步骤五：在步骤四中所得的最大外接矩形区域建立条件随机场模型，以DeepLab-RES18所产生的分割结果经过softmax后获得的单通道特征图作为初始输入，然后使用像素的颜色特征和空间位置特征的高斯特征计算特征图中每个像素点的二元势函数，得到一个双通道的分割特征图，接着将上述双通道特征图与一个1x1的卷积核进行卷积并输出一个单通道的特征图，然后，首先将上述单通道特征图按类别总数扩展到类别总数个通道，同样使用一个1x1的卷积核进行卷积操作并输出一个通道数为类别总数的分割结果，最后将上述过程所得结果直接与DeepLab-RES18网络产生的结果直接相加并进行softmax归一化后输出一个单通道结果图即为最终分割结果图。2....
【专利技术属性】
技术研发人员：李训根，张誉矾，潘勉，于彦贞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。