一种多数据融合的草图图像分割方法、系统、装置及存储介质制造方法及图纸

本发明专利技术提供了一种多数据融合的草图图像分割方法、系统、装置及存储介质，该草图图像分割方法包括草图像素特征处理步骤：生成像素级别的特征分割图；草图轮廓点集特征处理步骤：得到特征点级的分割图；融合步骤：通过多数据融合的草图分割深度学习网络SPFusionNet将SPointNet网络和SketchNet网络两种格式不同的输出结果统一转化为基于像素的分割结果，得到最终的草图分割结果。本发明专利技术有益效果是：本发明专利技术通过SketchNet网络处理草图图像并转换为像素级的特征图，通过SPointNet网络将草图转换为点集最终得到点级的分割结果图，通过对草图点集特征和像素信息特征进行融合，从而提高图像分割的准确率。

A sketch image segmentation method, system, device and storage medium based on multi data fusion

【技术实现步骤摘要】
一种多数据融合的草图图像分割方法、系统、装置及存储介质
本专利技术涉及图像处理
，尤其涉及一种多数据融合的草图图像分割方法、系统、装置及存储介质。
技术介绍
随着数字技术的快速发展和数码设备的广泛普及，以图像、视频、三维模型等为代表的可视媒体数据呈现出了爆发式的增长态势。这些数据不仅体量庞大，种类繁多，而且信息模态和结构也存在着巨大差异。如何有效地管理、存储和访问这些数字资源已经成为计算机多媒体领域所面临的重要挑战。作为协助人们从海量数据仓储中获取有价值信息的重要手段，信息检索技术已经引起了广泛关注并得到了系统深入地研究。然而，由于可视媒体内容的特点，传统的基于关键词和内容的检索技术仍然存在着很大的局限性。触控设备和人机交互技术的巨大进步使得基于手绘草图的跨域检索技术成为可能。同时，通过对草图部件进行分割，并通过草图分割的部件和图像或者三维模型分割的部件建立部件之间的对应关系进行三维模型的检索，该算法成功的应用了草图精细化分析的结果。草图的应用分析也成为计算机视觉和图形领域的一个活跃的研究课题。其中，草图分割是精细化草图分析的一个重要步骤，主要任务是把草图分割为具有语义的部件，然后识别出每个部件完成对草图内容、语义的理解。目前，草图分割与标注被广泛的应用于诸多领域，如草图部件建模[1]，草图编辑[2]，草图解析[3]。同时，手绘草图分割问题推动了许多新颖的应用，如草图字幕[4]，基于手绘草图部件的三维模型检索[5]和草图的生成[6]。深度卷积神经网络最近几年在图像分割领域得到了广泛的应用，特别是处理具有丰富信息的自然图像，能充分引用图像的不同层次的特征信息从而得到图像的语义分割。然而，对于草图语义分割来说是一项非常具有挑战性的任务。虽然草图是一种简单的图像，但是草图不同于图像，草图包含有非常稀疏和单一的像素信息，并且草图是一种特殊的几何结构，尤其是当草图笔画不完整、笔画抖动强烈、抽象性程度高和歧义性大的时候，会使得对草图的分割变得更加困难，从而造成各个部件之间的语义模糊。因此，同时探索草图的像素信息和草图轮廓的几何结构对草图语义分割准确率的提高是一项值得研究的重要内容。现有技术一的技术方案：目前图像分割领域最具有代表性的是Chen等人[7]提出的Deeplab卷积网络通过改进FCN[8]中卷积和上采样操作导致的图像特征丢失问题。如图1所示，利用带孔的卷积(AtrousConvolution)，增加特征密度，多孔卷积可以在深度卷积网络中计算特征响应时，有效的增加了网络的感受野捕获到更多的图像特征信息合成有效的细节特征，而且不会增加参数数量或计算量。通过结合空洞卷积与双线性插值将低分辨率图在保证完整特征信息的基础之上还原为原图大小，并且可以采用不同尺度的空洞卷及操作捕获图像的特征。并且在最后采用后处理的方式连接一个CRF模型，增强对物体边界的处理，进一步提升了该模型抓取细节特征的能力，优化了分割效果。基于DeepLab图像分割的步骤如下：(1)输入一张任意大小的自然图片；(2)采用了FCN得到粗糙分割图并插值到原图像大小；(3)通过空洞卷积(Atrousconvolution)算法应用到图像分割模型上来扩展感受野，获取更多的上下文特征信息；(4)采用完全连接条件随机场(FullyConnectedCRFs)模型对从FCN得到的分割结果进行更细腻的分割。现有技术二的技术方案：基于多尺度深度学习的草图部件分割MCPNet[9](Multi-columnPoint-CNN)网络与传统图像分割方法不同的是，MCPNet并没有直接去处理草图像素信息，而是将草图的轮廓线转换为点集并通过二维的点集卷积神经网络进行特征点的学习。同时，利用不同尺度大小的滤波器，将具有相似几何结构的特征点集中在一起，学习不同特征点之间的全局空间结构和局部结构关系，输出每个点的语义部件标签。基于点集特征的草图分割的步骤如下：(1)草图轮廓转变为坐标点集；(2)点集的深度学习表示；(3)多尺度的草图部件分割方法。现有技术一和二的草图分割有两方面的缺陷：1.较低的基于轮廓点集特征的分割准确率:基于多尺度的深度学习网络MCPNet，通过该网络可以获取草图轮廓点的局部和全局特征信息来解决草图分割准确率问题。然而，由于草图的高度抽象性以及绘画过程导致的草图噪声给草图分割技术带来巨大的挑战。同时，SPointNet网络框架是建立在草图轮廓特征点集上的，轮廓点采样的方式对分割的结果影响很大。此外，MCPNet关注的是草图本身的几何结构信息，却忽视了草图的像素特征信息。2.较低的基于图像像素特征的分割准确率:随着深度学习在图像分割领域的发展，提出了越来越多的基于深度学习的图像分割模型[10]，它们非常适合处理色彩和纹理信息都很丰富的自然图像。相反，草图作为一种高度抽象的，像素信息极其稀少的图像，而且大部分的草图只有简单的黑白两种曲线构成，而且背景区域占了整张草图的绝大部分区域。因此，直接使用现有的深度神经网络进行草图分割得到的结果并不能达到令人满意的分割效果。缩略语和关键术语定义:1)SketchSegmentation：草图分割。2)ImageSegmentation：图像分割。3)SketchNet(Multi-columnPoint-CNN)：多尺度点云卷积草图分割。1)SPointNet(SketchSegmentationdatabase)：草图分割数据集。2)SPFusionNet：点云分割网络。3)SIER(SpatialInvarianceEnhancedResidual)空间不变性增强残差结构。4)P-metric(Pixel-basedaccuracy)：像素的准确率。5)C-metric(Component-basedaccuracy)：部件的准确率。参考文献：[1]L.Fan,R.Wang,L.Xu,J.Deng,andL.Liu,“Modelingbydrawingwithshadowguidance,”ComputerGraphicsForum,Vol.32,No.7,2013,157～166.[2]G.Noris,D.Sykora,A.Shamir,S.Coros,A.Hornung,R.Sumner,M.Simmons,B.Whited,andM.Gross,“Smartscribblesforsketchsegmentation,”ComputerGraphicsForum,Vol.31,No.8,2012,2516～2527.[3]R.K.Sarvadevabhatla,I.Dwivedi,A.Biswas,S.Manocha,andR.V.Babu,“Sketchparse:Towardsrichdescriptionsforpoorlydrawnsketchesusingmul本文档来自技高网...

【技术保护点】
1.一种多数据融合的草图图像分割方法，其特征在于，包括如下步骤：/n草图像素特征处理步骤：通过SketchNet网络处理草图图像像素信息，SketchNet网络以编码器-解码器的方式工作，在编码阶段，利用空间不变性增强残差结构学习和提取层次抽象的特征表示，然后，在解码阶段将多级表示结合在一起，以生成像素级别的特征分割图；/n草图轮廓点集特征处理步骤：通过SPointNet网络处理草图轮廓线的几何结构信息，SPointNet网络计算草图轮廓点的几何特征，图像经过多次卷积操作以后使得图像的分辨率逐渐降低，然后通过上采样，将低分辨率的图像放大到与原始图像分辨率相同，得到特征点级的分割图；/n融合步骤：通过多数据融合的草图分割深度学习网络SPFusionNet将SPointNet网络和SketchNet网络两种格式不同的输出结果统一转化为基于像素的分割结果，使用1×1卷积层得到像素级的概率分割图得到最终的草图分割结果。/n

【技术特征摘要】
1.一种多数据融合的草图图像分割方法，其特征在于，包括如下步骤：
草图像素特征处理步骤：通过SketchNet网络处理草图图像像素信息，SketchNet网络以编码器-解码器的方式工作，在编码阶段，利用空间不变性增强残差结构学习和提取层次抽象的特征表示，然后，在解码阶段将多级表示结合在一起，以生成像素级别的特征分割图；
草图轮廓点集特征处理步骤：通过SPointNet网络处理草图轮廓线的几何结构信息，SPointNet网络计算草图轮廓点的几何特征，图像经过多次卷积操作以后使得图像的分辨率逐渐降低，然后通过上采样，将低分辨率的图像放大到与原始图像分辨率相同，得到特征点级的分割图；
融合步骤：通过多数据融合的草图分割深度学习网络SPFusionNet将SPointNet网络和SketchNet网络两种格式不同的输出结果统一转化为基于像素的分割结果，使用1×1卷积层得到像素级的概率分割图得到最终的草图分割结果。


2.根据权利要求1所述的草图图像分割方法，其特征在于，在所述融合步骤中，将SketchNet网络和SPointNet网络的输出结果统一转换为基于像素级的分割结果，然后将SketchNet网络和SPointNet网络的分割结果进行级联操作，最后，使用1×1卷积层得到像素级的概率分割图得到最终的草图分割结果。


3.根据权利要求1所述的草图图像分割方法，其特征在于，在所述草图像素特征处理步骤中，空间不变性增强残差结构包括空间变换模块和残差学习模块，空间变换模块包括本地网络、网格生成器和采样器，
所述本地网络用于将将输入的图片经过若干卷积或者全连接操作后连接一个回归层输出变换参数；
网格生成器是依据预测的变换参数来构建一个采样网格，它是一组输入图像中的点经过采样变换后得到的输出，网格生成器用于将目标图V中的坐标位置，通过矩阵运算，计算出目标图V中的每个位置对应原图U中的坐标位置；
采样器利用采样网格和输入的特征图同时作为输入得到输出结果，输出的特征图上每一个像素点都会通过空间变换到对应到输入特征图的某个像素位置；
残差学习模块通过恒等映射函数H(x)＝x保证随着SPFusionNet网络层数的增加不会造成精度下降。


4.根据权利要求3所述的草图图像分割方法，其特征在于，
所述编码器包括三个残差块和两个仿射不变块，第一个残差块是由3个通道数为64的残差项和4个通道数为128的残差项组成,第二残差块由6个通道为256的残差项组成，第三个残差块是由3个通道为512的残差项组成，所有残差块的卷积核大小都为3×3；SktchNet输入的图片大小为3×800×800，通过以上阶段，最后一个残差块输出的特征大小为128×25×25，图像的分辨率缩小了1/32；在卷积化过程中分别在残差块的第一阶段和第二阶段嵌入了一个仿射不变块，第二和第三阶段也同样增加了仿射不变块；
所述解码器:为了得到和原图等大的分割图，总共进行了2×2×8＝32倍的上采样，得到三个不同的特征图Uk,k＝1,2,3。


5.根据权利要求1所述的草图图像分割方法，其特征在于，在所述草图轮廓点集特征处理步骤...

【专利技术属性】
技术研发人员：汪飞，盛建强，蔡铁，
申请(专利权)人：深圳信息职业技术学院，
类型：发明
国别省市：广东;44