一种基于点-线段层次交互的草图语义分割方法技术

本发明专利技术提出了一种基于点

【技术实现步骤摘要】
一种基于点
‑
线段层次交互的草图语义分割方法


[0001]本专利技术涉及计算机视觉领域，尤其涉及基于深度学习的图像语义分割方法和草图语义分割方法。

技术介绍

[0002]当前，草图语义分割方法主要基于深度学习理论。根据被处理数据的格式，相关方法可分为基于序列的分割方法、基于图像的分割方法和基于点的分割方法。其中，基于点的分割方法由于计算复杂度低逐渐受到学者们的关注，为了方便描述，本专利技术将编码阶段不断提取和聚集局部特征的模块称为局部特征聚集模块。目前，大多数基于点的分割方法通过建立一个基于编解码结构的深度神经网络解决。Yang等人为了更好地捕捉草图特征引入了局部
‑
全局框架，并基于图卷积神经网络提出SketchGNN网络。Wang等人直接将采样点作为输入，提出使用不同尺度的滤波器更好地捕捉草图结构。Wang等人提出多模态数据融合网络SPFusionNet,该网络同时从图像和点集合模态捕捉草图特征。Qi等人通过将草图语义分割问题转化为序列到序列的生成问题，提出端到端的学习网络SketchSegNet+,该网络将点的笔画序列转化为语义标签序列。上述方法都是以点集合为输入的，但在编码点特征时，局部特征聚集模块有一个明显地弱点，即：邻近点对中心点的贡献相同。本专利技术设计了增强型局部特征聚集模块用于增强有用点的正面影响，降低噪点的负面影响。基于增强型局部特征聚集模块，本专利技术建立了一个密集连接的编解码结构。具体地，在编码阶段由四个增强型局部特征聚集模块组成，在解码部分，由三个多层感知机组成，编解码结构通过密集连接尽可能多地涉及高层语义信息。基于编解码结构，本专利技术建立了点层次分支网络和线段层次分支网络，用于同时编码点层次特征和线段层次特征。与此同时，考虑到在复杂编解码的过程中，容易丢失一些重要的语义细节，本专利技术通过计算点层次特征和线段层次特征的关系，设计了点
‑
线段层次交互模块，点
‑
线段层次交互模块被放置在两个分支网络之间，用于增强和补充最终融合特征的语义细节。综上所述，所提方法解决了传统方法未解决的几个关键问题，包括：(1)局部特征聚集模块未编码丰富的语义信息，且未考虑邻近点对中心点的不同影响。(2)不能够充分地同时对点层次特征和线段层次特征进行编码用于草图语义分割。(3)未对编解码过程中重要语义细节丢失进行处理，缺少两个层级之间的交互过程。(4)编解码结构缺乏必要的跳跃连接，每个解码层设计的高层语义较少，缺乏梯度信息跨层流动的能力。

技术实现思路

[0003]本专利技术需要解决的技术问题是提供一种基于点
‑
线段层次交互的草图语义分割方法，该方法输入为点集合和线段集合，训练简单，精准度高，是一种基于深度学习的方法。本专利技术设计了增强型局部特征聚集模块用于提取和聚集草图的局部特征，这使得局部区域内的邻近点对中心点的“贡献”不同。基于增强局部特征聚集模块，本专利技术构建了一个双分支结构用于从点层次和线段层次同时编码和处理草图语义，并且实现了点层次特征和线段层
次特征的交互。
[0004]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于点
‑
线段层次交互的草图语义分割方法，包括如下步骤：
[0005]步骤S1、点层次数据和线段层次数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；利用平均划分方法将同一笔画上的若干个点划分为一个线段，进而将草图样本转化为具有S个线段的线段集合；
[0006]步骤S2、搭建草图语义分割网络：构建一种密集连接的编解码结构，密集连接的编码结构的编码阶段由若干个增强型局部特征聚集模块组成，解码阶段由若干个多层感知机组成；基于密集连接的编解码结构，搭建点层次分支网络和线段层次分支网络；搭建点
‑
线段层次交互模块，并将若干个点
‑
线段层次交互模块放置在点层次分支网络和线段层次分支网络之间，用于点层次特征和线段层次特征的交互；
[0007]步骤S3、训练草图语义分割网络：将点层次分支网络的输出和线段层次分支网络的输出进行融合，具体融合过程如下：
[0008][0009]其中，f
point
和f
segment
分别代表点层次分支网络的输出和线段层次分支网络的输出，f
fusion
代表融合结果，是矩阵变换操作，是矩阵复制操作；将融合结果使用交叉熵损失进行优化，具体过程定义如下：
[0010][0011]其中，y
i,j
是一个独热向量，B代表batch size，N代表采样点的个数，L代表语义标签的个数；
[0012]步骤S4、获取语义分割结果：将由N个点代表的点集合和S个线段代表的线段集合的测试样本输入至已训练好的草图语义分割网络，获得最终的分割结果。
[0013]本专利技术技术方案的进一步改进在于：所述步骤S2中密集连接的编解码结构基于以下特征构建：(1)密集连接的编解码结构对采样点不执行下采样和上采样操作，采样点的个数在编解码的过程中维持不变；(2)密集连接的编解码结构增加了必要的跳跃连接，即：第一层解码层处理倒数第一和倒数第二层编码层特征，第二层解码层处理第一层解码层特征和倒数第三层编码层特征，第三层解码层处理第二层解码层特征和第一、二、三层编码层特征。
[0014]本专利技术技术方案的进一步改进在于：所述步骤S2中增强型局部特征聚集模块的内部包含了四个处理步骤，包括：给定中心点或中心线段，使用信息收集过程C获取邻近点或邻近线段需要被编码的信息；使用多层感知机进行编码；基于两种距离信息，使用权重解析过程W获取邻近点或邻近线段对中心点和中心线段的权重信息。依据每个邻近点或邻近线段的权重信息，使用多层感知机获得最终的中心点或中心线段的局部特征。
[0015]本专利技术技术方案的进一步改进在于：所述信息收集过程C的信息收集过程包括两个步骤：
[0016](1)基于欧式距离使用K近邻算法决定中心点或中心线段的局部区域，获取中心点的邻近区域的计算过程如下：
[0017][0018]其中argmin指获取与中心点最近的k个点，(x
1,i
,x
2,i
)是中心点的坐标，(x
1,ij
,x
2,ij
)是中心点任意一邻近点的坐标；中心线段由s个点组成，因此，中心线段表示为2
×
s维空间内的一个点，因此，中心线段的周围区域可以使用如下公式获得：
[0019][0020]其中，n是线段的维数，n等于2
×
s；
[0021](2)获取局部区域内所有点或所有线段的编码信息，被编码的信息被表示如下：
[0022][0023]其中，c
i
代表中心点或中心线段的位置信息，c
ij
‑
c
i
代表邻近点或邻近线段的相对位置信息，f
i
...

【技术保护点】

【技术特征摘要】
1.一种基于点
‑
线段层次交互的草图语义分割方法，其特征在于，包括如下步骤：步骤S1、点层次数据和线段层次数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；利用平均划分方法将同一笔画上的若干个点划分为一个线段，进而将草图样本转化为具有S个线段的线段集合；步骤S2、搭建草图语义分割网络：构建一种密集连接的编解码结构，密集连接的编码结构的编码阶段由若干个增强型局部特征聚集模块组成，解码阶段由若干个多层感知机组成；基于密集连接的编解码结构，搭建点层次分支网络和线段层次分支网络；搭建点
‑
线段层次交互模块，并将若干个点
‑
线段层次交互模块放置在点层次分支网络和线段层次分支网络之间，用于点层次特征和线段层次特征的交互；步骤S3、训练草图语义分割网络：将点层次分支网络的输出和线段层次分支网络的输出进行融合，具体融合过程如下：其中，f
point
和f
segment
分别代表点层次分支网络的输出和线段层次分支网络的输出，f
fusion
代表融合结果，是矩阵变换操作，是矩阵复制操作；将融合结果使用交叉熵损失进行优化，具体过程定义如下：其中，y
i,j
是一个独热向量，B代表batch size，N代表采样点的个数，L代表语义标签的个数；步骤S4、获取语义分割结果：将由N个点代表的点集合和S个线段代表的线段集合的测试样本输入至已训练好的草图语义分割网络，获得最终的分割结果。2.根据权利要求1所述的基于点
‑
线段层次交互的草图语义分割方法，其特征在于：所述步骤S2中密集连接的编解码结构基于以下特征构建：(1)密集连接的编解码结构对采样点不执行下采样和上采样操作，采样点的个数在编解码的过程中维持不变；(2)密集连接的编解码结构增加了必要的跳跃连接，即：第一层解码层处理倒数第一和倒数第二层编码层特征，第二层解码层处理第一层解码层特征和倒数第三层编码层特征，第三层解码层处理第二层解码层特征和第一、二、三层编码层特征。3.根据权利要求1所述的一种基于点
‑
线段层次交互的草图语义分割方法，其特征在于：所述步骤S2中增强型局部特征聚集模块的内部包含了四个处理步骤，包括：给定中心点或中心线段，使用信息收集过程C获取邻近点或邻近线段需要被编码的信息；使用多层感知机进行编码；基于两种距离信息，使用权重解析过程W获取邻近点或邻近线段对中心点和中心线段的权重信息。依据每个邻近点或邻近线段的权重信息，使用多层感知机获得最终的中心点或中心线段的局部特征。4.根据权利要求3所述的一种基于点
‑
线段层次交互的草图语义分割方法，其特征在于：所述信息收集过程C的信息收集过程包括两个步骤：(1)基于欧式距离使用K近邻算法决定中心点或中心线段的局部区域，获取中心点的邻近区域的计算过程如下：
其中argmin指获取与中心点最近的k个点，(x
...

【专利技术属性】
技术研发人员：张世辉，王磊，王奭，韩雪强，
申请(专利权)人：燕山大学，
类型：发明
国别省市：