一种基于类编解码结构的草图语义分割方法技术

本发明专利技术涉及一种基于类编解码结构的草图语义分割方法，属于计算机视觉技术领域。具体地，将草图视为二维点集合，通过利用笔画内部结构和采样点的空间位置关系开发了新颖的局部特征聚集模块，该模块编码了丰富的局部特征，并定义了笔画距离，用于兼顾草图的二维空间分布和笔画结构；设计了线段层次自注意力模块用于建立和增强草图线段之间的关系，线段层次自注意力模块更好地描述了草图的内部结构；基于全局注意力机制，提出了末尾具有两个子分支的类编解码结构，包括：点层次子分支和线段层次子分支；最终，两个子分支的输出融合在一起生成语义分割结果。本发明专利技术相对于已存在的方法，具有更精准的分割结果和较高的鲁棒性。具有更精准的分割结果和较高的鲁棒性。具有更精准的分割结果和较高的鲁棒性。

【技术实现步骤摘要】
一种基于类编解码结构的草图语义分割方法


[0001]本专利技术涉及一种基于类编解码结构的草图语义分割方法，属于计算机视觉


技术介绍

[0002]草图是一种最直观最原始的交流方式之一，从远古时期一直受到人类的欢迎。最近几年，随着触屏设备的普及和绘画程序的出现，人们通过草图绘制创作了不少作品。与图像明显不同，草图具有稀疏性，并有多个抽象层次。目前，有关草图的相关研究包括：草图识别，基于草图的图像检索，基于草图的3D模型检索，草图语义分割和草图标注等。其中，草图语义分割对理解草图内容起着重要作用，因此，草图语义分割在实现其他有关草图的视觉任务中扮演了重要角色。当前的草图语义分割方法主要基于深度学习方法实现。依据草图输入的具体形态和格式，相关方法被大体分为三大类：基于序列的方法、基于图像的方法和基于点的方法。基于序列的方法，将草图当成笔画序列，并基于序列模型，如：RNN等编码草图特征。基于图像的方法，直接将草图语义分割问题转化为图像语义分割问题，并通过建立结合草图特点的卷积神经网络解决。这种方法将草图只看成静态图像，因此丢失了笔画信息。基于点的方法将草图当成一个点集合，通过不断聚集局部特征，并使用这些特征建立编解码结构生成基于点的语义分割图。为了方便起见，本专利技术将不断聚集局部特征的模块称为局部特征聚集模块。传统的局部特征聚集模块在感知采样点的周围区域时，忽略了笔画的内部结构和笔画的连续性，因此本专利技术定义了笔画距离，并随机使用欧式距离和笔画距离来感知采样点的周围区域，这使得新颖的局部特征聚集模块符合草图的二维空间分布和笔画结构。与此同时，传统的局部特征聚集模块通常只编码了绝对位置信息和中间阶段特征。本专利技术提出新颖的局部模块编码了丰富的信息，包括：绝对位置信息、相对位置信息、中间阶段特征和笔画信息等，而这些丰富的信息对草图语义理解具有重要作用。与传统草图语义分割方法相比，所提方法更注重草图内部线段与线段的关系，基于多头自注意力思想，提出线段层次自注意力模块用于建立和加强线段之间的关系。进一步地，本专利技术提出了类编解码结构，类编解码结构由编码阶段和解码阶段构成，编码阶段使用新颖的局部特征聚集模块对草图特征进行编码，解码阶段基于这些草图特征生成语义分割图。类编解码结构与传统的编解码结构有两点不同之处，第一，在编解码的过程中，不对采样点进行下采样和上采样操作。第二，通过收集若干个关键阶段的特征，实现全局多尺度机制。相对于传统方法而言，所提方法同时关注点层次语义和线段层次语义。综上所述，本专利技术的方法解决了传统方法未解决的几个关键问题，包括：(1)编码过程未注重笔画的连续性和内部结构；(2)编码信息内容不充分，尤其是对语义重要的信息；(3)未实现全局注意力机制，编码解码过程中丢掉了关键点特征；(4)未注重草图内部结构，尤其是线段与线段的关系。

技术实现思路

[0003]本专利技术的目的在于提供一种基于类编解码结构的草图语义分割方法，该方法输入
为点集合，训练方法简单，是基于一种端到端网络的方法。本专利技术从“点”角度和“线段”角度共同标注草图上任意一点的语义，相比传统方法，该方法更注重笔画结构，及草图中线段与线段的关系。另外，方法还编码了大量的有用信息显著提高了草图特征的语义区分能力。
[0004]为实现上述目的，本专利技术采用的技术方案是：
[0005]一种基于类编解码结构的草图语义分割方法，包括如下步骤：
[0006](1)点格式数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；
[0007](2)构建草图语义分割模型：构建类编解码结构；类编码结构的编码阶段包括若干个局部特征聚集模块，解码阶段包括若干个多层感知机和在末尾的两个子分支，所述两个子分支包括：点层次子分支和线段层次子分支。其中，在线段层次子分支基于多头注意力机制设计了线段层次自注意力模块，用于建立和增强草图中线段与线段的关系。
[0008](3)训练草图语义分割模型：点层次子分支和线段层次子分支分别连接两个交叉熵损失，两个交叉熵损失联合用于引导草图语义分割模型的训练。相关的损失表示为：
[0009]L＝L
point
‑
level
+L
segment
‑
level
[0010][0011][0012]其中，L
point
‑
level
是点层次损失，L
segment
‑
level
是线段层次损失。y
i,j
是一个独热向量，即当y
i,j
的语义为k时，y
i,j,k
为1，而y
i,j
向量的其他所有元素都为0。
[0013](4)获取语义分割结果：将测试的样本即一个含有N个点的点集合输入至已训练好的语义分割模型，点层次子分支会生成点层次语义分割图，线段层次子分支会生成线段层次语义分割图，将点层次语义分割图与线段层次语义分割图融合，获得最终的分割结果。
[0014]进一步地，所述新颖的局部特征聚集模块的内部包含了两个基本处理步骤，包括：使用区域感知过程P获取采样点的周围区域。基于采样点和所获取的周围区域使用特征计算过程C编码采样点的特征。
[0015]进一步地，所述的区域感知过程P，其特征在于，区域感知过程P随机使用欧式距离或笔画距离并结合K近邻算法来获取采样点的周围区域。具体地，笔画距离定义如下：
[0016][0017]其中，(x
i
,y
i
)为采样点p
i
的坐标，(x
ij
,y
ij
)为p
i
周围任意一点p
ij
的坐标，s
i
和s
ij
为p
i
和p
ij
的所属笔画ID，m为缩放因子，且m满足以下公式：
[0018][0019]其中，w为草图的宽度，h为草图的高度。进一步地，所述的特征计算过程C，其特征在于，对p
i
的周围区域进行编码，编码过程捕捉了丰富草图信息，包括：绝对位置信息、相对位置信息、中间阶段特征、距离信息和笔画信息等，具体表示如下：
[0020][0021]其中，f
i
和f
ij
分别为p
i
和p
ij
的中间阶段特征，dist
ij
为p
i
与p
ij
之间的距离，θ
ij
为p
i
与p
ij
之间的角度，s
ij
为p
ij
的笔画ID，M为多层感知机，δ为ReLU函数。
[0022]进一步地，所述线段层次自注意力模块构建和增强了草图中线段与线段之间的关系。给定线段特征f
s
，构建和增强线段之间关系的具体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类编解码结构的草图语义分割方法，其特征在于，包括如下步骤：(1)点格式数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；(2)构建草图语义分割模型：所述草图语义分割模型包括类编解码结构，所述类编解码结构包括编码阶段和解码阶段，所述编码阶段包括若干个局部特征聚集模块，所述解码阶段包括若干个多层感知机以及末尾的两个子分支，所述末尾的两个子分支包括点层次子分支和线段层次子分支，所述线段层次子分支包括基于多头注意力机制的线段层次自注意力模块；(3)训练草图语义分割模型：点层次子分支和线段层次子分支分别连接两个交叉熵损失，两个交叉熵损失联合用于引导草图语义分割模型的训练；所述交叉熵损失表示为：L＝L
point
‑
level
+L
segment
‑
levellevel
其中，L
point
‑
level
是点层次交叉熵损失，L
segment
‑
level
是线段层次交叉熵损失；y
i,j
是一个独热向量，即：当y
i,j
的语义为k时，y
i,j,k
为1，而y
i,j
向量的其他所有元素都为0；(4)获取草图语义分割结果：将测试的样本输入至步骤(3)训练好的草图语义分割模型，点层次子分支生成点层次语义分割图，线段层次子分支生成线段层次语义分割图，将点层次语义分割图与线段层次语义分割图融合，获得最终的分割结果。2.根据权利要求1所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述步骤(2)的局部特征聚集模块的内部包含了两个基本处理步骤，包括：使用区域感知过程P获取采样点的周围区域；基于采样点和所获取的周围区域使用特征计算过程C编码采样点的特征。3.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述区域感知过程P随机使用欧式距离或笔画距离并结合K近邻算法来获取采样点的周围区域；所述笔画距离定义如下：其中，(x
i
,y
i
)为采样点p
i
的坐标，(x
ij
,y
ij
)为p
i
周围任意一点p
ij
的坐标，s
i
和s
ij
为p
i
和p
ij
的所属笔画ID，m是一个缩放因子，且m满足以下公式：其中，w为草图的宽度，h为草图的高度。4.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述特征计算过程C对p
i
的周围区域进行编码，编码过程捕捉了草图信息，所述草图信息包<...

【专利技术属性】
技术研发人员：张世辉，王磊，赵维勃，王威，
申请(专利权)人：燕山大学，
类型：发明
国别省市：