一种基于类编解码结构的草图语义分割方法技术

本发明专利技术涉及一种基于类编解码结构的草图语义分割方法，属于计算机视觉技术领域。具体地，将草图视为二维点集合，通过利用笔画内部结构和采样点的空间位置关系开发了新颖的局部特征聚集模块，该模块编码了丰富的局部特征，并定义了笔画距离，用于兼顾草图的二维空间分布和笔画结构；设计了线段层次自注意力模块用于建立和增强草图线段之间的关系，线段层次自注意力模块更好地描述了草图的内部结构；基于全局注意力机制，提出了末尾具有两个子分支的类编解码结构，包括：点层次子分支和线段层次子分支；最终，两个子分支的输出融合在一起生成语义分割结果。本发明专利技术相对于已存在的方法，具有更精准的分割结果和较高的鲁棒性。具有更精准的分割结果和较高的鲁棒性。具有更精准的分割结果和较高的鲁棒性。

【技术实现步骤摘要】
一种基于类编解码结构的草图语义分割方法


[0001]本专利技术涉及一种基于类编解码结构的草图语义分割方法，属于计算机视觉


技术介绍

[0002]草图是一种最直观最原始的交流方式之一，从远古时期一直受到人类的欢迎。最近几年，随着触屏设备的普及和绘画程序的出现，人们通过草图绘制创作了不少作品。与图像明显不同，草图具有稀疏性，并有多个抽象层次。目前，有关草图的相关研究包括：草图识别，基于草图的图像检索，基于草图的3D模型检索，草图语义分割和草图标注等。其中，草图语义分割对理解草图内容起着重要作用，因此，草图语义分割在实现其他有关草图的视觉任务中扮演了重要角色。当前的草图语义分割方法主要基于深度学习方法实现。依据草图输入的具体形态和格式，相关方法被大体分为三大类：基于序列的方法、基于图像的方法和基于点的方法。基于序列的方法，将草图当成笔画序列，并基于序列模型，如：RNN等编码草图特征。基于图像的方法，直接将草图语义分割问题转化为图像语义分割问题，并通过建立结合草图特点的卷积神经网络解决。这种方法将草图只看成静态图像，因此丢失了笔画信息。基于点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类编解码结构的草图语义分割方法，其特征在于，包括如下步骤：(1)点格式数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；(2)构建草图语义分割模型：所述草图语义分割模型包括类编解码结构，所述类编解码结构包括编码阶段和解码阶段，所述编码阶段包括若干个局部特征聚集模块，所述解码阶段包括若干个多层感知机以及末尾的两个子分支，所述末尾的两个子分支包括点层次子分支和线段层次子分支，所述线段层次子分支包括基于多头注意力机制的线段层次自注意力模块；(3)训练草图语义分割模型：点层次子分支和线段层次子分支分别连接两个交叉熵损失，两个交叉熵损失联合用于引导草图语义分割模型的训练；所述交叉熵损失表示为：L＝L
point
‑
level
+L
segment
‑
levellevel
其中，L
point
‑
level
是点层次交叉熵损失，L
segment
‑
level
是线段层次交叉熵损失；y
i,j
是一个独热向量，即：当y
i,j
的语义为k时，y
i,j,k
为1，而y
i,j
向量的其他所有元素都为0；(4)获取草图语义分割结果：将测试的样本输入至步骤(3)训练好的草图语义分割模型，点层次子分支生成点层次语义分割图，线段层次子分支生成线段层次语义分割图，将点层次语义分割图与线段层次语义分割图融合，获得最终的分割结果。2.根据权利要求1所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述步骤(2)的局部特征聚集模块的内部包含了两个基本处理步骤，包括：使用区域感知过程P获取采样点的周围区域；基于采样点和所获取的周围区域使用特征计算过程C编码采样点的特征。3.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述区域感知过程P随机使用欧式距离或笔画距离并结合K近邻算法来获取采样点的周围区域；所述笔画距离定义如下：其中，(x
i
,y
i
)为采样点p
i
的坐标，(x
ij
,y
ij
)为p
i
周围任意一点p
ij
的坐标，s
i
和s
ij
为p
i
和p
ij
的所属笔画ID，m是一个缩放因子，且m满足以下公式：其中，w为草图的宽度，h为草图的高度。4.根据权利要求2所述的一种基于类编解码结构的草图语义分割方法，其特征在于，所述特征计算过程C对p
i
的周围区域进行编码，编码过程捕捉了草图信息，所述草图信息包<...

【专利技术属性】
技术研发人员：张世辉，王磊，赵维勃，王威，
申请(专利权)人：燕山大学，
类型：发明
国别省市：