一种基于双层次结构的草图识别方法技术

本发明专利技术公开了一种基于双层次结构的草图识别方法，针对目前多数草图识别方法未考虑形状特征的现状，该方法提出利用双层次结构同时编码形状特征和视觉特征用于草图识别。包括：获取两种格式的草图样本，基于卷积神经网络提取深度特征的层次化思想构建多层次形状网络，通过构建多尺度残差块、内层残差块和外层残差块搭建多层次视觉网络。基于草图样本，使用交叉熵损失训练形状网络，使用交叉熵损失和权重压缩三元组中心损失训练视觉网络。将形状网络、视觉网络与乘法融合层结合获取双层次结构。最后，将草图测试样本输入双层次结构进行识别测试。本发明专利技术不要求草图样本含有笔画信息，且无需微调过程，训练过程简单，草图识别效果具有明显优势。果具有明显优势。果具有明显优势。

【技术实现步骤摘要】
一种基于双层次结构的草图识别方法


[0001]本专利技术属于计算机视觉领域，尤其涉及基于一种基于双层次结构的草图识别方法。

技术介绍

[0002]与图像明显不同，草图具有较高的抽象性，通常只包含物体的轮廓信息和一些简单的细节。因此，用形状特征和视觉特征共同表达草图内容更为合理。然而，之前的研究成果很少同时考虑这两种关键特征。相关的研究方法主要包括手工特征方法和深度学习方法。其中，手工特征方法主要依据图像识别的关键技术，设计手工特征并结合用于局部特征的聚合表征方法生成草图视觉特征，最终训练分类器进行分类识别。而深度学习方法通常结合草图的特点或性质如：笔画序列信息，“线段
‑
笔画
‑
草图”的层次关系，草图稀疏性等，设计卷积神经网络、循环神经网络、Transformer等结构实现草图识别。尽管深度学习方法已经超过人类水平，但据我们所知，多数深度学习方法存在以下问题：1、需要训练的数据集通常包含笔画序列信息。2、缺乏对形状特征的描述。3、训练方法及过程较为繁琐。4、受噪声样本影响较大。为了提高草图识别方法的性能，同时能够解决上述问题，本专利技术提出了一种简单而高效的基于双层次结构的草图识别方法，其中，双层次结构保证该识别方法可以同时结合形状特征和视觉特征，乘法融合层可以保证所提结构近似为一种端到端网络使训练过程更为简洁，而权重压缩三元组中心损失降低了噪声样本的负面影响。

技术实现思路

[0003]本专利技术为了解决上述缺陷，提出一种基于双层次结构的草图识别方法。
[0004]为解决上述技术问题，本专利技术所采用的技术方案是：
[0005]一种基于双层次结构的草图识别方法，该方法包括：
[0006]获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合；
[0007]基于卷积神经网络提取深度特征的层次化思想构建多层次形状网络；
[0008]通过构建多尺度残差块、内层残差块和外层残差块搭建多层次视觉网络；
[0009]利用交叉熵损失训练多层次形状网络，利用交叉熵损失和权重压缩三元组中心损失训练多层次视觉网络；
[0010]将训练后的多层次形状网络、多层次视觉网络与乘法融合层结合，获得双层次结构，并将两种格式的草图样本输入至双层次结构获得识别结果。
[0011]进一步：所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合包括：
[0012]对所述草图样本增强处理，获得二维图像，其中，所述草图样本增强处理包括对草图样本进行缩放，对缩放后的草图样本进行向左或向右进行旋转，对旋转后的草图样本进行随机水平翻转，对随机水平翻转的草图样本进行随机裁剪。
[0013]进一步：所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集
合还包括：通过最远点采样法对所述二维图像进行处理，获得二维点集合。
[0014]进一步：所述双层次结构包括：多层次形状网络、多层次视觉网络、权重压缩三元组中心损失和乘法融合层。
[0015]进一步：所述多层次形状网络依据卷积神经网络提取深度特征的基本思想，通过不断地选择计算点并聚合计算点的局部特征构建层次化形状网络，所述多层次形状网络包括四个点卷积块，一个池化层和两个全连接层。
[0016]进一步：点卷积块可以降低草图中点的个数并提取点特征，点卷积块包括三个关键部分：点选择方法，点卷积核的确定，点卷积计算方法，其中：
[0017]点选择方法，采用最远点采样法决定参与点卷积运算的中心点，四个点卷积块采用最远点采样法将草图逐步在空间维度上进行降维；
[0018]点卷积核的确定，通过k近邻算法基于欧式距离获取中心点的周围邻域，并将该邻域做为点卷积核的感受野范围；
[0019]点卷积计算方法，点卷积块通过一个两层感知机和一个最大池化层进行点卷积运算，感知机可以改变通道维度，使其生成新维度的特征，最大池化层，可以从周围邻域选择最大值作为局部特征。
[0020]进一步：所述权重压缩三元组中心损失函数为：
[0021][0022][0023][0024][0025][0026]其中，x
i
∈R
d
为第i个草图特征，为x
i
所属类型y
i
的特征中心，c
j
∈R
d
为异类特征中心，为被随机选出的负中心，d为特征维数，D(
·
)为欧式距离。
[0027]进一步：所述训练多层次形状网络通过所述二维点集合对所述多层次形状网络训练；
[0028]所述训练多层次视觉网络通过所述二维图像对所述多层次视觉网络训练，其中，在训练视觉网络的过程中，更新草图特征和特征中心是关键，本专利技术分别求出权重压缩三元组中心损失对草图特征和特征中心的导数，其过程如下：
[0029]k类的型特征中心的更新公式如下：
[0030][0031]其中，x
i
为草图特征，y
i
和y
j
为草图类型，η∈[0，1]是学习率，的值依据样本的类型是否为k被设置为0或1，草图特征的更新公式如下：
[0032][0033]视觉网络使用的联合损失函数为：
[0034]L
j
＝L
sm
+λL
wct
[0035]其中，λ是平衡参数，L
sm
是交叉熵损失函数。
[0036]进一步：所述将训练后的所述多层次形状网络、多层次视觉网络与乘法融合层进行结合，获得双层次结构，并将两种格式的草图样本输入双层次结构获得识别结果，包括：
[0037]将二维图像格式的草图样本输入至双层次结构的视觉分支获取视觉特征；
[0038]将二维点集合格式的草图样本输入至双层次结构的形状分支获取形状特征；
[0039]将视觉特征与形状特征逐元素相乘，获得分数向量；
[0040]通过softmax函数对分数向量进行归一化和分类，得到双层次结构草图识别结果。
[0041]由于采用了上述技术方案，本专利技术取得的技术进步是：
[0042]本专利技术识别的草图为静态图，与现有的草图识别方法相比，不要求草图样本含有笔画序列信息，这无疑降低了草图样本的要求，使该方法应用更为广泛。
[0043]本专利技术基于草图的属性，同时融合了形状特征与视觉特征作为草图特征，形状特征的重要性在之前的文献中很少被考虑，也因此，本专利技术具有较高的识别率。
[0044]本专利技术提出了一种新的损失函数
‑
权重压缩三元组中心损失函数，该损失函数对草图特征的类内空间进行了充分压缩，并保持了合理的类间空间，同时，基于草图特征的性质和统计学知识将噪声样本对性能的影响降低到最小。
[0045]本专利技术提出了一种简单而高效的特征融合层
‑
乘法融合层，该融合层计算简单而高效，与其他融合方法相比，该融合层使网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层次结构的草图识别方法，其特征在于，该方法包括：获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合；基于卷积神经网络提取深度特征的层次化思想构建多层次形状网络；通过构建多尺度残差块、内层残差块和外层残差块搭建多层次视觉网络；利用交叉熵损失训练多层次形状网络，利用交叉熵损失和权重压缩三元组中心损失训练多层次视觉网络；将训练后的多层次形状网络、多层次视觉网络与乘法融合层结合，获得双层次结构，并将两种格式的草图样本输入至双层次结构获得识别结果。2.根据权利要求1所述的一种基于双层次结构的草图识别方法，其特征在于，所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合包括：通过数据增强方法对训练样本进行扩充，获得二维图像，其中，所述草图样本增强方法的处理过程包括对草图样本进行缩放，对缩放后的草图样本进行向左或向右进行旋转，对旋转后的草图样本进行随机水平翻转，对随机水平翻转的草图样本进行随机裁剪。3.根据权利要求1或2所述的一种基于双层次结构的草图识别方法，其特征在于，所述获得两种格式的草图样本，所述草图样本包括二维图像和二维点集合还包括：通过最远点采样法对所述二维图像进行处理，获得二维点集合。4.根据权利要求1所述的一种基于双层次结构的草图识别方法，其特征在于，所述双层次结构包括：多层次形状网络、多层次视觉网络、权重压缩三元组中心损失和乘法融合层。5.根据权利要求4所述的一种基于双层次结构的草图识别方法，其特征在于，所述多层次形状网络依据卷积神经网络提取深度特征的基本思想，通过不断地选择计算点并聚合计算点的局部特征构建层次化形状网络，所述多层次形状网络包括四个点卷积块，一个池化层和两个全连接层。6.根据权利要求5所述的一种基于双层次结构的草图识别方法，其特征在于，所述点卷积块可以降低草图中点的个数并提取点特征，点卷积块包括三个关键部分：点选择方法，点卷积核的确定，点卷积计算方法，其中：点选择方法，采用最远点采样法决定参与点卷积运算的中心点，四个点卷积块采用最远点采样法将草图逐步在空间维度上进行降维；点卷积核的确定，通过k近邻算法基于欧式距离获取中心点的周围邻域，并将该邻域做为点卷积核的感受野范围；点卷积计算方法，点卷积块通过一个两层感...

【专利技术属性】
技术研发人员：张世辉，王磊，左东旭，杨永亮，王奭，
申请(专利权)人：燕山大学，
类型：发明
国别省市：