草图图像语义分割方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种草图图像语义分割方法、装置、终端设备及存储介质，包括：获取一草图图像；将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像；对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像；将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型；将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果，能有效解决使用现有模型将位于一条连续线条上的像素被划分为多个类导致错误分割的问题，大大提高了图像语义分割的准确度。

【技术实现步骤摘要】
草图图像语义分割方法、装置、终端设备及存储介质
本专利技术涉及图像语义分割
，尤其涉及草图图像语义分割方法、装置、终端设备及存储介质。
技术介绍
语义分割问题与分类问题类似，不过语义分割是像素级别的分类，对图像中每一个像素都要给出其所属的类。当前语义分割以面向自然图像的分割为主，面向草图的语义分割则比较小众。由于草图中具备信息的像素(黑色像素)少，因此在处理时需要有与面向自然图像分割不一样的处理过程(如对背景类的忽略的预处理)，但主要操作一致。当前面向草图的语义分割方法大致分为传统方法与基于深度学习方法两大类，其中现有的基于深度学习的方法基本使用由卷积以及逆卷积组成的神经网络模型(如DeepLab系列模型)来自动提取图像特征，并预测图像中每一个像素所属的类别。模型在正式使用之前需要使用相应草图图像数据集(如SketchyScene数据集)训练，使得模型具备对草图图像进行语义分割的能力。现有的基于深度学习的面向草图的语义分割技术可以依靠神经网络达到自动提取特征的目的，但在语义分割过程中明显存在以下问题：位于一条连续线条上的像素被划分为多个类，而这条连续线条上的所有像素本应该都属于同一个类。但是，如果使用现有技术下训练好的模型，该草图线条上所有的像素并不都被划分为同一类，相当于本来是一条连续的草图线，经过模型后反而被分割成两段甚至两段以上，极大地影响了草图图像语义分割的准确性。
技术实现思路
本专利技术实施例提供一种草图图像语义分割方法、装置、终端设备及存储介质，能有效解决使用现有模型将位于一条连续线条上的像素被划分为多个类导致错误分割的问题，大大提高了图像语义分割的准确度。本专利技术一实施例提供一种草图图像语义分割方法，包括：获取一草图图像；将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像；对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像；将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型；将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果。在一些实施例中，通过如下步骤构建所述交汇点识别模型，具体包括：获取多张使用多条随机位置形状的贝塞尔曲线填充的待处理草图图像；对所述待处理草图图像进行同步，得到具备草图交汇点的交汇点图像；将所述交汇点图像输入到预设的卷积神经网络进行训练，得到所述交汇点识别模型。在一些实施例中，所述对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像，具体包括：获取所述第一图像中所述交汇点的坐标；将所述草图图像中所述坐标对应位置的像素值设为预设像素值，以从所述草图图像中去除所述交汇点，得到第二图像。在一些实施例中，所述将所述草图图像和所述第二图像组织成训练样本，具体包括：将所述草图图像与所述第二图像在通道维度进行拼接，得到达到预设的通道维度阈值且具有连续草图线条的分割图像，将其作为训练样本。在一些实施例中，所述卷积神经网络由16个残差块组成，每个所述残差块内部使用一个残差连接构成的恒等函数。在一些实施例中，所述将所述交汇点图像输入到预设的卷积神经网络进行训练，得到所述交汇点识别模型，包括：使用第一损失函数对所述卷积神经网络进行训练，所述第一损失函数的公式(1)如下：其中，Loss1为所述第一损失函数，IJ为所述交汇点图像，为所述交汇点识别模型输出的交汇点图像。在一些实施例中，所述基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型，包括：使用第二损失函数对所述神经网络模型进行训练，所述第二损失函数的公式(2)如下：其中，Loss2为所述第二损失函数，y为所述训练样本中的分割图像，为所述语义分割模型输出的分割图像。本专利技术另一实施例对应提供了一种草图图像语义分割装置，包括：图像获取模块，用于获取一草图图像；交汇点识别模块，用于将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像；交汇点去除模块，用于对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像；语义分割模型训练模块，用于将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型；语义分割模块，用于将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果。本专利技术另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述专利技术实施例所述的草图图像语义分割方法。本专利技术另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述专利技术实施例所述的草图图像语义分割方法。相比于现有技术，本专利技术实施例公开的草图图像语义分割方法，通过获取一草图图像，将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像，对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像，将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型，将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果，这样考虑了草图的线条连续性，将其作为训练语义分割模型的先验知识，使得语义分割模型不会将草图图像中连续线条上的像素划分为多个类，能有效解决使用现有模型将位于一条连续线条上的像素被划分为多个类导致错误分割的问题，能有效提高模型分割的效率和准确度，从而大大提高了草图图像语义分割的准确度。附图说明图1是本专利技术一实施例提供的一种草图图像语义分割方法的流程示意图；图2是本专利技术一实施例提供的草图图像语义分割方法的第一阶段流程示意图；图3是本专利技术一实施例提供的草图图像语义分割方法的第二阶段流程示意图；图4是本专利技术一实施例提供的一种草图图像语义分割装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见图1，是本专利技术一实施例提供的一种草图图像语义分割方法的流程示意图，所述方法包括步骤S101至步骤S105。S101、获取一草图图像。其中，步骤S101中的草图图像可使用草图数据集SketchyScene，该草图数据集SketchyScene为具备各种物体以及相互组合的草图图像数据集。S102、将所述草图图本文档来自技高网...

【技术保护点】
1.一种草图图像语义分割方法，其特征在于，包括：/n获取一草图图像；/n将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像；/n对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像；/n将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型；/n将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果。/n

【技术特征摘要】
1.一种草图图像语义分割方法，其特征在于，包括：
获取一草图图像；
将所述草图图像输入到预先建立的交汇点识别模型，获得仅包含所述草图图像中交汇点的第一图像；
对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像；
将所述草图图像和所述第二图像组织成训练样本，并基于所述训练样本对预设的神经网络模型进行训练，得到语义分割模型；
将待分割草图图像输入到所述语义分割模型，得到草图语义分割结果。


2.如权利要求1所述的草图图像语义分割方法，其特征在于，通过如下步骤构建所述交汇点识别模型，具体包括：
获取多张使用多条随机位置形状的贝塞尔曲线填充的待处理草图图像；
对所述待处理草图图像进行同步，得到具备草图交汇点的交汇点图像；
将所述交汇点图像输入到预设的卷积神经网络进行训练，得到所述交汇点识别模型。


3.如权利要求1所述的草图图像语义分割方法，其特征在于，所述对所述草图图像和所述第一图像作差，得到去除所述草图图像中交汇点的第二图像，具体包括：
获取所述第一图像中所述交汇点的坐标；
将所述草图图像中所述坐标对应位置的像素值设为预设像素值，以从所述草图图像中去除所述交汇点，得到第二图像。


4.如权利要求1所述的草图图像语义分割方法，其特征在于，所述将所述草图图像和所述第二图像组织成训练样本，具体包括：
将所述草图图像与所述第二图像在通道维度进行拼接，得到达到预设的通道维度阈值且具有连续草图线条的分割图像，将其作为训练样本。


5.如权利要求2所述的草图图像语义分割方法，其特征在于，所述卷积神经网络由16个残差块组成，每个所述残差块内部使用一个残差连接构成的恒等函数。


6.如权利要求2所述的草图图像语义分割方法，其特征在于，所述将所述交汇点图像输入...

【专利技术属性】
技术研发人员：高成英，凌鹏，莫浩然，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44