一种图像语义分割方法、装置、存储介质及终端制造方法及图纸

本发明专利技术公开了一种图像语义分割方法、装置、存储介质及终端，方法包括：获取并预处理待处理手绘草图数据，生成手绘草图数据的图结构表示；将手绘草图数据的图结构表示输入预先训练的图像语义分割模型中；预先训练的图像语义分割模型是通过根据模型训练样本生成的特征向量训练的，特征向量是将时序信息中所含的序列信息编码到初始特征向量中生成，时序信息和初始特征向量是基于模型训练样本生成；根据预先训练的图像语义分割模型计算并输出待处理手绘草图数据的语义分割结果。本申请在模型训练的过程中可以引导模型关注图像时序信息并将其中蕴含的序列信息编码进提取到的特征向量中，进而强化了模型对图像的特征提取能力，从而提升了语义分割精度。从而提升了语义分割精度。从而提升了语义分割精度。

【技术实现步骤摘要】
一种图像语义分割方法、装置、存储介质及终端


[0001]本专利技术涉及机器学习
，特别涉及一种图像语义分割方法、装置、存储介质及终端。

技术介绍

[0002]图神经网络是一种常用的图像特征提取和语义分割方法。以手绘草图为例，手绘草图(Sketch)是人类抒发感情、传达意图和标识记录的一种重要的表达方式，在教育、辅助设计、商品检索等领域发挥着重要的作用。由于手绘草图具有“点成线，线成画”的组成特点，可以使用由点和边构成的图结构(Graph)表示手绘草图。对于由图结构表示的手绘草图，研究人员往往使用图神经网络(Graph Neural Network，简称为GNN)从手绘草图提取用于语义分割任务的特征向量。在图像建模和特征提取的过程中，一种高效且完善的图神经网络架构有助于从图像提取有判别力的特征，从而更好地进行图像语义分割任务。
[0003]图神经网络是一种常用的图像特征提取和语义分割方法。以手绘草图为例，由于手绘草图是通过画笔的移动形成的，因此手绘草图既具有图像数据的特点，也具有序列数据的特点。除笔画结构信息外，手绘草图的绘画顺序中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，所述方法包括：获取并预处理待处理手绘草图数据，生成手绘草图数据的图结构表示；将手绘草图数据的图结构表示输入预先训练的图像语义分割模型中；其中，所述预先训练的图像语义分割模型是通过根据模型训练样本生成的特征向量训练的，所述特征向量是将时序信息中所含的序列信息编码到初始特征向量中生成，所述时序信息和初始特征向量是基于所述模型训练样本生成的；根据预先训练的图像语义分割模型计算并输出所述待处理手绘草图数据对应的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述获取并预处理待处理手绘草图数据之前，还包括：采集手绘草图训练数据，并根据预设预处理参数对手绘草图训练数据进行预处理，得到模型训练样本；创建图像语义分割模型，并将所述模型训练样本输入所述图像语义分割模型中进行训练，输出模型损失值；当所述模型损失值未到达预设模型优化参数时，将所述模型损失值进行反向传播，以更新所述图像语义分割模型的网络参数；继续执行所述将所述模型训练样本输入所述图像语义分割模型中进行训练的步骤，直到所述模型损失值到达预设模型优化参数时，生成预先训练的图像语义分割模型。3.根据权利要求2所述的方法，其特征在于，所述根据预设预处理参数对手绘草图训练数据进行预处理，得到模型训练样本，包括：采用Ramer
‑
Douglas
‑
Peucker算法，并结合预设预处理参数对所述手绘草图训练数据中每个手绘草图进行采样，得到每个手绘草图的N个采样点；将所述N个采样点作为图结构的节点，并根据所述手绘草图的笔画连接所述N个采样点作为图结构的边，生成每个手绘草图的图结构表示；将每个手绘草图的图结构表示确定为模型训练样本。4.根据权利要求3所述的方法，其特征在于，所述图像语义分割模型包括编码器模块、任务模块和解码器模块；所述将所述模型训练样本输入所述图像语义分割模型中进行训练，输出模型损失值，包括：将所述模型训练样本输入所述编码器模块中，以确定所述模型训练样本中每个手绘草图的图结构的时序信息，并提取所述模型训练样本中每个手绘草图的图结构表示的N个采样点的初始特征向量，以及将所述时序信息中所含的序列信息编码到所述N个采样点的初始特征向量中，得到N个采样点的特征向量；将N个采样点的特征向量输入所述任务模块中，以根据N个采样点的特征向量计算目标语义分割结果；根据所述目标语义分割结果和与其对应的真实标签计算交叉熵损失值；将N个采样点的特征向量输入所述解码器模块中，以对N个采样点的坐标进行重建，得到重建坐标；根据所述重建坐标和N个采样点的原始坐标计算均方差损失值；
...

【专利技术属性】
技术研发人员：马占宇，郑一啸，梁孔明，黄秋梅，徐大川，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：