一种同时识别与分割手绘草图的方法、系统、设备与介质技术方案

一种手绘草图同时识别与分割的方法、系统、设备与介质，方法包括：从手绘草图采集软件得到可缩放矢量图形格式的手绘草图，转换为RGB格式图像和图格式数据；构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络；将RGB格式手绘草图图像输入卷积神经网络流，得到表征手绘草图类别的全局特征和类别识别结果；将图格式的手绘草图数据输入给图卷积网络流，得到笔画级特征和点级特征，并把全局特征、笔画级特征、点级特征拼接，实现点级分割；利用KL散度方法实现对分割结果的监督；其系统、设备及介质用于对手绘草图同时识别与分割；本发明专利技术能够同时进行手绘草图识别和分割任务，较仅分割或仅识别任务更高效，提高了手绘草图识别与分割的精度。草图识别与分割的精度。草图识别与分割的精度。

【技术实现步骤摘要】
一种同时识别与分割手绘草图的方法、系统、设备与介质


[0001]本专利技术属于人工智能
，具体涉及一种同时识别与分割手绘草图的方法、系统、设备与介质。

技术介绍

[0002]随着电子设备和压力传感设备的发展，人们开始逐渐改变传统的纸笔手绘方式，越来越多的人选择使用触摸屏设备(iPad、手绘板等)进行手绘草图。草图是产品设计中最重要的活动之一，被广泛应用于设计认知及设计思维研究，对于设计概念的定位、发展、表达、推演、形成都有着不可替代的作用。
[0003]随着互联网的发展及技术的不断进步，计算机的计算能力得到很大提高，卷积神经网络作为人工智能
最成熟的分支之一，在图像识别，分割等领域取得了极大的成功。图卷积网络作为解决图问题被提出来的网络，已被证明在图节点聚类、图分割等问题上很有成效。手绘草图相对于传统图像，最大的区别在于其具有有序性，在绘制时，人们一笔一笔进行绘制。在绘制完毕后，可以同时使用其作为图像的特性和作为图的特性，取得更好的识别分割结果。但是目前主流的做法是直接使用卷积神经网络做识别，使用循环神经网络或图神经网络做分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同时识别与分割手绘草图的方法，其特征在于：具体包括以下步骤：S1，从手绘草图采集软件得到可缩放矢量图形格式的手绘草图，转换得到RGB格式的图像和图格式的数据；S2，构建基于卷积神经网络和图卷积网络的同时识别与分割的双流网络；S3，将S1得到的RGB格式的手绘草图图像输入给S2得到的卷积神经网络流，得到表征手绘草图类别的全局特征和类别识别结果；S4，将S1得到的图格式的手绘草图数据输入给图卷积网络流，得到笔画级特征和点级特征，并把全局特征、笔画级特征、点级特征进行拼接，进而实现点级分割；S5，根据每个手绘草图类别应该包含的组件类别这一先验信息以及根据S3得到的卷积神经网络流的类别识别结果，利用KL散度方法实现对S4分割结果的监督。2.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S1中，可缩放矢量图形格式的手绘草图数据从手绘绘制软件中获得，把可缩放矢量图形转化为RGB图像，从可缩放矢量图形中提取点序列来生成图，作为同时识别与分割网络的输入。3.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S2中，构建的基于卷积神经网络和图卷积网络的双流网络模型同时接受同一个手绘的RGB图像格式数据和图结构数据作为输入，卷积神经网络流采用ResNet18作为骨干网络，图卷积网络流采用四层动态图卷积作为骨干网络，卷积神经网络流给图卷积网络流提供全局特征和分类结果推导出的组件预测概率作为监督信息；构建的基于卷积神经网络和图卷积网络的双流网络模型在训练过程中的损失函数为L＝L
c
+λ1L
s
+λ2L
kl
，其中L
c
为卷积神经网络流的手绘类别分类的交叉熵损失，L
s
为图卷积网络流的点级组件预测的交叉熵损失，λ1和λ2为权重系数。4.根据权利要求1所述的一种同时识别与分割手绘草图的方法，其特征在于：所述S3的具体方法为：将RGB格式的手绘草图图像输入给卷积神经网络流，卷积神经网络的最后一层全连接层的特征作为表征手绘类别的全局特征，分类器的输出作为手绘类别的识别结果；根据每种手绘类别应该包含的组件这一先验信息，构建手绘类别到组件类别的转换矩阵其中当第i类手绘包含第j种组件时M(i,j)＝1，否则M(i,j)＝0；在S3得到N
C
维手绘类别的识别概率后，计算可以得到组件的N
S
维...

【专利技术属性】
技术研发人员：朱光明，张亮，汪思远，高尔扬，李宁，
申请(专利权)人：中国船舶集团有限公司综合技术经济研究院，
类型：发明
国别省市：