一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质制造方法及图纸

本发明专利技术提供了一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质，该方法包括：步骤1，草图预处理步骤：对草图进行平移、旋转和缩放，对草图轮廓进行细化；步骤2，转换步骤：草图轮廓转变为坐标点集；步骤3，深度学习步骤：坐标点集的深度学习表示；步骤4，分割步骤：通过多尺度的草图部件分割框架MCPNet将具有相似几何结构的特征点集中在一起，学习不同特征点之间的全局空间结构和局部结构关系，从而完成草图部件的分割。本发明专利技术的有益效果是：本发明专利技术MCPNet是建立在坐标点集之上，比直接处理图像像素信息的网络降低了计算的成本，而且将草图信息转换为点集特征进行考虑解决了草图的空白背景对草图分割结果的影响。

A method, system, device and storage medium of sketch component segmentation based on multi-scale deep learning

【技术实现步骤摘要】
一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质
本专利技术涉及图像处理
，尤其涉及一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质。
技术介绍
随着便捷化手绘板的出现，笔式交互成了一种新的人机交互方式之一，人机交互界面由触摸屏模拟了笔纸的环境。草图作为一种简单抽象的交流方式，依靠的是人的记忆通过描绘和模仿来进行信息的表达，对人们来说，仅用几条简单的线条就能勾勒出自己想要的形状或者场景使得交互方式变得更加的简单方便，也更加符合人们对事物的认知。因此，基于草图分析的应用技术已经成为计算机视觉和图形领域的一个活跃的研究课题，其中草图分割是草图分析的基础。目前存在的草图分析大部分是考虑草图的整体性质，缺乏对草图部件结构进行分析和理解。草图分割是的主要任务是把草图分割为具有语义的部件，然后识别出每个部件完成对草图内容、语义的理解。目前，草图分割与标注被广泛的应用于诸多领域，如草图部件建模[1]，草图编辑[2]，草图解析[3]。同时，手绘草图分割问题推动了许多新颖的应用，如草图字幕[4]，基于手绘草图部件本文档来自技高网...

【技术保护点】
1.一种基于多尺度深度学习的草图部件分割方法，其特征在于，包括如下步骤：/n步骤1，草图预处理步骤：对草图进行平移、旋转和缩放，对草图轮廓进行细化；/n步骤2，转换步骤：草图轮廓转变为坐标点集；/n步骤3，深度学习步骤：坐标点集的深度学习表示；/n步骤4，分割步骤：通过多尺度的草图部件分割框架MCPNet将具有相似几何结构的特征点集中在一起，学习不同特征点之间的全局空间结构和局部结构关系，从而完成草图部件的分割。/n

【技术特征摘要】
1.一种基于多尺度深度学习的草图部件分割方法，其特征在于，包括如下步骤：
步骤1，草图预处理步骤：对草图进行平移、旋转和缩放，对草图轮廓进行细化；
步骤2，转换步骤：草图轮廓转变为坐标点集；
步骤3，深度学习步骤：坐标点集的深度学习表示；
步骤4，分割步骤：通过多尺度的草图部件分割框架MCPNet将具有相似几何结构的特征点集中在一起，学习不同特征点之间的全局空间结构和局部结构关系，从而完成草图部件的分割。


2.根据权利要求1所述的草图部件分割方法，其特征在于，所述步骤1包括：
步骤11，对草图进行平移、旋转和缩放：草图经过裁剪被一个封闭的包围盒所包围，然后进行四条边等间距放大以便草图居中并包含在一个固定大小的框内；
步骤12，对草图轮廓进行细化：线条的粗细容易导致采集的样点有很多的冗余信息，因此将轮廓线的宽度细化为一个像素以保证从左到右，从上到下进行采样的时候在轮廓线上的交点处只能采集到一个轮廓点。


3.根据权利要求1所述的草图部件分割方法，其特征在于，所述步骤2包括：
步骤21，建立坐标系：建立二维坐标系，以X轴为水平方向，Y轴为垂直方向，原点O在左上角并且与每张图片的左上顶角重合；
步骤22，获取轮廓每一个像素点的坐标：通过扫描整张草图采集轮廓上每个像素点相对于原点的坐标值(x,y)，在采集坐标的过程当中，并没有对轮廓线进行采样；
步骤23，采集数据：从左到右从上到下计算轮廓线的坐标值保留草图轮廓的几何结构特征，然后，通过不同的尺度大小的网络结构捕获轮廓点之间的几何结构信息。


4.根据权利要求1所述的草图部件分割方法，其特征在于，所述步骤4，分割步骤包括：
步骤41，分列步骤：MCPNet分成三列，每列都有不同的尺度，尺度的大小分别为1×1，1×3，1×5；
步骤42，MCPNet的卷积化步骤：MCPNet每列有3个卷积层和一个最大池化层，其中三个卷积层分别使用的是相同大小的卷积核，通道数分别是64、128、1024，在通过第一列的三层卷积以后得到点集特征图fc1，大小为N×64，第二列得到的特征图为fc2，大小为N×128，第三列得到的特征图为fc3，特征大小为N×1024；
步骤43，MCPNet的最大池化层步骤：MCPNet三列最后得到的特征图fc1，fc2和fc3经过最大池化层分别得到点集的全局特征MAXc1，MAXc2和MAXc3，大小都是1×1024，这样，采用不同的卷积核大小就获取了输入草图点集的全局特征；
步骤44，MCPNet的上采样步骤：分别复制每个全局特征N次得到点特征为fg1fg2和fg3，特征大小都为N×1024，同时与前面的局部特征fci(i＝1,2,3)进行级联达到更细节的分割效果得到特征图为特征大小为N×1088；
步骤45，MCPNet特征融合步骤：MCPNet网络结构具有K列，令每一列得到的特征图为级联得到3个特征得到总的特征大小为N×1088*3，特征图经过卷积层、通道数分别为1024、512、256、128和softmax层产生最后的一个评分矩阵其中C为部件数量大小，表示的是第n个点属于部件c的概率，概率最大的索引值对应的是部件的编号。


5.一种基于多尺度深度学习的草图部件分割系统，其特征在于，包括：
草图预处理模块：用于对草图进行平移、旋转和缩放，对草图轮廓进行细化；
转换模块：用于草...

【专利技术属性】
技术研发人员：盛建强，汪飞，蔡铁，
申请(专利权)人：深圳信息职业技术学院，
类型：发明
国别省市：广东;44