一种基于视觉特性的草图笔画编组方法技术

本发明专利技术提供了一种基于视觉特性的草图笔画编组方法，包括：输入某一类别多张统一格式后的草图；统计草图中的笔画长度；基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；将长笔画切分为中笔画和/或短笔画；根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后计算得分矩阵进行笔画编组。本发明专利技术利用计算机学习手绘草图的视觉信息和时序信息，解决草图语义分割的问题，使其尽可能接近人类的认知水平，同时在一个计算模型中，可以同时协同多种编组特性。

A method of grouping sketch strokes based on visual characteristics

【技术实现步骤摘要】
一种基于视觉特性的草图笔画编组方法
本专利技术属于计算机视觉以及深度学习
，尤其涉及一种基于视觉特性的草图笔画编组方法。
技术介绍
在人类信息传递发展史上，手绘草图始终发挥着很重要的作用，对草图的研究也一直是计算机视觉与模式识别领域的重要基础问题之一。草图与传统的彩色图像有着明显的区别，构图简单、线条数量少、是对一类具有相同特征事物的抽象描述，因此计算机视觉领域对于草图的深度研究是具有十分重要的意义的。图像分割就是把原始图像分割成具有各自特征的区域并提取出感兴趣目标的技术与方法。图像分割通常作为视觉研究的第一步，因为如果图像分割的效果非常好，往往会对其他图像研究领域的带来突破性的进展。现如今对草图的研究也从传统的基于轮廓、区域、骨架等特征的方法向深度学习领域发展，并进一步从草图的整体概念研究(草图检索、草图识别)延伸至更加精细的草图编组及语义分割等概念。事物的草图与轮廓与我们的生活息息相关，随着科技的进步和硬件行业地发展，触摸屏逐渐普及，我们现在可以毫不费力地在手机、平板电脑和智能手表等智能移动终端上绘制草图。绘制草图已经成为最常用的人机交互手段之一。人们利用手绘草图表达的信息更丰富、简洁而且方便。当人们需要通过细节信息搜索相关物品时，只需要在脑海中构思该物品的视觉特征，利用绘制出的草图作为输入即可，这比用词汇描述具有更明显优势。因此，研究手绘草图近年来越来越受欢迎。尽管计算机在识别手绘草图方面日趋进步，但是其分割草图的能力，特别是徒手草图，还没有得到充分探索。介绍两种草图存储格式：草图的存储格式除图片格式外，另有两种主流的存储格式为可放缩矢量图形(ScalableVectorGraphics,简写svg)，和stroke-3格式。stroke-3格式存储了草图中笔画的先后次序以及笔画中部分关键点的位置信息，可根据以上信息恢复出完整草图。Stroke-3格式以关键点的序列形式对草图进行存储，每一个关键点为一个三元组(Δx，Δy，p)，其中Δx，Δy分别代表当前关键点相对于上一个关键点在二维平面水平和垂直两个方向上的偏移量，p代表当前关键点的状态，取值为0或1，1代表当前关键点是当前笔画的最后一个关键点，即到该关键点时，该笔画将结束，0代表当前关键点是当前笔画中的一个关键点，当前关键点之后将继续该笔画。现有的草图分割工作主要集中在使用传统方法对草图进行语义分割并赋予其各个部件的标签，目前草图分割的准确率还不高，大多数前人的工作都遵循标准的监督学习方法来解决草图问题。由于草图具有高度模糊、抽象和多样的特点，目前机器对于草图的理解具有相当大的挑战性。大部分现有的草图分割工作总是忽略了关于草图笔画绘制顺序等相关信息，而笔画顺序却是人们绘制草图时需要的一个十分关键的信息。另外草图数据集的规模也在日益增长，目前已存在千万级的草图数据集，对这样的数据集进行语义标注所需要的时间、人力、物力、财力都是难以估计的。因此标准的监督方法在这样的数据集上并不适用。将手绘草图的编组研究扩展到广泛类别会存在三大挑战:(1)草图与完全注释的各个部件或特征点的获得既困难又复杂，尤指为一个以上的类别；(2)草图的多样性会导致方法的通用性收到限制(3)草图的抽样性导致有较多噪声数据点，对编组造成较大影响。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种基于视觉特性的草图笔画编组方法，该方法能够自动对给定的草图进行笔画编组。草图与普通的二维图像不同，它具有极高的抽样性，即使对同一个类别进行草图绘制时，也会由于不同的绘画者、不同的绘画技巧、不同的理解认知而产生出不同的草图。而草图笔画编组是让组成草图的笔画通过编组的方式使不具有语义的单一笔画变成有语义的笔画编组。当一组拟合模型是具有相似姿态的草图时，该方法会自动发现并学习该类草图具有的通用结构以及组成该结构的通用部件，其中的每个部件由一组笔画表示，它代表每个草图类别的一致性拓扑结构和多样性结构和外观变化。模型成功的关键是通过对大量草图进行研究和观察，发现一系列有助于笔画形成语义编组的规则，并对这些规则进行合理的量化和组合，从而专利技术出一种自动草图笔画编组方法。本专利技术通过以下技术方案来具体实现：本专利技术提供了一种基于视觉特性的草图笔画编组方法，包括：步骤一、输入某一类别多张统一格式后的草图；步骤二、统计草图中的笔画长度；步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；步骤四、将长笔画切分为中笔画和/或短笔画；步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。步骤一，具体包括：将草图格式转换为stroke-3格式的草图，从草图的第一个关键点开始计算草图中每一个关键点的绝对坐标：其中，pi表示当前笔画中的第i个关键点，表示第i个关键点在水平方向上的绝对坐标；表示第i个关键点在垂直方向上的绝对坐标，表示第i-1个关键点在水平方向上的绝对坐标，表示第i-1个关键点在垂直方向上的绝对坐标；Δxi表示当前关键点相对于上一个关键点在水平方向上的偏移；Δyi表示当前关键点相对于上一个关键点在垂直方向上的偏移；通过上述计算得到草图中每一个关键点的绝对坐标，从而得到绝对坐标下的stroke-3格式草图，将绝对坐标下的stroke-3格式草图中的每一个关键点记作一个三元组(x，y，p),其中x,y分别代表当前关键点在二维平面上在水平和垂直方向上的绝对坐标，p仍代表当前关键点的状态。步骤二，具体包括：对每一个类别中的所有草图进行笔画长度统计；第j个笔画长度计算方法如下：其中，n代表第j个笔画中包含的关键点的数目，xi，yi分别代表第i个关键点在水平和垂直方向上的绝对坐标。xi+1，yi+1分别代表第i+1个关键点在水平和垂直方向上的绝对坐标。步骤三，具体包括：基于设定阈值θ1，θ2对笔画长度进行分类；对于长度小于θ1的笔画，将该笔画划分为短笔画；对于长度介于θ1，θ2之间的笔画，将该笔画划分为适中笔画；对于长度大于θ2的笔画，将该笔画划分为长笔画。步骤四，将长笔画切分为中笔画和/或短笔画，具体包括：从长笔画的第一个关键点开始计算笔画长度，当长笔画的长度达到切分阈值或当前点为转折点时进行切分，并对剩余笔画部分重新计算长度，将长笔画切分为中笔画和/或短笔画；其中，当前点与前后两点的夹角位于45到120度之间，则视当前点为转折点。步骤五，具体包括：基于邻近性、相似性、连续性和对称性的综合得分计算规则对同一张草图中的所有笔画计算得分；基于邻近性得分计算规则对同一张草图中的所有笔画计算得分，包括：通过计算两个笔画之间的弗雷歇距离(Frechetdistance)，来度量两个笔画之间的本文档来自技高网...

【技术保护点】
1.一种基于视觉特性的草图笔画编组方法，其特征在于，包括：/n步骤一、输入某一类别多张统一格式后的草图；/n步骤二、统计草图中的笔画长度；/n步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；/n步骤四、将长笔画切分为中笔画和/或短笔画；/n步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；/n步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。/n

【技术特征摘要】
1.一种基于视觉特性的草图笔画编组方法，其特征在于，包括：
步骤一、输入某一类别多张统一格式后的草图；
步骤二、统计草图中的笔画长度；
步骤三、基于设定阈值将草图中所有笔画长度划分为长笔画、中笔画和短笔画；
步骤四、将长笔画切分为中笔画和/或短笔画；
步骤五、根据得分计算规则对同一张草图中的所有笔画计算得分，得到得分矩阵；
步骤六、根据得分矩阵进行笔画编组；判断所有笔画是否完成笔画编组；完成笔画编组时，结束编组结束；未完成笔画编组时，根据编组结果，增加得分计算项，更新得分矩阵后，重复步骤五。


2.如权利要求1所述的方法，其特征在于，步骤一，具体包括：
将草图格式转换为stroke-3格式的草图，从草图的第一个关键点开始计算草图中每一个关键点的绝对坐标：






其中，pi表示当前笔画中的第i个关键点，表示第i个关键点在水平方向上的绝对坐标；表示第i个关键点在垂直方向上的绝对坐标；表示第i-1个关键点在水平方向上的绝对坐标，表示第i-1个关键点在垂直方向上的绝对坐标，Δxi表示当前关键点相对于上一个关键点在水平方向上的偏移；Δyi表示当前关键点相对于上一个关键点在垂直方向上的偏移；
通过上述计算得到草图中每一个关键点的绝对坐标，从而得到绝对坐标下的stroke-3格式草图，将绝对坐标下的stroke-3格式草图中的每一个关键点记作一个三元组(x，y，p),其中x,y分别代表当前关键点在二维平面上在水平和垂直方向上的绝对坐标，p仍代表当前关键点的状态。


3.如权利要求1或2所述的方法，其特征在于，步骤二，具体包括：
对每一个类别中的所有草图进行笔画长度统计；
第j个笔画长度计算方法如下：



其中，n代表第j个笔画中包含的关键点的数目，xi，yi分别代表第i个关键点在水平和垂直方向上的绝对坐标，xi+1，yi+1分别代表第i+1个关键点在水平和垂直方向上的绝对坐标。


4.如权利要求1-3之一所述的方法，其特征在于，步骤三，具体包括：
基于设定阈值θ1，θ2对笔画长度进行分类；对于长度小于θ1的笔画，将该笔画划分为短笔画；对于长度介于θ1，θ2之间的笔画，将该笔画划分为适中笔画；对于长度大于θ2的笔画，将该笔画划分为长笔画。


5.如权利要求1所述的方法，其特征在于，步骤四，将长笔画切分为中笔画和/或短笔画，具体包括：
从长笔画的第一个关键点开始计算笔画长度，当长笔画的长度达到切分阈值或当前点为转折点时进行切分，并对剩余笔画部分重新计算长度，将长笔画切分为中笔画和/或短笔画；其中，当前点与前后两点的夹角位于45到120度之间，则视当前点为转折点。


6.如权利要求1所述的方法，其特征在于，步骤五，具体包括：
基于邻近性、相似性、连续性和对称性的综合得分计算规则对同一张草图中的所有笔画计算得分；
基于邻近性得分计算规则对同一张草图中的所有笔画计算得分，包括：
通过计算两个笔画之间的弗雷歇距离(Frechetdistance)，来度量两个笔画之间的邻近度，Kpro越小，代表两个笔画的邻近度越高；
Kpro＝dF(Si，Sj)；
其中，Si和Sj分别代表第i个和第j个笔画，dF(Si，Sj)代表两个笔画之间的弗雷歇距离计算公式...

【专利技术属性】
技术研发人员：杨兰，李林鹏，史晓彤，张洪刚，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11