用于着墨应用的对象检测和分割制造技术

墨水解析系统在着墨设备输入处接收墨水笔画并且将所接收的墨水笔画绘制成像素空间中的图像。在图像中检测书写笔画并且被标记。从图像中移除与所标记的书写笔画相对应的像素。使用检测并且标记具有移除后的像素的图像中的绘画笔画。输出分别与所标记的书写笔画和所标记的绘画笔画相对应的书写对象和绘画对象。从而提供了具有准确的墨水笔画检测和分割的数字墨水解析流水线。的数字墨水解析流水线。的数字墨水解析流水线。

【技术实现步骤摘要】
【国外来华专利技术】用于着墨应用的对象检测和分割

技术介绍

[0001]数字着墨工具允许用户创建诸如图表、流程图、笔记等的数字内容。识别利用数字墨水创建的内容可以促进用户生产力的提高。为此，手写识别和笔画分析是常见的数字着墨功能，其中对图像或绘画进行解释以提取特定类别的信息，诸如特定字符或形状的存在和位置。
[0002]然而，传统的手写识别和笔画分析具有许多限制，包括对输入的笔画顺序敏感，使得笔画顺序的变化降低了识别准确度。此外，如果手写内容的尺寸很大，则识别不准确。分组和分类也使用单独训练的不同神经网络来执行，使得对结果进行组合没有产生最佳的最终结果。

技术实现思路

[0003]本
技术实现思路
被提供以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本
技术实现思路
不旨在标识要求保护的主题的关键特征或必要特征，也不旨在被用作确定要求保护的主题的范围的帮助。
[0004]一种用于数字墨水解析的计算机化方法包括：在着墨设备输入处接收墨水笔画，将所接收的墨水笔画绘制成像素空间中的图像，以及检测图像中的书写笔画并且标记书写笔画。该计算机化方法还包括：从图像中移除与所标记的书写笔画相对应的像素并且检测具有移除后的像素的图像中的绘画笔画并且标记绘画笔画。该方法还包括：输出分别所标记的书写笔画和所标记的绘画笔画相对应的书写对象和绘画对象。
[0005]随着通过参考结合附图来考虑的以下详细描述，许多随附的特征变得更好理解，这些特征将更容易被了解。
附图说明
[0006]根据附图阅读的以下详细描述将更好地理解本描述，其中：
[0007]图1是根据实施例的可以被解析的着墨输入；
[0008]图2是根据实施例的具有解析流水线的墨水解析引擎的框图；
[0009]图3是根据实施例的书写检测器的框图；
[0010]图4图示了根据实施例的神经网络；
[0011]图5图示了根据实施例的绘画检测过程；
[0012]图6图示了根据实施例的在绘画检测过程中所使用的边界框；
[0013]图7图示了根据实施例的使用解析树的解析；
[0014]图8是根据实施例的针对着墨环境的用于检测和分割的过程的流程图；
[0015]图9是根据实施例的针对着墨环境的用于检测和分割的过程的另一流程图；以及
[0016]图10是适合于实现本文所公开的各种示例中的一些的示例计算环境的框图。
[0017]在整个附图中，对应的附图标记指示对应的部分。在附图中，系统被图示为示意图。附图可能不是按比例绘制的。
具体实施方式
[0018]在本文中所描述的计算设备和方法被配置为执行用户输入(特别是数字着墨输入)的检测和分割。对象检测和分割技术被实现在被配置为解析流水线的机器学习引擎的流水线中。使用所配置的解析流水线，可以准确地识别着墨输入的内容，诸如图表。
[0019]在一个示例中，训练卷积神经网络架构(例如，U
‑
net)以分割书写笔画，然后是对绘画对象进行检测和分类的卷积神经网络(例如，You Look Only Once(Yolo))。在一些示例中，从图像空间到笔画空间的Yolo识别结果的转换利用提升决策树以提供准确的笔画映射。该流水线允许将数字墨水笔画改进分组并且分类为属于形状的笔画和属于文本的笔画。此外，该流水线在识别过程中对笔画顺序更有弹性。
[0020]虽然在一些示例中参考U
‑
net和Yolo进行了描述，但是本公开的各方面可与具有本文所描述的特性的任何其他神经网络一起操作以支持所公开的功能向。
[0021]本公开由此提供一种具有解析自由形式的墨水绘画(诸如，一页中的多种字体大小和随机笔画顺序绘画)的能力的流水线。因此，墨水解析引擎被配置为执行数字墨水分析，其允许接收广泛的笔画集合，使用分类技术以笔画分割成更细粒度的域(例如，文本、形状、连接符等)，并且通过针对该域所调整的更简单的分类算法运行每个子群组。墨水解析引擎已经降低了对墨水笔画排序的敏感度，实现了具有不同墨水字体大小的文本识别，并且对传入的墨水笔画数据的不同采样方法是不可知的。以这种方式，当处理器被编程为执行本文所描述的操作时，处理器以非常规的方式使用，并且允许更快速和/或更准确地识别用数字墨水创建的不同输入。从而提供了改进用户体验的更有效的解析过程。
[0022]各种示例被实现为数字墨水转换后台应用编程接口(API)，其可以由特定应用调用以解析着墨输入以标识不同类型的墨水笔画输入。应当注意，虽然本文所描述的示例涉及着墨应用，但是诸如光学字符识别(OCR)应用之类的其他应用也可以受益于有利利用将墨水检测分离成不同组分的墨水解析引擎。
[0023]图1图示了根据各种示例的可以被解析的着墨输入100。着墨输入包括在这个示例中对应于单词的书写输入102，以及在这个示例中对应于线和框的绘画输入104。在各种示例中，像素数据表示书写输入102和绘画输入104，其对应于由人类使用触控笔书写的着墨笔画。在一个示例中，解析引擎被实现为着墨应用的一部分，其中由人类使用触控笔书写的文本被转换为文本字符，并且由人类使用触控笔所绘制的草图通过将所有着墨笔画绘制到图像(像素)空间而被转换为绘画对象。来自各种示例的输出对于进一步处理也是有用的，例如在由计算设备1000操作的其他应用中，这关于图10更详细地描述。
[0024]图2图示了可操作使用解析流水线200来解析着墨输入(诸如，着墨输入100)的墨水解析引擎220。解析流水线200中的组件以所示的特定顺序被布置为执行解析以将墨水检测分离成允许更准确的检测的不同组分和着墨输入的分段。也就是说，操作的顺序会影响计算的准确度。在所图示的示例中，在绘画检测之前执行书写检测，以便针对着墨应用提供更准确的解析。
[0025]解析流水线200接收输入笔画数据202，诸如包括不同类型输入的着墨输入206，在所图示的示例中，输入是字母、框和线。在204处将着墨笔画(例如，字母、框和线)转换为图像(例如，被转换为图像空间中的像素)。
[0026]然后在208处对所转换的着墨笔画执行书写检测。例如，执行单词检测以标识图像
空间内的字母210(例如，A、B、YES和NO)。例如，书写检测器组件300被配置为对所转换的图像笔画执行单词检测，如图3中所图示。如该图中所图示，着墨输入206表示对语义分割过程302的着墨输入。在一个示例中，语义分割过程302利用逐像素分类(例如，书写或绘制像素)来执行语义分割以形成一组书写掩码(区域)304。可以使用各种不同的技术来执行逐像素分类。在一个示例中，使用针对该逐像素分类所配置的定制U
‑
net神经网络来执行逐像素分类。即，根据神经网络技术训练神经网络以执行逐像素分类。
[0027]例如，如图4中所图示，利用被配置为压缩U
‑
net网络的定制U
‑
net神经网络400。定制U
‑
net神经网络400被配置为在层402、40本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种墨水解析系统，包括：与计算设备相关联的存储器，所述存储器包括书写检测器组件和绘画检测器组件；以及执行墨水解析引擎的至少一个处理器，所述墨水解析引擎使用所述书写检测器组件和所述绘画检测器组件以：在着墨设备输入处接收墨水笔画；将所接收的所述墨水笔画绘制成图像；使用所述书写检测器组件检测所述图像中的一个或多个书写笔画并且标记所述书写笔画；从所述图像中移除与所标记的所述书写笔画相对应的一个或多个像素；使用所述绘画检测器组件检测在具有移除后的像素的所述图像中的一个或多个绘画笔画，并且标记所述绘画笔画；以及输出分别与所标记的所述书写笔画和所标记的所述绘画笔画相对应的一个或多个书写对象和一个或多个绘画对象。2.根据权利要求1所述的墨水解析系统，其中所述至少一个处理器执行所述墨水解析引擎，以利用所述书写检测器组件执行语义分割，所述语义分割使用逐像素分类以检测所述书写笔画。3.根据权利要求1和2中任一项所述的墨水解析系统，其中所述至少一个处理器执行所述墨水解析引擎，以使用预测的书写掩码来标记所述书写笔画。4.根据权利要求1至3中任一项所述的墨水解析系统，其中所述至少一个处理器执行所述墨水解析引擎，以使用具有多个层的神经网络来执行所述语义分割，每个层具有固定数目的内核。5.根据权利要求1至4中任一项所述的墨水解析系统，其中所述至少一个处理器执行所述墨水解析引擎，以利用使用卷积网络的所述绘画检测器组件来执行绘画笔画检测。6.根据权利要求5所述的墨水解析系统，其中所述至少一个处理器执行所述墨水解析引擎，以使用具有对应预测标签的多个边界框来对所检测的绘画笔画进行解码，并且还使用决策树作为二元分类器来检测所述绘画笔画。7.根据权利要求1至6中任一项所述的墨水解析系统，其中所述墨水解析引擎具有解析流水线，所述解析流水线被配置为在使用所述绘画检测器组件执行检测之前使用所述书写检测器组件来执行检测。8.一种用于数字墨水解析的计算机化方...

【专利技术属性】
技术研发人员：石亦欣，A，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：