用于识别手写图连接符的系统和方法技术方案

一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，计算设备包括处理器以及用于在处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，至少一个非暂时性计算机可读介质被配置为：使得在与计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示图要素。

【技术实现步骤摘要】
【国外来华专利技术】用于识别手写图连接符的系统和方法相关申请的交叉引用本申请要求于2015年10月19日提交的欧洲申请No.15290269.8和于2015年12月1日提交的、要求了欧洲申请No.15290269.8的优先权的美国申请No.14/955,174的优先权，其全部内容通过引用合并于此。
本公开总体涉及能够识别各种形状和字符的用户输入手写的计算设备接口的领域。特别地，本公开提供了用于处理使得在输入手写图要素之间的连接符显示的编辑操作的系统和方法。
技术介绍
计算设备在日常生活中不断变得越来越普遍。它们表现为如下形式：台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能电话、可穿戴计算机、全球定位系统(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏机等。此外，计算设备被包括到车辆和设备(比如，汽车、卡车、农场设备、制造设备、建筑环境控制(例如，照明、HVAC)以及家用和商用电器)中。计算设备通常由至少一个处理元件(比如，中央处理单元(CPU))、某种形式的存储器以及输出和输出设备组成。各种计算设备及它们的后续使用需要各种接口和输入设备。一个这样的输入设备是触敏表面(比如，触摸屏或触摸板)，其中通过用户手指或工具(比如，笔或触写笔)和触敏表面之间的接触来接收用户输入。另一输入设备是感测用户在输入表面上做出的手势的输入表面。另一输入设备是位置检测系统，其检测触摸或非触摸交互与非触摸表面的相对位置。这些输入方法中的任何一种都可以普遍用于绘画和文本的手写或手绘输入，其中使用手写识别系统或方法来解释该绘画和文本。手写识别在计算设备中的一个应用是创建在计算设备上手绘的、将被转换为排版版本的图。所述图是说明或示出(各部件的)布局和关系的图。图通常包括具有任意或特定含义的形状以及与这些形状有关系的文本。存在许多类型的图，如流程图、组织结构图、概念图、蜘蛛图、块/架构图、思维导图、框图、维恩图和金字塔。图1至图6中示出了可能的图的一些排版和手写示例的描绘。图1A和图1B分别示出了排版和手写的示例概念图10，其具有不同的形状，以不同的方式定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头)。此外，在图1B中，容器12包含文本16。通常在概念图中，块之间的连接定义了由这些块中的文本定义的在概念上相关或从属的要素或主题。块本身可以不存在于概念图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。图2A和图2B分别示出了排版和手写的示例思维导图20，其具有不同的形状，以不同的方式定义了图块或容器12、连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线)、以及到思维导图的某些特征或状态的路径18。此外，在图2B中，容器12和路径18具有相关联的文本16。通常在思维导图中，块之间的连接定义了从由这些块中的文本定义的中心要素或主题出发的可能的备选状态，并且路径定义了由这些路径上的文本定义的每个备选状态的关键特征。块本身可以不存在于思维导图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。图3A和图3B分别示出了排版和手写的示例流程图30，其具有不同的形状，不同地定义了不同类型的图块或容器12(例如，椭圆形、矩形、菱形)和连接或指定图块12之间的关系的不同类型的连接符14(例如，直线箭头、曲线箭头、分支线)。此外，在图3B中，容器12包含文本16；文本也可以与连接符相关联。通常在流程图中，块之间的连接定义了由那些块中的文本定义的在程序上相关或从属的要素或步骤。块本身可以不存在于流程图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。图4A和图4B分别示出了排版和手写的示例组织结构图40，其具有不同的形状，不同地定义了图块或容器12以及连接或指定图块12之间的关系的不同类型的连接符14(例如，直线、曲线、分支线)。此外，在图4B中，容器12包含文本16。通常在组织结构图中，块之间的连接定义了由这些块中的文本定义的组织或团体的成员或功能的层次关系。块本身可以不存在于组织结构图中，而是可以由连接符来连接文本(例如，在不具有相关联的形状或容器的文本块中定义的)。图5A和图5B分别示出了排版和手写示例块/架构图50，其具有不同的形状，定义了具有嵌套关系的图块或容器12(例如，容器12在其它容器12内)、以及连接或指定图块12(含嵌套块)之间的关系的连接符14。此外，在图5B中，容器12和连接符具有相关联的文本16。通常在架构图中，嵌套块定义了设备或处理组件的布局或所有权(possession)，并且块之间的连接定义了由这些块中的文本定义的块之间的功能关系。图6A和图6B分别示出了排版和手写示例的蜘蛛图60，其具有不同的形状，定义了图块或容器12以及连接或指定图块12之间的关系的连接符14。此外，在图6B中，容器12和连接符具有相关联的文本16。通常在蜘蛛图中，块和/或文本之间的连接定义了从由文本定义的中心要素或主题出发的从属关系或状态。在图1至图6示出的图仅仅是示例，除了每种图类型所描绘的要素之外，图中还可以附加地或备选地出现其它要素或不同要素、或者所描绘的要素本身的不同类型或形式。此外，这些图类型的其它定义以及它们的组合也是可能的。将图中的形状和文本的基本组件(有容器或无容器的连接)进行组合的这些无数可能变型可能给在计算设备上精确识别作为手绘或手写内容的输入的这些要素带来问题。图具体用于教育和商业环境中，在该环境中，计算设备的用户例如在讲座或会议期间创建图以获得正在讨论的构思、问题或解决方案。这通常通过用户启动计算设备上的手写绘图或草图应用来完成，手写绘图或草图应用在设备中本地地或者经由设备的通信链路远程地，接收并解译在触敏表面或由相对位置检测系统监控的表面上的手绘输入。通常，这种手写绘图应用在处理上述绘图的复杂性方面能力限制，并且通常约束用户采取不反映用户原始意图的行为或接受这样的妥协。因此，一些常规的手写绘图应用强制用户导航菜单以选择和绘制形状，并且插入与形状相关的文本。因此，用户无法自然或自由地绘制形状和连接符。一些常规的应用较好地识别出手绘形状和手写文本，并为用户提供适当的创作自由。然而，改变已绘制的图的能力(例如，编辑图的要素以添加、省略或替换要素，将图修改为演进的构思，转换图的类型等)受到如下限制：只能用于某些操作，以及只能用于排版版本的图(尤其是，在保持识别的关系(比如，连接的容器等)的情况下，操纵图要素的相对位置)，不能用于手写输入(所谓的数字墨水)；和/或需要将学习的手势或经由如上所述的菜单进行的选择。例如，美国专利No.8,014,607描述了推断模式协议，其允许某些编辑操作直接作用于数字墨水。然而，所描述的操作非常有限。此外，没有提供一种解决方案，其能够在保持识别的关系的情况下对数字墨水中的图要素的相对位置进行操纵。美国专利No.7,394,935描述了关于调整大小和重新定位操作的对数字墨水的相关操纵。然而，在这些操作中，仅仅根据操作来缩放数字墨水，这样的话将要求用户执行进一步交互以使数字墨水回到其原始绘制的尺寸，例本文档来自技高网...

【技术保护点】
1.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。

【技术特征摘要】
【国外来华专利技术】2015.10.19 EP 15290269.8;2015.12.01 US 14/955,1741.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的连接的系统，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述至少一个非暂时性计算机可读介质被配置为：使得在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。2.根据权利要求1所述的系统，其中，所述至少一个连接符是基于所述连接符的特性和所述图要素之间的位置关系来识别的。3.根据权利要求1或2所述的系统，其中，所识别的至少一个连接符的几何特性与所连接的图要素的几何特征之间的连接路径相关。4.根据权利要求3所述的系统，其中，所述几何特征包括所连接的图要素的几何中心。5.根据权利要求4所述的系统，其中，所识别的至少一个连接符的几何特性包括所述至少一个连接符与所连接的图要素的连接点之间的关系。6.根据权利要求5所述的系统，其中，所述连接路径基于所述连接点而偏离所连接的图要素的几何中心。7.根据权利要求1至6中任一项所述的系统，其中，所述交互式墨水是数字墨水。8.一种用于在计算设备上手绘包括文本要素和非文本要素在内的图的方法，所述计算设备包括处理器和用于在所述处理器的控制下检测和识别手绘图要素输入的至少一个非暂时性计算机可读介质，所述方法包括：在与所述计算设备相关联的显示设备上以交互式墨水显示多个输入图要素；将至少一个图要素识别为连接多个图要素的连接符；确定所识别的至少一个连接符的几何特性；以及基于接收到的对所识别的至少一个连接符或该连接符连接的多个图要素中的一个或多个图要素的交互式墨水的一个或多个交互，并且根据所确定的几何特性，重新显示所述图要素。9.根据权利要求8所述的方法，包括：基于所述连接符的...

【专利技术属性】
技术研发人员：罗宾·梅利南，罗曼·贝纳尔维茨，克莱尔·西多里，法比恩·里克，阿内·博诺，
申请(专利权)人：迈思慧公司，
类型：发明
国别省市：法国,FR