操作用户接口的终端及其方法和处理器可读介质技术

提供了在用户终端中的同时支持手写和语音二者的混合用户接口(UI)装置以及用于支持该装置的方法。该装置被配置为：当用户选择了在屏幕上笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。

【技术实现步骤摘要】
操作用户接口的终端及其方法和处理器可读介质本申请是申请日为2013年8月30日，申请号为201380042913.3(国际申请号为PCT/KR2013/007855)，专利技术名称为“用户终端中的用户接口装置以及用于支持该用户接口装置的方法”的专利技术专利申请的分案申请。
本公开涉及用户终端中的用户接口装置以及用于支持该用户接口装置的方法。更具体地，本公开涉及在用户终端中支持手写和语音二者的混合用户接口装置以及用于支持该用户接口装置的方法。
技术介绍
伴随着最近的便携式电子设备的发展，对使能直观的输入/输出的用户接口(UI)的用户需求已经增加。例如，使用例如键盘、小键盘(keypad)、鼠标等等附加设备来输入信息的传统的UI方案，已经逐步地演进为通过采用手指、触摸电子笔直接触摸屏幕或者通过语音来输入信息的直观的UI方案。UI技术的发展趋势是朝向直观的和以人为中心的技术以及为了增加用户的便利的技术。在可用的UI技术应用中，用户能够与便携式电子设备对话并且基于该对话来输入或获取想要的信息。典型地，在诸如智能电话的通用便携式电子设备上安装各种应用，并且通过在诸如智能电话的通用便携式电子设备中所安装的应用可以使用新的功能。然而，所安装的应用通常在智能电话中独立地被执行，并且因此新的功能或应用结果并不通过各种应用之间的交互工作来提供。例如，即使用户终端可以在日程安排(schedule)应用中支持直观UI，用户也只能通过该日程安排应用所支持的UI来输入信息。而且，在用户终端通过触摸屏支持备忘录(memo)功能的情况下，用户简单地使用例如手指、电子笔等等输入工具来做笔记(note)；不存在与其他应用一起使用该笔记的内容的特定方法。从而，即使用户终端可以支持各种直观UI，也不存在如下的特定方法：其用于使得用户能够便利地选择和使用来自任何其他应用的直观UI中的任何一个。因此，存在对如下方法和装置需求：用于同时支持手写和语音两种方式的用户终端中的混合用户接口的方法和装置。以上信息被提供作为背景信息，仅仅用于帮助理解本专利技术。关于上述任何内容就本公开而言是否可适用为现有技术，没有作出判定，也没有作出断言。
技术实现思路
技术问题本公开的各方面要解决至少上述问题和/或缺点并提供至少下述优点。因此，本公开的一方面将提供一种装置和方法，其用于在用户终端中借助基于手写的用户接口(UI)与用户交换信息。本公开的另一方面将提供用于在用户终端中使用基于手写的备忘录功能来执行特定命令的UI装置，以及支持该UI装置的方法。本公开的另一方面将提供用于在用户终端中使用基于手写的备忘录功能来交换问题与回答的UI装置，以及支持该UI装置的方法。本公开的另一方面将提供用于在用户终端中通过手写和语音来执行与用户的问答过程(questionandanswerprocedure)的UI装置，以及支持该UI装置的方法。本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中使用备忘录功能接收处理所选择的显示在屏幕上的笔记的全部或部分的命令。本公开的另一方面将提供一种UI装置和方法，其用于通过电子笔来支持在支持备忘录功能的用户终端中的在备忘录模式和命令处理模式之间的切换。本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中使得用户能够输入命令以用于控制特定应用或者在正在执行该特定应用期间控制其他应用。本公开的另一方面将提供一种UI装置和方法，其用于在用户终端中分析用户的备忘录样式并且考虑到分析出的备忘录样式来确定通过备忘录功能输入的信息。本公开的另一方面将提供一种UI装置和方法，其用于：当用户选择笔记内容时，在提供多个直观UI的用户终端中、在屏幕上显示用于处理用户所选择的笔记内容的菜单图标。本公开的再一方面将提供一种UI装置和方法，其用于支持用户所选择的笔记内容以便基于备忘录的UI和基于语音的UI可以在用户终端中选择性地使用。技术方案根据本公开的实施例，提供了一种用户终端中的UI方法。该方法包括：当用户选择了在屏幕上显示的笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。根据本公开的另一实施例，提供了一种用户终端中的UI装置。该终端被配置为：当用户选择了在屏幕上显示的笔记的内容的全部或部分时，显示用于处理所选择的内容的菜单图标，以及，当用户选择了所显示的菜单图标之一时，通过与所选择的菜单图标相对应的功能来处理所选择的内容。根据本公开的另一实施例，提供了一种用于在用户终端中操作用户接口UI的方法。该方法包括：在触摸屏上显示手写内容；在触摸屏上显示的手写内容处接收触摸输入；基于在显示的手写内容处的触摸输入识别第一输入信息；显示与识别的第一输入信息相关联的至少一个菜单图标；在选择显示的至少一个菜单图标之一时，启动对应于选择的菜单图标的应用；以及通过启动的应用处理显示的手写内容，如果显示的应用需要附加信息来处理应用，则获取第二输入信息，其中，获取第二输入信息还包括显示基于识别的第一输入信息生成的问题，响应于该问题接收附加信息，以及获取附加信息作为第二输入信息。根据本公开的另一实施例，提供了一种用于操作用户接口UI的终端。该终端包括：触摸屏，被配置为显示手写内容以及在显示的手写内容处接收触摸输入；以及至少一个处理器，被配置为：基于在显示的手写内容处的触摸输入识别第一输入信息；控制触摸屏以显示与识别的第一输入信息相关联的至少一个菜单图标；在选择显示的至少一个菜单图标之一时，启动对应于选择的菜单图标的应用；以及通过启动的应用处理显示的手写内容，如果显示的应用需要附加信息来处理应用，则控制触摸屏以显示基于识别的第一输入信息生成的问题，响应于该问题接收附加信息，以及获取附加信息作为第二输入信息。根据本公开的另一实施例，提供了用于存储指令的计算机程序的至少一个非暂态的处理器可读介质，该指令被配置为可由至少一个处理器读取以用于指示所述至少一个处理器执行：用于执行如上所述的用于在用户终端中操作用户接口UI的方法的计算机过程。对于本领域的技术人员来说，从以下结合附图进行的本公开的各种实施例的详细描述中，本公开的其它方面、优点和显著特征将变得明显。附图说明通过以下结合附图的描述，本公开的某些实施例的上述和其他目的、特征和优点将会更加清楚，附图中：图1为根据本公开的实施例的用于支持基于手写的自然语言交互(NaturalLanguageInteraction，NLI)的用户终端的框图；图2为根据本公开的实施例的在用户终端中用于支持基于手写的NLI的命令处理器的框图；图3为示出根据本公开的实施例的在用户终端中用于支持使用基于手写的NLI的用户接口(UI)的控制操作的流程图；图4示出根据本公开的实施例的通过备忘录功能请求基于特定应用或功能的操作的示例；图5示出根据本公开的实施例的用户的实际备忘录样式(memopattern)；图6示出根据本公开的实施例的示例，其中一个符号被解释为具有各种不同的含义；图7示出根据本公开的实施例的示例，其中包括组合的文本和符号的输入信息可以被解释为依赖于符号而具有不同的含义；图8示出根据本公开的实施例的使用符号学中的记号(sign)和符号(symb本文档来自技高网...

【技术保护点】
1.一种用于在用户终端中操作用户接口UI的方法，该方法包括：在触摸屏上显示手写内容；在触摸屏上显示的手写内容处接收触摸输入；基于在显示的手写内容处的触摸输入识别第一输入信息；显示与识别的第一输入信息相关联的至少一个菜单图标；在选择显示的至少一个菜单图标之一时，启动对应于选择的菜单图标的应用；以及通过启动的应用处理显示的手写内容，如果显示的应用需要附加信息来处理应用，则获取第二输入信息，其中，获取第二输入信息还包括：显示基于识别的第一输入信息生成的问题，响应于该问题接收附加信息，以及获取附加信息作为第二输入信息。

【技术特征摘要】
2012.08.30 KR 10-2012-00959501.一种用于在用户终端中操作用户接口UI的方法，该方法包括：在触摸屏上显示手写内容；在触摸屏上显示的手写内容处接收触摸输入；基于在显示的手写内容处的触摸输入识别第一输入信息；显示与识别的第一输入信息相关联的至少一个菜单图标；在选择显示的至少一个菜单图标之一时，启动对应于选择的菜单图标的应用；以及通过启动的应用处理显示的手写内容，如果显示的应用需要附加信息来处理应用，则获取第二输入信息，其中，获取第二输入信息还包括：显示基于识别的第一输入信息生成的问题，响应于该问题接收附加信息，以及获取附加信息作为第二输入信息。2.如权利要求1所述的方法，其中，所述至少一个菜单图标包括与邮件发送、呼叫、搜索、日程安排和消息发送当中的至少一个相关联的至少一个菜单图标。3.如权利要求1所述的方法，其中，第一输入信息是使用手指或触摸电子笔在触摸屏上输入的。4.如权利要求1所述的方法，其中，第一输入信息被输入到由备忘录应用提供的触摸屏上。5.如权利要求1所述的方法，其中，第一输入信息包括用于处理显示的手写内容的至少一个手写命令。6.一种用于操作用户接口UI...

【专利技术属性】
技术研发人员：裵婤允，金成洙，金桦庆，全珍河，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR