控制用户界面的方法、程序及装置制造方法及图纸

提供一种控制用户界面的方法，所述用户界面根据用户对显示画面进行的操作来对应用程序发出指示，所述控制用户界面的方法包括：由具有所述画面的装置取得所述显示内容的步骤；抽出所取得的所述显示内容中存在的1个以上的特征的步骤；接收用户的动作的步骤；根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作的步骤；将检索到的与所述动作不同的规定操作相应地应用于所述显示内容，从而向所述应用程序发出指示的步骤。

Method, Program and Device for Controlling User Interface

【技术实现步骤摘要】
【国外来华专利技术】控制用户界面的方法、程序及装置
本专利技术涉及一种控制用户界面的方法、程序及装置。
技术介绍
移动电话、平板计算机等便携式终端、音乐播放装置、笔记本计算机等具备CPU的设备中，可运行多种多样的应用程序。这些应用程序具备用户界面，用于接收用户发出的指示并向用户提供信息。在这些设备中运行的应用程序各为独自设计，各有独自的用户界面，并以独自的方式实现用户与设备之间的互动。当然，在同一操作系统中运行的应用程序中，对操作系统提供的基本用户界面进行统一化的情况居多。另外，由同一企业根据同一设计思想开发出的应用程序群中，多采用相同的用户界面。然而，世界上存在多种操作系统，并且，在操作系统水平受到支持的周边设备也有多种，因此所述基本用户界面会有根据操作系统而异的情况。另外，即使是同一企业根据同一设计思想制作的应用程序群，其中也会有用户界面具有相异部分的情况。此外，即使是相同应用程序，根据不同版本，用户界面会有变更。由此，用户与设备之互动根据每个应用程序而异的情况较多。此外，在驾驶汽车等的情况下，有时无法操作便携式终端，有时会造成驾驶中的应用程序操作障碍。因此，例如扩大显示画面时，根据应用程序，可以通过扩大手势(pinchout)发出指示，通过双击鼠标发出指示，通过使鼠标滑轮旋转而发出指示等，存在各种指示方式。从而，即使在发出相同指示的情况下，根据各个应用程序，会要求用户进行不同的操作。另外，还有驾驶中等导致操作本身受障碍的情况。现在已有在这种情况下将用户通过界面进行的操作置换成其他操作的技术。例如，利用具备声音及/或手动用户界面，进入(access)可以通过选项单阶层来进行存取的装置功能，从而能够根据被称为声音捷径的一种声音指令进行分支捷径化。所述装置具有：用于存储用户的相互作用系列的存储元件；用于寻找与存储的相互作用系列对应的声音捷径的元件；在发现了声音捷径的情况下，向用户发出信息，以向用户通知所述声音捷径的存在情况的元件(例如，参照专利文献1)。此外，在用于从数据库查询及显示记录的用户界面，被赋予用户特定档(userprofile)及进行操作，以与其他基准相同的方式协助查询。例如已有一种技术，采用与由用户将明示性选择以规则形式组入用户特定档的、更为典型的选择特定档相同的方式，将所述“默认的”特定档追加到查询中(例如，专利文献2参照)。然而，这种置换操作技术是一种以通过对特定应用程序实现捷径等来达到节省操作者的时间劳力等目的的技术。因此，根据这种历来技术，为了按照每个应用程序进行与用户的各操作对应的动作，需要按各应用程序进行设计。依然是，应用程序的开发者需要按每个应用程序来制作用户界面，用户需要学习与所述用户界面相应的操作。因此，被要求在各种利用状况下进一步提高用户对各种应用程序的易存取性、易用性等(可及性)。<现有技术文献><专利文献>专利文献1:日本特开2000-231398号公报专利文献2:日本特表2003-529154号公报
技术实现思路
<本专利技术要解决的课题>本专利技术的技术其目的在于进一步提高用户对各种应用程序的易存取性、易用性等(可及性)。<解决上述课题的手段>一个实施方式公开了一种控制用户界面的方法，所述用户界面根据用户对显示画面进行的操作，来对应用程序发出指示，所述方法包括：由具有所述画面的装置取得所述显示的步骤；抽出所取得的所述显示中存在的1个以上的特征的步骤；接收用户的动作的步骤；根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作的步骤；将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示，从而向所述应用程序发出指示的步骤。<专利技术的效果>根据本专利技术的技术，能够进一步提高用户对各种应用程序的易进接性、易用性等(可及性)。附图说明图1是例示一个实施方式的设备结构的图。图2是说明一个实施方式的功能概要的图。图3是例示一个实施方式中的动作定义的图。图4是例示应用程序的具体显示的图。图5是例示画面的扩大及缩小指示的图。图6是表示一个实施方式的动作的流程图。图7是例示实现一个实施方式的用户界面控制程序的运行环境的图。图8是例示实现一个实施方式的用户界面控制程序的运行动作环境的图。图9是例示从用户的动作、显示画面的特征抽出结果等，作成用于抽出适当的指示及操作的数据库的图。图10是例示硬件结构的图。具体实施方式＜设备结构的例示＞图1表示一个实施方式的设备结构例。本实施方式包括便携式终端100、服务器110及界面装置160。其中，服务器110及界面装置160并非是必不可少的结构，也可以仅由便携式终端100实现本实施方式。本实施方式可由例如在便携式终端100中运行的程序实现。或者，本实施方式亦可由便携式终端100与其他装置(例如，服务器110、界面装置160)共同实现。还可以作为方法专利技术实现本实施方式。另外，实施方式也可以通过装置等物体专利技术实现。界面装置160接收例如用户142发出的声音140、人的手指的手势152、手势154、来自开关SW130的信号等信息。界面装置160将接收的信息变换成电信号，并能够通过无线或有线的通信145，将变换后的信息发送给便携式终端。便携式终端100中设置有移动电话网、无线局域网(WiFi)、蓝牙(注册商标)、近距离无限通信(NFC)等通信功能。便携式终端100利用通信功能，例如利用互联网等网络或P2P通信，与其他便携式终端或服务器110等的各种计算机进行通信，从而能够传递各种信息。另外，便携式终端100也可以不经过界面装置160就接收声音140、人的手指的手势152、手势154、来自开关SW130的信号等信息。便携式终端100具有1个以上的照相机102，能够以动画或静止画的方式取得例如人的手指的手势152、手势154等。另外，便携式终端100可以通过传声器106取得用户142发出的声音140。另外，可以利用与便携式终端连接的开关SW130，使便携式终端100获取由用户142输入的指示。便携式终端100还可以具备用于连接开关SW130的端子(未图示)。或者，便携式终端100与开关SW130可以是无线连接。另外，便携式终端具有显示器104。显示器104的显示画面，在本实施方式中利用于模式识别。一个实施方式中，如下所述，可以通过网络NW120从服务器110向便携式终端提供数据库的更新信息。或者，可以通过网络NW120从便携式终端100向服务器110中的数据库发送检索指示，便携式终端100从服务器110取得检索结果。下述数据库存在于与网络NW120连接的任意的硬件结构中即可。在此，图1中表示移动电话形式的便携式终端100，但便携式终端100并不限定于移动电话，例如，还可以是埋设固定在汽车前面板(frontpanel)等的硬件结构。或，便携式终端100还可以是具有通信功能的手表，或其他可穿戴式的设备。另外，界面装置160还可以是固定在汽车方向盘等的硬件结构。图2是说明一个实施方式的功能概要的图。更详细而言，图2表示对便携式终端中运行的用于显示地图的应用程序的用户界面进行控制的实施方式。首先，说明图2的地图应用程序的动作。其后说明一个实施方式。＜地图应用程序的原本动作的说明＞图2(A)中，表示便携式终端10本文档来自技高网...

【技术保护点】
1.一种对用户界面进行控制的方法，所述用户界面根据用户对画面的显示内容进行的操作来发出针对应用程序的指示，所述方法包括由具有所述画面的装置进行的如下步骤：取得步骤，取得所述显示内容；抽出步骤，抽出所取得的所述显示内容中存在的1个以上的特征；接收步骤，接收用户的动作；检索步骤，根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作；及指示步骤，将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示内容，从而向所述应用程序发出指示。

【技术特征摘要】
【国外来华专利技术】2016.10.12 JP 2016-2011711.一种对用户界面进行控制的方法，所述用户界面根据用户对画面的显示内容进行的操作来发出针对应用程序的指示，所述方法包括由具有所述画面的装置进行的如下步骤：取得步骤，取得所述显示内容；抽出步骤，抽出所取得的所述显示内容中存在的1个以上的特征；接收步骤，接收用户的动作；检索步骤，根据接收的所述动作及抽出的所述1个以上的特征，从数据库中检索规定操作；及指示步骤，将检索到的与所述动作不同的所述规定操作，相应地应用于所述显示内容，从而向所述应用程序发出指示。2.根据权利要求1所述的方法，其中，在所述抽出步骤中，利用对所述显示内容的模式识别方法，抽出所述1个以上的特征。3.根据权利要求1或2所述的...

【专利技术属性】
技术研发人员：青山智信，佐佐木竜生，片冈诚一，
申请(专利权)人：英智爱软件股份公司，
类型：发明
国别省市：日本,JP