可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序技术方案

本发明专利技术提供可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序，能够从多个输入动作中容易地设定适当的输入动作。输入动作设定部选择应作为输入操作而接受的用户的动作。输入接受部从佩戴于用户并检测用户的至少一个部位的运动的传感器接受输出。输入接受部在基于传感器的输出检测到用户进行了输入动作设定部所选择的动作的情况下，接受动作作为用户的输入操作。输入动作设定部基于用户所处的环境以及输入操作以外的用户的作业动作中的至少一方，从预先决定的多个种类的用户的动作中选择应作为输入操作而接受的用户的动作，并设定于输入接受部。

【技术实现步骤摘要】
【国外来华专利技术】可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序
本专利技术涉及从将可穿戴设备佩戴于身体并进行作业的用户接受信息输入而进行处理，对用户显示输出信息等的系统。
技术介绍
近年来，例如在专利文献1以及2等中提出了如下技术：将被称为智能眼镜、智能手表等的眼镜型、手表型的可穿戴设备佩戴于身体上的作业者通过增强现实(AR)技术将表示作业用的开关的图像重叠显示在现实的风景上，能够进行该图像上的开关的操作，或者通过预定的用户进行基于手指的姿势来开始操作。具体而言，在专利文献1中公开了如下技术：在智能眼镜的显示画面上重叠显示预先准备好的键盘的图像，用户在显示画面上进行用自己的手指操作键盘图像的动作，由此判断为操作了键盘。此时，在专利文献1的技术中，为了将头戴式显示器的显示画面内的重叠显示键盘图像的位置设为用户容易操作的位置，将显示于显示画面的、安装于用户手腕上的设备的图像的位置作为标记(基准)来决定重叠显示键盘图像的位置。在专利文献2中公开了如下的可穿戴检索系统，即在眼睛上佩戴智能眼镜并在手腕上佩戴了动作传感器的用户一边观察对象物，一边用手指进行预定的姿势，从而开始对象物的图像检索。现有技术文献专利文献专利文献1：日本专利第6288372号公报专利文献2：日本特开2016-115125号公报
技术实现思路
专利技术要解决的课题在目前提出的技术中，操作系统时的输入动作是以手指操作在智能眼镜的显示画面上重叠显示的键盘图像的动作(专利文献1)或如用户的手指所进行的预定的姿势(专利文献2)那样预先由系统决定的动作。使用可穿戴设备的系统的长处在于用户无需在手中持有系统的终端等设备，用户希望一边使用双手进行期望的作业或动作一边操作系统来输入信息，从系统的显示画面等得到必要的信息的输出。然而，用户的双手被用于作业的道具挡住或具有作业空间狭窄等制约的情况也很多，用户有时难以用手指操作键盘图像或进行预定的姿势。本专利技术提供能够从多个输入动作中容易地设定适当的输入动作的可穿戴设备的控制系统。用于解决课题的手段为了实现所述目的，本专利技术的可穿戴用户接口控制系统具有：输入动作设定部，其选择应作为输入操作而接受的用户的动作；以及输入接受部，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于传感器的输出检测到用户进行了输入动作设定部所选择的动作的情况下，接受动作作为用户的输入操作。输入动作设定部基于用户所处的环境以及输入操作以外的用户的作业动作中的至少一方，从预先决定的多个种类的用户的动作中选择应作为输入操作而接受的用户的动作，并设定在输入接受部中。专利技术效果通过使用本专利技术的用户接口控制系统，能够根据用户所处的环境的作业内容，从多种输入动作中选择适当的输入动作。附图说明图1是表示使用了本实施方式的可穿戴用户接口控制系统的信息处理系统的整体结构的说明图。图2是表示图1的信息处理系统的各部的详细结构的框图。图3是表示实施方式的动作判定部121的动作的流程图。图4是表示实施方式的可穿戴UI控制系统101的结构的框图。图5是表示实施方式的信息处理系统的动作的流程图。图6是实施方式的可穿戴UI控制系统101所显示的画面例。图7是实施方式的可穿戴UI控制系统101所显示的画面例。图8是表示在实施方式的可穿戴用户接口控制系统中，初始条件、检测出的环境以及检测出的作业动作与应选择的输入方法的对应关系的说明图。图9是表示实施方式的可穿戴用户接口控制系统的动作的流程图。图10是实施方式的可穿戴UI控制系统101所显示的画面例。图11是实施方式的可穿戴UI控制系统101所显示的画面例。图12的(a)～(e)是表示实施方式的可穿戴UI控制系统101所显示的菜单画面和通过多个输入方法的组合来选择项目的工序的画面例。具体实施方式以下，对使用了本专利技术的实施方式的可穿戴用户接口控制系统的信息处理系统进行说明。《信息处理系统的整体结构》图1表示本实施方式的信息处理系统的整体结构，图2表示信息处理系统的各部的结构。如图1以及图2所示，本实施方式的信息处理系统具备可穿戴终端(作为一例为智能眼镜)10、可穿戴传感器(作为一例为带有运动传感器的智能手表)20、服务器40以及网络(作为一例为无线LAN(LocalAreaNetwork：局域网))30。智能眼镜10作为眼镜佩戴于用户(作业者)。智能手表20佩戴于用户的手腕。智能眼镜10和智能手表20经由无线LAN30与服务器40连接。智能眼镜10和智能手表20构成接受用户的输入操作并向用户输出(显示等)运算处理结果的用户接口(UI)。它们接受来自用户的输入操作的功能由可穿戴UI控制系统101来控制。在本实施方式中，可穿戴UI控制系统101进行控制以使智能眼镜10和智能手表20能够接受基于多种输入方法的输入操作，而且根据用户所处的环境或作业动作来选择输入方法并进行设定，以便能够通过适当的输入方法进行输入操作。在本实施方式中，对将可穿戴UI控制系统101配置在智能眼镜10内的CPU12内的结构的例子进行说明。但是，也能够将可穿戴UI控制系统101配置于智能手表20或服务器40上。在可穿戴UI控制系统101的控制下，智能眼镜10和智能手表20从用户接受的输入操作经由无线LAN30被交接给服务器40，在服务器40中执行预定的运算处理。运算处理结果经由无线LAN30通过智能眼镜10的显示功能或智能手表20的振动器功能被输出给用户。＜智能眼镜10＞如图2所示，智能眼镜10构成为具备眼镜、搭载在眼镜的一部分上的运动传感器14、摄像机15、显示部19、投影控制部18、无线通信设备13、系统控制器11、CPU12、主存储器16、存储设备17以及操作按钮51。运动传感器14通过检测移动速度或加速度，检测佩戴了眼镜的用户头部的上下左右的移动及旋转。摄像机15拍摄用户的视线方向等预定方向的图像。CPU12通过执行预先存储在主存储器16或存储设备17中的程序来执行各种运算。由此，CPU12分别实现动作判定部121和可穿戴UI控制系统101的功能。动作判定部121通过对运动传感器14的输出进行处理来检测用户是点头、是朝上或朝下、或是将头向左右摆动等用户预定的动作。具体而言，如图3所示，动作判定部121接受运动传感器14检测出的值(移动方向、移动速度、移动量、旋转方向、旋转速度、旋转量等)(步骤301)，代入到预先决定的数学式来计算特征量(步骤302)。判定计算出的特征量是否包含在预先决定的1个以上的动作(例如点头动作、朝上的动作、朝下的动作、将头向左或向右旋转的动作、将头向左右摆动的动作等)各自的特征量的范围内(步骤303)，在包含在任意一个动作的特征量的范围内的情况下，判定为用户进行了该动作(步骤304)。关于可穿戴UI控制系统1本文档来自技高网...

【技术保护点】
1.一种可穿戴用户接口控制系统，其特征在于，/n该系统具有：/n输入动作设定部，其选择应作为输入操作而接受的用户的动作；以及/n输入接受部，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于所述传感器的输出，检测到用户进行了所述输入动作设定部所选择的所述动作的情况下，接受所述动作作为用户的输入操作，/n所述输入动作设定部基于所述用户所处的环境以及所述输入操作以外的用户的作业动作中的至少一方，从预先决定的多种用户的动作中选择应作为所述输入操作而接受的所述用户的动作，并设定于所述输入接受部。/n

【技术特征摘要】
【国外来华专利技术】20190215 JP 2019-0252811.一种可穿戴用户接口控制系统，其特征在于，
该系统具有：
输入动作设定部，其选择应作为输入操作而接受的用户的动作；以及
输入接受部，其接受佩戴于用户并检测用户的至少一个部位的动作的传感器的输出，在基于所述传感器的输出，检测到用户进行了所述输入动作设定部所选择的所述动作的情况下，接受所述动作作为用户的输入操作，
所述输入动作设定部基于所述用户所处的环境以及所述输入操作以外的用户的作业动作中的至少一方，从预先决定的多种用户的动作中选择应作为所述输入操作而接受的所述用户的动作，并设定于所述输入接受部。


2.根据权利要求1所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部在是预先决定的试用期间的情况下，检测所述用户所处的环境以及所述输入操作以外的用户的作业动作中的至少一方，并基于检测结果选择应作为所述输入操作而接受的所述用户的动作。


3.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部检测用户的手里是否持有道具以及从用户到墙壁的距离是否为预定的距离以上中的至少一方，作为所述用户所处的环境。


4.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部检测用户的手和头的动作中的至少一方，作为所述用户的作业动作。


5.根据权利要求2所述的可穿戴用户接口控制系统，其特征在于，
所述输入动作设定部将预先决定的多种用户的动作中与作为所述作业动作而被检测出...

【专利技术属性】
技术研发人员：高野昌树，桑田纯一，桥爪小百合，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP