画面显示控制方法及画面显示控制系统技术方案

本发明专利技术提供位于与显示器分离的场所的操作者能够在所述场所操作指示器的方法。本发明专利技术的画面显示控制方法是使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对操作者指示所述显示器的手的部分连同具有矩形状的框及显示区域的所述显示器一起进行摄影；使用计算机，提取可穿戴式终端的摄影图像中的矩形框的顶点的位置及手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的显示区域内的位置，如果有，则使指示器显示于所述位置。

Screen Display Control Method and Screen Display Control System

【技术实现步骤摘要】
画面显示控制方法及画面显示控制系统
本专利技术涉及一种画面显示控制方法及画面显示控制系统，更详细来说涉及一种操作者佩戴可穿戴式终端，不与显示器接触地远距离操作指示器(pointer)的技术。
技术介绍
已知如下技术，即，使用安装于头部的传感器及相机图像，根据相机图像算出手指或标记等在相机内的坐标位置，基于所算出的坐标位置来识别形状或动作。例如，非专利文献1中，以如下系统为目标，该系统使用安装于头部的传感器及相机图像追踪指尖的位置，通过将所获得的指尖的轨迹重叠显示于头戴式显示器(HMD，HelmetMountedDisplay)而实现指尖轨迹的空中描绘。其中，为了求出头部的姿势的变化经修正后的指尖的轨迹，使用相机图像来进行空间位置对准的处理。针对相机图像提取局部特征点(具体来说作为SURF(SpeededUpRobustFeatures，稳定特征加速算法)被知晓的特征点)，在相机图像的帧间进行局部特征点的相关联，根据从传感器信息中去除了已明确的错误对应的对应点算出投影变换矩阵。而且，已知如下电子设备，其虽不是可穿戴式终端，但根据从装入的相机获得的输入图像检测使用者的手，生成将检测到的手缩小而成的图像并重叠显示于触摸面板的操作画面，执行与触摸面板内的手图像的位置处的触摸操作相应的命令(例如参照专利文献1)。现有技术文献[专利文献][专利文献1]日本特开2015-230496号公报[非专利文献][非专利文献1]田中雄规等“来自相机图像与传感器的利用头部位置·姿势追踪的指尖轨迹的空中描绘系统”，信息处理学会研究报告，2015年3月31日，Vol.2015-HCI-62No.7
技术实现思路
本专利技术所要解决的技术问题然而，非专利文献1的方法中，除相机以外还使用传感器，且，对多个局部特征量进行处理，因而计算量大而耗费处理时间。而且，专利文献1中，在物件密集显示的情况下，使用比手指直接操作触摸面板小的尺寸的手图像进行操作，由此减轻误操作，就该点而言，目的及构成不同于在与显示器分离的场所操作指示器的本专利技术。本专利技术考虑以上情况而完成，提供位于与显示器分离的场所的操作者能够在该场所操作指示器的方法。此外还提供如下的方法：操作者的视点与佩戴于操作者的头部的可穿戴式终端所摄影的视点之间的偏移，少于例如可穿戴式终端佩戴于操作者的胸部或手臂的情况或代替可穿戴式终端的相机设置于显示器或房间的墙壁等的情况，能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。解决问题的手段(1)本专利技术提供一种画面显示控制方法，使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影；使用计算机，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；如果有所述位置，则使指示器显示于该位置。(2)而且，从不同的观点考虑，本专利技术提供一种画面显示控制程序，其使计算机执行下述处理：从佩戴于操作者的头部的可穿戴式终端，获取对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影所得的图像；提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及如果有所述位置，则使指示器显示于该位置。(3)进而，从不同的观点考虑，本专利技术提供一种画面显示控制系统，包括：显示器，具有矩形状的框及显示区域；可穿戴式终端，佩戴于操作者的头部，且对所述操作者指示所述显示器的手的部分连同该显示器一起进行摄影；指示器处理部，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及显示处理电路，如果有所述位置，则使指示器显示于该位置。专利技术效果本专利技术的所述(1)的画面显示控制方法使用佩戴于操作者的头部的可穿戴式终端，对所述操作者指示的手的部分连同显示器一起进行摄影，使用计算机，根据显示器的矩形框的顶点的位置及所指示的位置在摄影图像中的位置关系，决定是否有与所述手的部分对应的所述显示区域内的位置，因而位于与显示器分离的场所的操作者能够在该场所操作指示器。此外，即便操作者的视点与可穿戴式终端所摄影的视点之间有偏移，也能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。也就是，操作者的视点与佩戴于所述操作者的头部的可穿戴式终端的摄影的视点离得近，并且，操作者的眼睛的方向与佩戴于头部的可穿戴式终端的摄影方向与姿势无关而处于固定的关系。而且，如果有与操作者利用手的部分所指示的位置对应的显示区域内的位置，则能够基于矩形框的顶点的位置精度佳地决定。所述(2)及(3)也实现相同的作用效果。附图说明图1是表示本实施方式中的画面显示控制系统的构成的框图。图2是表示本实施方式中的可穿戴式终端的一例的说明图。图3是表示本实施方式中的画面显示控制的处理的流程的流程图。图4是表示图3中算出显示区域的四顶点的坐标值的处理的详情的流程图。图5是表示本实施方式中规定显示区域的四条线段的检测例的说明图。图6A是用于说明本实施方式中两边的交点坐标的算出顺序的曲线图。图6B是表示与图6A不同的形态的两边的曲线图。图7是表示本实施方式中的摄影图像上的位置与显示器的显示区域上的位置的对应的说明图。图8是表示本实施方式中提取手的部分的处理的流程图。图9是表示本实施方式中所提取的肤色区域的一例的说明图。图10是表示本实施方式中提取指尖的位置的情况的说明图。图11是表示本实施方式中包含规定显示区域的四条边全部无法检测到的情况下的处理的流程图。图12是表示本实施方式中算出显示区域的顶点的位置的处理的流程图。具体实施方式以下，使用附图对本专利技术进行更详细叙述。另外，以下的说明中，所有方面均为例示，不应解释为对本专利技术进行限定。(第一实施方式)《系统的构成》图1是表示作为本专利技术的实施的一形态的画面显示控制系统的构成的框图。图1所示的画面显示控制系统包含显示器11、计算机13、可穿戴式终端15、键盘17及鼠标19而构成。可穿戴式终端15具有相机15c。显示器11具有矩形状的显示区域，也就是画面的区域。而且，从计算机13接收图像显示信号，基于所接收到的图像显示信号进行图像的显示。键盘17及鼠标19将与操作者的操作相应的信号发送到计算机13。会议等中，存在如下情形：多个人观看大型显示器，发言时想要以指示器指示显示器的想要说明的部分。本实施方式中，参加会议的发言人如图2那样，在操作者头部21的眼睛附近的位置佩戴可穿戴式终端15。而且，发言人成为使用可穿戴式终端15操作指示器的操作者。可穿戴式终端15具有相机15c，相机15c将对视频进行拍摄而摄影所得的图像(视频数据)发送到计算机13。本实施方式中，视频数据是包含随时间的经过而依次摄影所得的动态图像，也就是，与多个时本文档来自技高网...

【技术保护点】
1.一种画面显示控制方法，其特征在于，使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的所述显示器一起进行摄影；使用计算机，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；如果有所述位置，则使指示器显示于所述位置。

【技术特征摘要】
2017.11.09 JP 2017-2163801.一种画面显示控制方法，其特征在于，使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的所述显示器一起进行摄影；使用计算机，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；如果有所述位置，则使指示器显示于所述位置。2.根据权利要求1所述的画面显示控制方法，其特征在于，使用所述计算机识别映在所述摄影图像中的所述操作者的手势，对所述指示器的位置进而进行与所识别的手势相应的操作。3.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述顶点的位置是对映在所述摄影图像中的表示所述显示器的显示区域的四边进行检测，根据各边或者将各边延长所得的直线的交点的位置而求出。4.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述指示的位置设为所述摄影图像中的肤色区域的像素内位于最上部的像素的位置。5.根据权利要求1或2所述的图像处理装置，其特征在于，所述指示的位置设为所述摄影图像中的肤色区域的像素内最亮的像素的位置。6.根据权利要求4或5所述的画面显示控制方法，其特征在于，所述显示区域中的肤色区域基于各像素是否属于肤色的判定来提取，是否属于肤色的判定中使用的阈值根据显示于所述显示区域的内容中所含的颜色成分的构成进行变更。7.根据权利要求4或5所述的画面显示控制方法，其特征在于，所述显示区域中的肤色区域基于各像素是否属于肤色的判定来提取，将相邻的像素属于肤色的区域中的最大区域设为所述肤色区域。8.根据权利要求1或2所述的画面显示控制方法，其特征在于，在与所述指示的位置对应地决定的位置位于所述显示区域之外的情况下，使显示的指示器不移动或移去所显示的指示器。9.根据权利要求1或2所述的画面显示控制方法，其特征在于，与所述指示的位置对应的指示器的位置是以所述顶点的位置呈矩形的方式将投影变换应用于所述摄影图像中的所述顶点的位置及所指示的位置，而决定为指尖投影到所述显示区域的位置。10.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述计算机从分别佩戴在多个操作者的头部的多个可穿戴式终端，获取对各个操作者的手的部分连同所述...

【专利技术属性】
技术研发人员：村上义则，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本,JP