投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序技术方案

在将可视化信息投影到被投影面时，感测未被适当地投影的部位，并将这一意思输出。本发明专利技术的一个方式的投影适当与否感测系统(100)，基于操作对象目标(OB)的拍摄图像，来感测操作对象目标(OB)的被投影面是否产生投影失真，并将感测结果输出到指示者(CR)侧。

Sensing system with or without proper projection, sensing method with or without proper projection and sensing procedure with or without proper projection

【技术实现步骤摘要】
【国外来华专利技术】投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序
本公开涉及感测通过投影装置向投影对象投影内容时的投影的适当与否的投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序。
技术介绍
近年来，开发了将图形、文字、静止图像、影像等视觉信息重叠显示在表示实际空间的图像上的增强现实(AugmentedReality，AR)技术。根据AR技术，例如，在操作现场，能使表示操作方法的影像等与操作对象物重叠，或者在医疗现场，能使诊察图像等与患者的身体重叠。作为AR技术的实施方式，存在光学透视(seethrough)型、视频透视型，投影(projection)型等方式。在光学透视型、视频透视型这样的方式中，在多人同时观察相同的AR信息的情况下，需要各自穿戴专用的设备。相对于此，在投影型AR技术中，具有不用各自穿戴专用设备，也能多人同时观察相同的AR信息的优点。投影型AR技术是如下的技术：使用对物体投影图形、文字、静止图像、影像等视觉信息的投影装置，将在计算机上生成或者加工后的影像由投影装置进行投影，并使影像重叠在实际空间内的物体。在专利文献1中，作为使用了该技术的投影型AR操作辅助方法，公开了一种针对在操作现场进行操作的用户(以下，记作操作者)，将由从远程进行指示的用户(以下，记作指示者)输入的指示信息作为AR内容投影到操作现场的方法。现有技术文献专利文献专利文献1：WO2016/084151(2016年6月2日)
技术实现思路
专利技术要解决的问题然而，在像专利文献1所记载的投影型AR操作辅助技术中，基本上拍摄装置与操作者的位置是分开的，因此观察拍摄装置的拍摄影像的指示者的视点位置与操作者的视点位置不同。因此，在专利文献1所记载的方法中，在拍摄装置的拍摄影像中没有考虑操作对象的倾斜、凹凸，在该状态下，指示者将操作指示输入后的结果是：在由操作者观察被投影的AR内容(以下，称作投影内容或者可视化信息)时，有时投影内容会被视觉确认为与由指示者作为操作指示而输入的形状不同的形状。本公开是鉴于以上的问题而完成，其目的在于提供下述的投影适当与否感测系统、投影适当与否感测方法以及投影适当与否感测程序：具备将可视化信息投影到投影对象的投影装置，根据构成操作对象的面的形状的特征，分别由指示者的视点与操作者的视点来感测可视化信息未被适当投影的部位，并将感测结果通知给指示者。技术方案为了解决上述的问题，本公开的一个方案的投影适当与否感测系统具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二终端，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述第一终端与所述第二终端在能相互通信的范围中分离，所述投影适当与否感测系统具备感测部，该感测部基于所述拍摄图像，感测所述被投影面是否产生投影失真，所述第一终端具备：输出部，输出所述感测部的感测结果。此外，为了解决上述的问题，本公开的一个方案的投影侧终端与包括接受对象物的拍摄图像上的位置的指定的指示装置的指示侧终端在能通信的范围中分离，并包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述投影侧终端具备基于所述拍摄图像来感测所述被投影面是否产生投影失真的感测部，将所述感测部的感测结果发送至所述指示侧终端。此外，为了解决上述的问题，本专利技术的一个方案的指示侧终端包括接受对象物的拍摄图像上的位置的指定的指示装置，所述指示侧终端与包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置的投影侧终端在能通信的范围中分离，所述指示侧终端具备：感测部，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及输出部，输出所述感测部的感测结果。此外，为了解决上述的问题，本公开的一个方案的投影适当与否感测方法用于投影适当与否感测系统，所述投影适当与否感测系统具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二种终端，与所述第一终端在能通信的范围中分离，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述投影适当与否感测方法包括：感测步骤，基于所述拍摄图像来感测所述被投影面是否产生投影失真；以及输出步骤，在所述第一终端中，输出所述感测步骤的感测结果。此外，为了解决上述的问题，本公开的一个方案的投影适当与否感测程序用于使计算机作为所述构成的投影适当与否感测系统的各部而发挥功能，所述投影适当与否感测程序用于使计算机作为所述感测部以及所述输出部而发挥功能。专利技术效果根据本公开的一个方案，能感测在将可视化信息(投影内容)投影到投影对象时未被适当地投影的部位，通过将这一意思输出而使指示者收到这一意思的通知。附图说明图1是作为本公开的一个实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。图2是表示本公开的一个实施方式的投影适当与否感测系统的构成的构成图。图3是表示本公开的一个实施方式的投影适当与否感测系统的功能块的图。图4是表示本公开的一个实施方式的投影适当与否感测系统的操作者侧装置以及指示装置的构成例的框图。图5是表示本公开的一个实施方式的投影适当与否感测系统的面估计处理部的构成的框图。图6是表示本公开的一个实施方式的投影适当与否感测系统的投影失真通知方法的一个示例的图。图7是用于发送本公开的一个实施方式的投影适当与否感测系统的操作者侧装置的投影失真检测结果、以及影像码的处理的流程图。图8是本公开的一个实施方式的投影适当与否感测系统的操作者侧装置从指示装置接收信息的情况的流程图。图9是表示本公开的一个实施方式的投影适当与否感测系统的指示装置的处理的流程图。图10是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。图11是表示本公开的其他实施方式的投影适当与否感测系统的指示装置的处理的流程图。图12是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。图13是表示本公开的其他实施方式的投影适当与否感测系统的功能块的一部分的图。图14是作为本公开的其他实施方式的投影适当与否感测系统的投影型AR操作辅助系统的利用场景的示意图。图15是表示本公开的一个实施方式的投影适当与否感测系统的指示装置的处理的流程图。图16是说明图15所示指示装置的处理的一部分的图。具体实施方式〔实施方式1〕以下，基于图1至图9对本公开的一个实施方式的投影适当与否感测系统进行说明。<投影适当与否感测系统100的使用形态以及系统的概要>图1是示意性地表示本实施方式1的投影适当与否感测系统100的使用形态的一个示例的图。在图1所示的示例中，示出操作现场WS以及指示室CS，并示出处于操作现场WS的操作者WR从处于指示室CS的指示者CR收到关于操作对象目标OB的操作指示的情况。指示者CR能使用配置于操作现场WS的投影装置105，使表示指示内容的投影内容106投影并显示于操作对象目标OB的特定的位置。然后，操作者WR能观看该被投影的投影内容106同时进行操作。与此同时，操作现场WS的情况由配置于操作现场WS的拍摄装置107拍摄，指示本文档来自技高网...

【技术保护点】
1.一种投影适当与否感测系统，具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二终端，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述第一终端与所述第二终端在能相互通信的范围中分离，所述投影适当与否感测系统，其特征在于，具备：感测部，基于所述拍摄图像，感测所述被投影面是否产生投影失真，所述第一终端，具备：输出部，输出所述感测部的感测结果。

【技术特征摘要】
【国外来华专利技术】2017.02.01 JP 2017-0170611.一种投影适当与否感测系统，具备：第一终端，包括接受对象物的拍摄图像上的位置的指定的指示装置；以及第二终端，包括将可视化信息投影到与所述拍摄图像上的被指定的位置对应的所述对象物的被投影面的投影装置，所述第一终端与所述第二终端在能相互通信的范围中分离，所述投影适当与否感测系统，其特征在于，具备：感测部，基于所述拍摄图像，感测所述被投影面是否产生投影失真，所述第一终端，具备：输出部，输出所述感测部的感测结果。2.根据权利要求1所述的投影适当与否感测系统，其特征在于，所述感测部，基于所述投影装置将参照图像投影到所述被投影面时的，所述拍摄图像与所述参照图像的各个像素的对应位置关系，来感测所述被投影面是否产生投影失真。3.根据权利要求1或2所述的投影适当与否感测系统，其特征在于，所述感测部基于所述被投影面相对于所述投影装置的投影方向的角度，来感测所述被投影面是否产生投影失真。4.根据权利要求1至3中任一项所述的投影适当与否感测系统，其特征在于，所述输出部通过以下方式来输出所述被投影面产生投影失真的情况：(1)在所述指示装置中，在所述拍摄图像上的所述被指定的位置，显示与所述可视化信息不同的图像；(2)在所述指示装置中，在与所述拍摄图像上的所述被指定的位置不同的位置显示内容；或者(3)使所述指示装置振动。5.根据权利要求1至4中任一项所述的投影适当与否感测系统，其特征在于，所述感测部包括...

【专利技术属性】
技术研发人员：三宅太一，大津诚，市川拓人，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本,JP