推定系统、推定方法及推定程序技术方案

本发明专利技术涉及推定系统，从拍摄图像确认规定空间内的具有标记的目标物体的位置及方向。当推定具有多个标记并由用户通过装戴来观看影像的可穿戴设备的在规定空间内的位置及姿势时，对包含在规定空间中的每一个不同的多个区域，存储各区域中存在可穿戴设备的情况下的预姿势数据，接收拍摄包括可穿戴设备的规定空间的拍摄图像，从可穿戴设备接收表示可穿戴设备的姿势的姿势信息，利用拍摄图像及预姿势数据，确认多个区域中有可能存在可穿戴设备的区域，在基于依次发送的拍摄图像的相继于第一拍摄图像的第二拍摄图像来推定可穿戴设备的位置及姿势的情况下，从第一拍摄图像中的位置及姿势，基于接收第一拍摄图像之后接收到的姿势信息去除用于第二拍摄图像的预姿势数据的影响，来推定区域。

Presumption system, inference method and presumptive procedure

The invention relates to a presumption system that confirms the position and direction of the marked object in the prescribed space from the captured image. When it is presumed that a wearable device with a plurality of tags and a wearable device that is worn to watch the image is positioned and posed in a specified space, the pre pose data of the wearable device in each region is stored for each of the different regions contained in the specified space, and the receiving and taking of the wearable device includes the wearable device. The photographed image of the prescribed space, receiving the posture information of the wearable device from the wearable device, using the photographed image and the prepose data, confirms the area of the wearable device in the multiple regions, and the second photographed images of the first photographed image on the basis of the photographed images sent in turn. When the position and posture of the wearable device is presumed, the position and posture in the first photographed image are removed from the pose information received after receiving the first photographed image to remove the influence of the pre pose data for the second photographed image to deduce the region.

【技术实现步骤摘要】
推定系统、推定方法及推定程序
本专利技术涉及从拍摄有规定空间的拍摄图像推定出存在于规定空间内的可穿戴设备的位置及姿势的推定系统、推定方法及推定程序。
技术介绍
近年来，利用头戴式显示器的增强现实(AR，AugmentedReality)技术、虚拟现实(VR，VirtualReality)技术发展显著。当利用这样的头戴式显示器向用户提供影像时，确认用户所在的位置，并且还提供对应于该位置的影像。在专利文献1中具有如下的技术：作为用于确认规定空间内所处的人物的姿势或位置的技术，给人物或物体附着作为标记的发光二极管(LED)，从该发光二极管的发光颜色或发光图案、以及与用于检测它的发光二极管的发光同步的摄像头来确认出是附着于哪个部位的发光二极管，并且确认人物的姿势或位置(参照专利文献1)。现有技术文献专利文献专利文献1：日本特开2003-35515号公报然而，当基于由外部摄像头拍摄的拍摄图像，来确认装戴了头戴式显示器的用户的位置时，最好是同步连接外部摄像头和头戴式显示器并进行确认。这是因为通过取得同步，利用如专利文献1中的方法来真实地提供对应于该位置及方向的图像。在这种情况下，考虑到相互通信延迟等问题时，外部摄像头与头戴式显示器以有线连接为优选。然而，就头戴式显示器而言，当考虑到各种部件的安装空间有限或可用性时，有线连接往往会干扰用户，因此设置用于连接外部摄像头的连接端口为不优选的。进而，摄像头需要用于连接同步同步电缆的加工。还可考虑无线连接，但在这种情况下，有可能在同步处理中发生问题。
技术实现思路
因此，本专利技术鉴于上述问题而完成，其目的在于，提供如下的推定系统：在外部摄像头与头戴式显示器之间无需进行同步，从来自外部摄像头的拍摄影像来推定头戴式显示器的规定空间内的位置及姿势。为了解决上述问题，根据本专利技术的一实施方式的推定系统包括：可穿戴设备，用户通过装戴来观看影像；推定装置，用于推定在规定空间内的可穿戴设备的位置及姿势；以及拍摄部，用于拍摄规定空间，可穿戴设备具有：多个标记，位于包装表面；检测部，依次检测指示自身设备的姿势的姿势信息；以及第一发送部，将姿势信息依次发送给推定装置，推定装置具有：存储部，对包含在规定空间中的每一个互不相同的多个区域，存储各区域中存在可穿戴设备的情况下的预姿势数据；第一接收部，接收姿势信息；第二接收部，从拍摄部接收拍摄图像；以及推定部，利用拍摄图像及预姿势数据，推定在多个区域中的有可能存在可穿戴设备的区域，在基于依次发送的拍摄图像中的相继于第一拍摄图像第二拍摄图像来推定可穿戴设备的位置及姿势的情况下，从第一拍摄图像中的位置及姿势，基于接收第一拍摄图像之后接收到的姿势信息去除用于第二拍摄图像的预姿势数据的影响，来推定区域。为了解决上述问题，根据本专利技术的一实施方式的推定方法为用于推定具有多个标记并由用户通过装戴来观看影像的可穿戴设备的在规定空间内的位置及姿势，其中，包括：存储步骤，对包含在规定空间中的每一个互不相同的多个区域，存储各区域中存在可穿戴设备的情况下的预姿势数据；第一接收步骤，接收拍摄有可穿戴设备所包括在内的规定空间的拍摄图像；第二接收步骤，从可穿戴设备接收表示可穿戴设备的姿势的姿势信息；以及推定步骤，利用拍摄图像及预姿势数据，推定在多个区域中的有可能存在可穿戴设备的区域，在基于依次发送的拍摄图像中的相继于第一拍摄图像第二拍摄图像来推定可穿戴设备的位置及姿势的情况下，从第一拍摄图像中的位置及姿势，基于接收第一拍摄图像之后接收到的姿势信息去除用于第二拍摄图像预姿势数据的影响，来推定区域。为了解决上述问题，根据本专利技术的一实施方式推定程序用于在计算机中推定具有多个标记并由用户通过装戴来观看影像的可穿戴设备的在规定空间内的位置及姿势，上述推定程序可实现如下的功能：存储功能，对包含在规定空间中的每一个互不相同的多个区域，存储各区域中存在可穿戴设备的情况下的预姿势数据；第一接收功能，接收拍摄有可穿戴设备所包括的规定空间的拍摄图像；第二接收功能，从可穿戴设备接收表示可穿戴设备的姿势的姿势信息；以及推定功能，利用拍摄图像及预姿势数据，推定在多个区域中的有可能存在可穿戴设备的区域，在基于依次发送的拍摄图像中的相继于第一拍摄图像第二拍摄图像来推定可穿戴设备的位置及姿势的情况下，从第一拍摄图像的位置及姿势，基于接收第一拍摄图像之后接收到的姿势信息去除用于第二拍摄图像的预姿势数据的影响，来推定区域。并且，在上述推定系统中，在各个多个标记中，分配有固有的标识符，推定部还可通过推定包括在拍摄图像中的可穿戴设备的标记是否符合固有的标识符的任一个，来推定可穿戴设备的位置及姿势。并且，在上述推定系统中，姿势信息还可包括表示基本位置相对于三轴的方向的信息和表示相对于各个轴的旋转的状态的信息。并且，在上述推定系统中，推定部可进一步确认对每个标记设定的法向量的方向，基于所确认的法向量，来推定可穿戴设备的位置及姿势。并且，在上述推定系统中，多个标记可以为发光二极管。并且，在上述推定系统中，推定系统还可具有基于推定部推定的可穿戴设备的规定空间中的位置及姿势来生成并发送要在可穿戴设备上显示的影像的影像发送装置。并且，在上述推定系统中，存储部还可存储接收到的多个姿势信息，在无法进行区域的推定的情况下，推定部利用存储于存储部的姿势信息来进行推定区域的推定。并且，在上述推定系统中，预姿势数据还可以为用于确认规定空间所包括的范围的信息和用于计算出用于判断可穿戴设备是否包括在该范围的存在概率的信息建立关联的信息。根据本专利技术的一实施方式的推定系统，通过利用来自可穿戴设备的检测部(传感器)的姿势信息(传感数据)来推定拍摄图像的帧之间的装戴有可穿戴设备的用户的移动，并且可通过从存在多个为了推定拍摄图像中的可穿戴设备的位置而使用的预姿势数据中进行确认，来缩短用于推定规定空间中的可穿戴设备的位置及方向所需的时间。附图说明图1为示出推定系统的概要的简图。图2为示出推定系统的结构例的图。图3为示出用户装戴头戴式显示器的状态的外观图。图4为示意性地示出头戴式显示器的图像显示系统的大致外观的立体图。图5为示意性地示出头戴式显示器的图像显示系统的光学结构的图。图6为用于说明用于检测视线方向的校准的示意图。图7为用于说明用户的眼角膜的位置坐标的示意图。图8为示出预姿势数据的结构例的数据概念图。图9为示出推定系统中的相互作用的序列图。图10为示出推定装置的工作的流程图。图11为示出推定系统的结构例的图。附图标记的说明1：推定系统100：可穿戴设备(头戴式显示器)103a：红外线光源103b：红外线光源105：亮点108：图像显示组件112：热反射镜114，114a，114b：凸透镜116：摄像头118：第一通信部119：第一发送部121：显示部122：红外线发射部123：检测部124：眼球拍摄部130：图像显示系统150：框体152a，152b：透镜支持部160：可穿戴设备170：头戴式耳机200：推定装置220：第二通信部221：第一接收部222：第二接收部231：视线检测部232：影像生成部233：推定部234：存储部具体实施方式以下，参照附图说明本专利技术的推定系统的一实施方式。实施方式如图1所示，根据本专利技术的推定系统包括：可穿戴设备100，用户本文档来自技高网...

【技术保护点】
1.一种推定系统，包括：可穿戴设备，用户通过装戴来观看影像；推定装置，用于推定在规定空间内的上述可穿戴设备的位置及姿势；以及拍摄部，用于拍摄上述规定空间，其特征在于，上述可穿戴设备具有：多个标记，位于包装表面；检测部，依次检测指示自身设备的姿势的姿势信息；以及第一发送部，将上述姿势信息依次发送给上述推定装置，上述推定装置具有：存储部，对包含在上述规定空间中的每一个互不相同的多个区域，存储各区域中存在上述可穿戴设备的情况下的预姿势数据；第一接收部，接收上述姿势信息；第二接收部，从上述拍摄部接收拍摄图像；以及推定部，利用上述拍摄图像及上述预姿势数据，推定上述多个区域中的有可能存在上述可穿戴设备的区域，在基于依次发送的拍摄图像中的相继于第一拍摄图像的第二拍摄图像来推定上述可穿戴设备的位置及姿势的情况下，从上述第一拍摄图像中的位置及姿势，根据接收上述第一拍摄图像之后接收到的姿势信息去除用于上述第二拍摄图像的预姿势数据的影响，来推定上述区域。

【技术特征摘要】
2016.12.27 JP 2016-2538351.一种推定系统，包括：可穿戴设备，用户通过装戴来观看影像；推定装置，用于推定在规定空间内的上述可穿戴设备的位置及姿势；以及拍摄部，用于拍摄上述规定空间，其特征在于，上述可穿戴设备具有：多个标记，位于包装表面；检测部，依次检测指示自身设备的姿势的姿势信息；以及第一发送部，将上述姿势信息依次发送给上述推定装置，上述推定装置具有：存储部，对包含在上述规定空间中的每一个互不相同的多个区域，存储各区域中存在上述可穿戴设备的情况下的预姿势数据；第一接收部，接收上述姿势信息；第二接收部，从上述拍摄部接收拍摄图像；以及推定部，利用上述拍摄图像及上述预姿势数据，推定上述多个区域中的有可能存在上述可穿戴设备的区域，在基于依次发送的拍摄图像中的相继于第一拍摄图像的第二拍摄图像来推定上述可穿戴设备的位置及姿势的情况下，从上述第一拍摄图像中的位置及姿势，根据接收上述第一拍摄图像之后接收到的姿势信息去除用于上述第二拍摄图像的预姿势数据的影响，来推定上述区域。2.根据权利要求1所述的推定系统，其特征在于，在各个上述多个标记中，分配有固有的标识符，上述推定部通过推定包括在上述拍摄图像中的上述可穿戴设备的标记是否符合上述固有的标识符的任一个，来推定上述可穿戴设备的位置及姿势。3.根据权利要求1或2所述的推定系统，其特征在于，上述姿势信息包括表示基本位置相对于三轴的方向的信息和表示相对于各个轴的旋转的状态的信息。4.根据权利要求1至3中任一项所述的推定系统，其特征在于，上述推定部进一步确认对每个上述标记设定的法向量的方向，基于所确认的法向量，来推定上述可穿戴设备的位置及姿势。5.根据权利要求1至4中任一项所述的推定系统，其特征在于，上述多个标记为发光二极管。6.根据权利要求1至5中任一项所述的推定系统，其特征在于，上述推定系统还具有基于上述推定部所推定的上述可穿戴设备的上述规定空间中的位置及姿势来生成并发送要在上述可穿戴设备上显示的影像的影像发送装置。7.根据权利要求1至6中任一项所述的推定系统，其特...

【专利技术属性】
技术研发人员：帕贝尔·沙比金，
申请(专利权)人：FOVE股份有限公司，
类型：发明
国别省市：美国,US