作业辅助用数据生成程序制造技术

提供一种技术，容易地进行作业步骤与基于实际的作业区域的状态的三维模型的对应、作业视点图像向三维模型的追加/登录、既有的作业步骤中的作业项目向三维模型的登录。一种数据生成程序，其使计算机执行以下步骤：根据从包含多个作业对象的多个全景图像生成的三维模型，生成改变视点后的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像的位置，在全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来的步骤。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种生成作业辅助用数据的程序以及方法，该作业辅助用数据在用于对进行施工或设备的维护/检查等各种作业的作业者进行辅助的装置等中使用。
技术介绍
通常，在执行施工或设备的维护/检查等各种作业时，会准备记载了作业内容和顺序的作业步骤书。在作业步骤书的形式中存在各种各样的形式，一般来说，很多时候按照执行的顺序，顺次将表示各个作业的作业项目所相关的内容和根据需要表示实际状况的照片和图画等一起进行记载(一览形式作业步骤书)。作业者按照这样的作业步骤书的内容执行作业，由此可正确地完成目标作业。另一方面，近年来，通过在反映真实世界的影像上的适当位置提示其他的图像或文字等虚拟信息，来辅助使用者理解真实世界的技术，即称为增强现实的技术受到关注。通过使用增强现实，可将适当的定时、位置、内容提示给作业者，因此期待通过增强现实技术向作业者赋予指示的作业引导有助于防止人为错误。为了在作业引导中利用增强现实技术，一般来说，需要准备与进行作业的空间(作业区域)以及在该空间中设置的仪表和阀、开关类等作业对象物(作业对象)相关的三维信息(三维模型)，并且保存为将作业项目与三维模型对应起来的数据(增强现实用作业步骤数据)。作为将各种信息在三维模型上对应起来的技术，在专利文献1中记载了在画面上显示三维模型，并且通过鼠标等输入单元来指定对象的位置，将图像等对应起来的技术。另外，在专利文献2中记载了显示三维模型，并且通过菜单形式来显示三维模型中包含的部件信息，通过菜单选择成为对象的部件，并且将关联的信息链接起来的技术。现有技术文献专利文献专利文献1：日本特开2010-9479号公报专利文献2：日本特开2001-356813号公报
技术实现思路
专利技术所要解决的课题在上述的专利技术中，虽然记载了将信息在三维模型上对应起来的方法，但是没有考虑将具有顺序关系的作业步骤所相关的信息与三维模型对应起来的方法。为了生成增强现实用作业步骤数据，需要能够容易地将包含顺序关系的作业步骤与三维模型对应起来。另外，虽然增强现实用作业步骤数据适合于向使用利用了增强现实的系统的作业者提供信息，但是考虑到不适合于不使用利用了增强现实的系统的监督者确认作业的内容和作业的流程，而原有的一览形式作业步骤书适合。因此，希望从与增强现实用作业步骤数据相同的数据还能够输出一览形式作业步骤书。另外在上述的专利技术中，生成与作业区域相关的尽可能正确的三维模型成为前提，但是三维模型的构建并不容易。近年来，虽然基于三维模型的设计成为主流，但是也存在设计中的三维模型和实际的作业区域的状态不一致的情况。因此，希望能更容易地生成基于实际作业区域的状态的增强现实用作业步骤数据。另外，很多时候在一览形式作业步骤书中附加从进行作业的视点拍摄到的图像(作业视点图像)，但是由于考虑到作业视点图像在使用增强现实的系统中也有用，因此希望能够将作业视点图像登录到增强现实用作业步骤数据中。通常，考虑在实施作业的现场拍摄作业视点图像，在带回办公室等后追加到作业步骤中的方法，但是因为作业视点图像只是对特定的作业对象关注的图像，所以还预想到难以判断是与作业区域的哪里相对应的图像。因此，希望能够容易地在增强现实用作业步骤数据中追加/登录作业视点图像。并且，考虑到根据既有的作业步骤的内容来构筑增强现实用作业步骤数据的情况，此时，希望容易地将各个作业项目和相关联的作业对象对应起来。本专利技术的目的在于，提供一种技术，能够将还包含顺序关系的作业步骤与基于实际的作业区域的状态的三维模型对应起来，并且高效地生成增强现实用作业步骤数据和可输出一览形式作业步骤书的数据。本专利技术的其他目的在于，提供一种技术，容易地进行作业视点图像向三维模型的追加/登录、既有的作业步骤中的各个作业项目向三维模型的登录。解决课题的手段为了解决上述课题，例如采用权利要求书记载的结构。本申请包含多个解决上述课题的手段，下面举出其中一个例子：一种作业辅助用数据生成装置，其具有：输入部，其输入包含多个作业对象的多个全景图像；模型生成部，其从输入的全景图像生成三维模型；图像转换部，其根据三维模型生成改变了视点的全景图像即变形全景图像；位置确定部，其根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像相对于全景图像的位置关系；作业对象登录部，其在全景图像上登录与进行作业的对象即作业对象相关联的信息；对应部，其根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来；存储部，其将作业对象以及与作业对象对应的作业视点图像与三维模型对应起来进行保存。或者，一种记录了作业辅助用数据生成程序的信息记录介质，该程序使计算机执行以下步骤：从包含多个作业对象的多个全景图像生成三维模型的步骤；根据三维模型生成改变了视点的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与变形全景图像进行比较而得到的相似度来求出作业视点图像相对于全景图像的位置关系的步骤；在全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据作业视点图像相对于全景图像的位置关系来检索与登录的作业对象对应的作业视点图像，并将检索到的作业视点图像与作业对象对应起来的步骤；将作业对象以及与作业对象对应的作业视点图像与三维模型对应起来进行保存的步骤。专利技术的效果根据本专利技术，能够将还包含顺序关系的作业步骤与基于实际的作业区域的状态的三维模型对应起来，并且高效地生成增强现实用作业步骤数据和可输出一览形式作业步骤书的数据。附图说明图1是通过一般的计算机执行应用本专利技术的实施例的程序时的计算机的结构图。图2是通过作业对象登录程序106执行的处理的流程图。图3表示作业区域的一个例子。图4表示拍摄作业区域得到的全景图像的一个例子。图5表示三维模型的数据格式的一个例子。图6表示保存照相机的内部参数和外部参数的数据格式的一个例子。图7说明在全景图像上指定作业对象的位置的方法的一个例子。图8表示保存在全景图像上登录的作业对象信息的数据格式的一个例子。图9是通过新作业项目追加程序108执行的处理的流程图。图10表示保存与作业项目相关的信息的数据格式的一个例子。图11是通过全景图像-作业视点图像对应程序109执行的处理本文档来自技高网...

【技术保护点】
一种记录了程序的信息记录介质，其特征在于，所述程序使计算机执行以下步骤：从包含多个作业对象的多个全景图像生成三维模型的步骤；根据所述三维模型生成改变了视点的全景图像即变形全景图像的步骤；根据将从进行作业的视线拍摄到的图像即作业视点图像与所述变形全景图像进行比较而得到的相似度，求出所述作业视点图像相对于所述全景图像的位置关系的步骤；在所述全景图像上登录与进行作业的对象即作业对象相关联的信息的步骤；根据所述作业视点图像相对于所述全景图像的位置关系，检索与已登录的所述作业对象对应的所述作业视点图像，并将检索到的所述作业视点图像与所述作业对象对应起来的步骤；将所述作业对象以及与所述作业对象对应的作业视点图像与所述三维模型对应起来进行保存的步骤。

【技术特征摘要】
【国外来华专利技术】1.一种记录了程序的信息记录介质，其特征在于，
所述程序使计算机执行以下步骤：
从包含多个作业对象的多个全景图像生成三维模型的步骤；
根据所述三维模型生成改变了视点的全景图像即变形全景图像的步骤；
根据将从进行作业的视线拍摄到的图像即作业视点图像与所述变形全景
图像进行比较而得到的相似度，求出所述作业视点图像相对于所述全景图像的
位置关系的步骤；
在所述全景图像上登录与进行作业的对象即作业对象相关联的信息的步
骤；
根据所述作业视点图像相对于所述全景图像的位置关系，检索与已登录的
所述作业对象对应的所述作业视点图像，并将检索到的所述作业视点图像与所
述作业对象对应起来的步骤；
将所述作业对象以及与所述作业对象对应的作业视点图像与所述三维模
型对应起来进行保存的步骤。
2.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
在检索到与所述作业对象对应的所述作业视点图像时，所述程序使计算机
执行以下步骤：
针对按照执行作业的顺序排列了多个表示作业内容的信息即作业项目而
得到的信息即作业步骤，将检索到的所述作业视点图像和所述作业对象作为新
的作业项目追加到所述作业步骤的步骤；
在已追加的所述作业项目中登录表示作业内容的信息的步骤。
3.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
根据已登录的所述作业对象的信息，从预先存储的所述作业步骤的内容中
检索关联的所述作业项目，并将检索到的所述作业项目与所述全景图像上的所
述作业对象对应起来的步骤；
根据所述作业视点图像相对于所述全景图像的位置关系，检索与所述作业

\t项目对应的所述作业对象所对应的所述作业视点图像的步骤；
将检索到的所述作业视点图像与所述作业项目对应起来的步骤。
4.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有根据所述作业视点图像相对于所述全景图像的位置关系，在所述全
景图像上显示所述作业视点图像的位置的步骤。
5.根据权利要求2所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
对已登录的所述作业对象附加表示顺序的顺序信息的步骤；
根据所述顺序信息，修正所述作业步骤中的所述作业项目的顺序的步骤。
6.根据权利要求1所述的记录了程序的信息记录介质，其特征在于，
还具有以下步骤：
根据所述全景图像和所述三维模型的对应关系，求出所述作业对象在所述
三维模型上的位置的步骤；
将...

【专利技术属性】
技术研发人员：佐川浩彦，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP