用于识别三维物体的程序、系统、电子装置和方法制造方法及图纸

本发明专利技术提供使得可以从单个图像识别三维形状的程序。本发明专利技术是用于识别存在于现实空间中且由预定义的多个组件构成的三维物体的程序。该程序由配备有用于拍摄该三维物体的图像的摄像装置的电子装置执行。该程序使得电子装置执行图像识别步骤、查询生成步骤、数据取得步骤、组件布置步骤、整合性判断步骤、以及在判断为存在整合性的情况下的三维物体识别步骤及在判断为不存在整合性的情况下的数据库存储步骤、查询重新生成确定步骤和查询重新生成步骤。

【技术实现步骤摘要】
【国外来华专利技术】用于识别三维物体的程序、系统、电子装置和方法
本专利技术涉及用于识别三维物体的程序、系统、电子装置和方法，并且特别地，涉及用于识别存在于现实空间中且由预定义的多个组件构成的三维物体的程序、系统、电子装置和方法。
技术介绍
已知有用于从所拍摄到的平面图像识别现实空间中的三维物体的三维形状的技术。然而，当将三维形状投影到平面上时，诸如深度和隐藏面等的三维信息丢失，因而不能从单个平面图像直接识别三维形状。传统上，开发了用于通过将从不同视点拍摄到的多个图像彼此关联以直观地估计三维信息来识别形状的技术、以及用于通过根据与特定对象构造物有关的先前知识演绎地估计该构造物的三维信息来识别形状的技术。例如，非专利文献1描述了通过使用被称为运动恢复结构(StructurefromMotion(SFM))的技术以将多个图像彼此关联来识别形状的技术。另外，例如，非专利文献2描述了用于通过单个图像作为输入并假定诸如人体或面部表情等的特定对象来识别形状的技术。该技术重视人的面部表情在全局上是相似的但在局部上存在许多差异这一事实，并且通过对现有的3D模型进行变形来构建与输入图像相对应的3D模型。现有技术文献非专利文献非专利文献1：MarcPollefeys,LucVanGool,MaartenVergauwen,FrankVerbiest,KurtCornelis,JanTops,ReinhardKoch.2004.VisualModelingwithaHand-HeldCamera.InternationalJournalofComputerVision.非专利文献2：IraKemelmacher-Shlizerman,RonenBasri.2011.3Dfacereconstructionfromasingleimageusingasinglereferencefaceshape.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE.
技术实现思路
专利技术要解决的问题然而，非专利文献1中所述的技术要求用户多次拍摄图像或者使用多个照相机进行摄像，因而用户操作变得复杂。另外，由于非专利文献2中所述的技术假定构造物是已知的，因此该技术不能应用于由用户自由形成的构造物的识别。如上所述，没有建立用于从单个平面图像识别自由形状的构造物的三维形状的有效技术。本专利技术是为了解决该问题而做出的，并且其目的是提供使得可以从单个图像识别三维形状的程序等。用于解决问题的方案为了实现上述目的，根据本专利技术的程序是一种用于识别存在于现实空间中且由预定义的多个组件构成的三维物体的程序，所述程序由配备有用于拍摄所述三维物体的图像的摄像装置的电子装置执行，所述程序的特征在于使得所述电子装置执行：图像识别步骤，用于从所述摄像装置所拍摄到的图像中分别提取使得能够辨别各个组件的特征，并且基于所述特征来取得各个组件的ID和所述组件的位置数据；查询生成步骤，用于生成包括基于所述特征所取得的各个组件的ID的查询；数据取得步骤，用于在生成查询的情况下，通过使用所述查询来从组件数据库中取得与所述查询中所包括的各个ID相关联的各个组件的三维模型和约束数据，所述组件数据库用于将各个组件的ID、各个组件的三维模型以及表示各个组件之间的接合约束条件的约束数据彼此关联地进行存储；组件布置步骤，用于基于针对各个组件取得的位置数据、三维模型和约束数据，来将各个组件布置在与所述现实空间相对应的虚拟空间中；整合性判断步骤，用于基于所布置的各个组件之间的位置关系来判断所布置的各个组件的位置的整合性；三维物体识别步骤，用于在判断为存在整合性的情况下，基于所布置的各个组件的位置来识别所述三维物体；以及在判断为不存在整合性的情况下：数据库存储步骤，用于将所述数据取得步骤中所使用的查询中的至少包括各个组件的ID的存储用查询数据存储在历史数据库中，查询重新生成确定步骤，用于基于所述历史数据库中所存储的存储用查询数据和所述组件数据库中所存储的数据来确定是否重新生成查询，以及查询重新生成步骤，用于在确定重新生成查询的情况下，生成包括与所述历史数据库中所存储的存储用查询数据不同的数据的查询。另外，在本专利技术中，优选地，所述程序使得所述电子装置执行：数据库初始化步骤，用于在所述图像识别步骤之前，删除所述历史数据库中所存储的存储用查询数据。另外，在本专利技术中，优选地，所述组件布置步骤通过使用针对各个组件取得的位置数据和三维模型来将各个组件布置在所述虚拟空间中，并且针对所述虚拟空间中的彼此相邻的各个组件，对准并布置各个组件以满足所述接合约束条件。另外，在本专利技术中，优选地，基于所述虚拟空间中所布置的组件中的两个组件的三维模型之间的距离是否在规定值内，所述组件布置步骤判断这两个组件是否彼此相邻。另外，在本专利技术中，优选地，所述位置是六自由度位置。另外，在本专利技术中，优选地，使得能够辨别各个组件的所述特征是各个组件在组件的表面上具有的AR标记。另外，在本专利技术中，优选地，在生成查询的情况下，所述数据取得步骤使用所述查询，以通过将与所述查询中所包括的各个ID相关联的各个组件的三维模型和约束数据与该ID相关联地分别添加到所述查询，来从所述组件数据库中取得该三维模型和该约束数据。另外，在本专利技术中，优选地，所述整合性判断步骤基于所布置的各个组件的三维模型所占据的区域之间的重叠程度，来判断所布置的各个组件的位置的整合性。另外，在本专利技术中，优选地，所述图像识别步骤从所述摄像装置所拍摄到的图像中识别用于形成所述三维物体的基座部分的基部，所述组件布置步骤将所述基部布置在所述虚拟空间中，以及所述整合性判断步骤基于所布置的各个组件的位置和所述基部的位置之间的位置关系来判断所布置的各个组件是否是按照重力布置的，并且还基于该判断来判断整合性。另外，在本专利技术中，优选地，所述整合性判断步骤基于所述摄像装置所拍摄到的图像与从虚拟照相机观看的所布置的各个组件的图像之间的一致程度来判断整合性，所述虚拟照相机布置在所述虚拟空间中的与所述摄像装置的位置相对应的位置处。另外，在本专利技术中，优选地，所述数据库存储步骤还将所布置的各个组件的位置与所述存储用查询数据中所包括的各个组件的ID相关联地存储在所述历史数据库中。另外，在本专利技术中，优选地，所述查询重新生成确定步骤基于所述历史数据库中所存储的存储用查询数据是否包括所述组件数据库中所存储的组件的ID的规定组合，来确定是否重新生成查询。另外，在本专利技术中，优选地，所述程序还使得所述电子装置执行：错误输出步骤，用于在确定不重新生成查询的情况下输出错误。另外，在本专利技术中，优选地，所述数据库存储步骤还将针对所布置的各个组件的位置的整合性评价值与所述存储用查询数据中所包括的各个组件的ID相关联地存储在所述历史数据库中。另外，在本专利技术中，优选地，所述程序使得所述电子装置执行：所述程序使得所述电子装置执行：第二三维物体识别步骤本文档来自技高网...

【技术保护点】
1.一种用于识别存在于现实空间中且由预定义的多个组件构成的三维物体的程序，所述程序由配备有用于拍摄所述三维物体的图像的摄像装置的电子装置执行，所述程序使得所述电子装置执行：/n图像识别步骤，用于从所述摄像装置所拍摄到的图像中分别提取使得能够辨别各个组件的特征，并且基于所述特征来取得各个组件的ID和所述组件的位置数据；/n查询生成步骤，用于生成包括基于所述特征所取得的各个组件的ID的查询；/n数据取得步骤，用于在生成查询的情况下，通过使用所述查询来从组件数据库中取得与所述查询中所包括的各个ID相关联的各个组件的三维模型和约束数据，所述组件数据库用于将各个组件的ID、各个组件的三维模型以及表示各个组件之间的接合约束条件的约束数据彼此关联地进行存储；/n组件布置步骤，用于基于针对各个组件取得的位置数据、三维模型和约束数据，来将各个组件布置在与所述现实空间相对应的虚拟空间中；/n整合性判断步骤，用于基于所布置的各个组件之间的位置关系来判断所布置的各个组件的位置的整合性；/n三维物体识别步骤，用于在判断为存在整合性的情况下，基于所布置的各个组件的位置来识别所述三维物体；以及/n在判断为不存在整合性的情况下：/n数据库存储步骤，用于将所述数据取得步骤中所使用的查询中的至少包括各个组件的ID的存储用查询数据存储在历史数据库中，/n查询重新生成确定步骤，用于基于所述历史数据库中所存储的存储用查询数据和所述组件数据库中所存储的数据来确定是否重新生成查询，以及/n查询重新生成步骤，用于在确定重新生成查询的情况下，生成包括与所述历史数据库中所存储的存储用查询数据不同的数据的查询。/n...

【技术特征摘要】
【国外来华专利技术】20171221 JP 2017-2448911.一种用于识别存在于现实空间中且由预定义的多个组件构成的三维物体的程序，所述程序由配备有用于拍摄所述三维物体的图像的摄像装置的电子装置执行，所述程序使得所述电子装置执行：
图像识别步骤，用于从所述摄像装置所拍摄到的图像中分别提取使得能够辨别各个组件的特征，并且基于所述特征来取得各个组件的ID和所述组件的位置数据；
查询生成步骤，用于生成包括基于所述特征所取得的各个组件的ID的查询；
数据取得步骤，用于在生成查询的情况下，通过使用所述查询来从组件数据库中取得与所述查询中所包括的各个ID相关联的各个组件的三维模型和约束数据，所述组件数据库用于将各个组件的ID、各个组件的三维模型以及表示各个组件之间的接合约束条件的约束数据彼此关联地进行存储；
组件布置步骤，用于基于针对各个组件取得的位置数据、三维模型和约束数据，来将各个组件布置在与所述现实空间相对应的虚拟空间中；
整合性判断步骤，用于基于所布置的各个组件之间的位置关系来判断所布置的各个组件的位置的整合性；
三维物体识别步骤，用于在判断为存在整合性的情况下，基于所布置的各个组件的位置来识别所述三维物体；以及
在判断为不存在整合性的情况下：
数据库存储步骤，用于将所述数据取得步骤中所使用的查询中的至少包括各个组件的ID的存储用查询数据存储在历史数据库中，
查询重新生成确定步骤，用于基于所述历史数据库中所存储的存储用查询数据和所述组件数据库中所存储的数据来确定是否重新生成查询，以及
查询重新生成步骤，用于在确定重新生成查询的情况下，生成包括与所述历史数据库中所存储的存储用查询数据不同的数据的查询。


2.根据权利要求1所述的程序，其中，所述程序使得所述电子装置执行：
数据库初始化步骤，用于在所述图像识别步骤之前，删除所述历史数据库中所存储的存储用查询数据。


3.根据权利要求1或2所述的程序，其中，所述组件布置步骤通过使用针对各个组件取得的位置数据和三维模型来将各个组件布置在所述虚拟空间中，并且针对所述虚拟空间中的彼此相邻的各个组件，对准并布置各个组件以满足所述接合约束条件。


4.根据权利要求3所述的程序，其中，基于所述虚拟空间中所布置的组件中的两个组件的三维模型之间的距离是否在规定值内，所述组件布置步骤判断这两个组件是否彼此相邻。


5.根据权利要求1至4中任一项所述的程序，其中，所述位置是六自由度位置。


6.根据权利要求1至5中任一项所述的程序，其中，使得能够辨别各个组件的所述特征是各个组件在组件的表面上具有的AR标记。


7.根据权利要求1至6中任一项所述的程序，其中，在生成查询的情况下，所述数据取得步骤使用所述查询，以通过将与所述查询中所包括的各个ID相关联的各个组件的三维模型和约束数据与该ID相关联地分别添加到所述查询，来从所述组件数据库中取得该三维模型和该约束数据。


8.根据权利要求1至7中任一项所述的程序，其中，所述整合性判断步骤基于所布置的各个组件的三维模型所占据的区域之间的重叠程度，来判断所布置的各个组件的位置的整合性。


9.根据权利要求1至8中任一项所述的程序，其中，所述图像识别步骤从所述摄像装置所拍摄到的图像中识别用于形成所述三维物体的基座部分的基部，
所述组件布置步骤将所述基部布置在所述虚拟空间中，以及
所述整合性判断步骤基于所布置的各个组件的位置和所述基部的位置之间的位置关系来判断所布置的各个组件是否是按照重力布置的，并且还基于该判断来判断整合性。


10.根据权利要求1至9中任一项所述的程序，其中，所述整合性判断步骤基于所述摄像装置所拍摄到的图像与从虚拟照相机观看的所布置的各个组件的图像之间的一致程度来判断整合性，所述虚拟照相机布置在所述虚拟空间中的与所述摄像装置的位置相对应的位置处。


11.根据权利要求1至10中任一项所述的程序，其中，所述数据库存储步骤还将所布置的各个组件的位置与所述存储用查询数据中所包括的各个组件的ID相关联地存储在所述历史数据库中。


12.根据权利要求1至11中任一项所述的程序，其中，所述查询重新生成确定步骤基于所述历史数据库中所存储的存储用查询数据是否包括所述组件数据库中所存储的组件的ID的规定组合，来确定是否重新生成查询。


13.根据权利要求1至12中任一项所述的程序，其中，所述程序还使得所述电子装置执行：
错误输出步骤，用于在确定不重新生成查询的情况下输出错误。


14.根据权利要求1至12中任一项所述的程序，其中，所述数据库存储步骤还将针对所布置的各个组件的位置的整合性评价值与所述存储用查询数据中所包括的各个组件的ID相关联地存储在所述历史数据库中。


15.根据权利要求14所述的程序，其中，所述程序还使得所述电子装置执行：
第二三维物体识别步骤，用于在确定不重新生成查询的情况下，基于根据所述评价值具有最高整合性的所布置的各个组件的位置来识别三维物体。


16.根据权利要求1至15中任一项所述的程序，其中，所述查询重新生成步骤生成如下的查询：在所述虚拟空...

【专利技术属性】
技术研发人员：花冈洋辉，仓林修一，
申请(专利权)人：CY游戏公司，
类型：发明
国别省市：日本;JP