立体格局图产生方法与系统技术方案

说明书公开一种立体格局图产生方法与系统，系统设有主机，其中储存由全景摄影机拍摄而取得涵盖一空间中多个区域的全景图，并执行深度学习以由全景图产生立体格局图，在方法中，先取全景图，利用图像处理技术辨识并标记各区域全景图中的物件、分类物件，通过深度学习方法根据物件属性辨识出各区域的空间型态，接着根据各区域的空间型态得出尺寸与格局，以及于各全景图中定位各区域中的点与线，点与线形成空间内多个区域的间的边界与相对关系，经结合各区域尺寸与格局，执行一立体空间建模，以形成一立体格局图。以形成一立体格局图。以形成一立体格局图。

【技术实现步骤摘要】
立体格局图产生方法与系统


[0001]本专利技术关于一种立体格局图产生的技术，特别是指基于深度学习方法执行影像辨识与辨识空间型态而生成立体格局图的方法与系统。

技术介绍

[0002]随着影像辨识技术逐渐成熟，许多的影像应用因应而生，例如有拍摄全景图(panorama)的技术、取得360度空间图的技术等，形成立体影像的方式为依据影像的边界拼接多张影像，且一次仅能处理一个空间的影像。
[0003]对于较为复杂与多区域的全景图像处理，习知技术尚缺乏有效形成立体格局图的方法。

技术实现思路

[0004]说明书揭示一种立体格局图产生方法与系统，其目的的一个是能根据拍摄的全景图(panorama)利用深度学习方法取得影像特征，辨识其中物件与空间的关系，进一步建模而产生立体格局图。
[0005]根据实施例的一个，所提出的立体格局图产生系统包括一主机，其中设有一或多个处理器与储存器，储存器储存由拍摄装置拍摄而取得涵盖一空间的一或多张影像，其中一或多张影像为对应此空间内的一或多个区域的全景图，由处理器执行实现影像辨识的人工智能的一或多个深度学习方法，以执行一立体格局图产生方法。
[0006]在立体格局图产生方法中，先取得涵盖一空间的一或多张影像，一或多张影像为对应空间内的一或多个区域的全景图，接着利用图像处理技术辨识并标记各区域全景图中的一或多个物件，并且分类各全景图中的一或多个物件，用以辨识各区域的空间型态，之后，能根据空间内的一或多个区域的空间型态得出各区域的尺寸与格局。
[0007]通过图像处理，还能于各全景图中定位空间中各区域的点与线，得出点与线在各区域的位置，之后通过结合空间的各全景图的一或多个物件，可依据各区域的点与线形成一立体格局图。
[0008]优选地，方法中用以辨识各影像中一或多个物件以及辨识各区域的空间型态的图像处理技术采用深度学习方法，可以根据辨识得出各区域的一或多个物件的属性来辨识出各区域的空间型态。
[0009]进一步地，所述空间包括有多个区域，各区域的全景图定位出的点与线形成多个区域之间的边界与相对关系，配合各区域中的一或多个物件与空间型态得出多个区域之间的连接关系，执行一立体空间建模，以结合多个区域以形成立体格局图。
[0010]优选地，在所述空间中，由各全景图辨识的各物件为室内区域内的门、窗、墙、家具与摆设的其中的一个，其中采用的深度学习方法的一个为双投射网络，其中采用等距长方全景视图与透视天花板视图，根据各区域的全景图预测各区域的一立体空间的格局。
[0011]更者，辨识各影像中物件以及辨识各区域的空间型态的深度学习方法还可包括一
深度残差网络，用于影像识别与分类，以快速地识别与分类各区域的格局。
[0012]所述深度学习方法的再一方法为一侦测网络的深度学习算法，能于分析各区域的全景图后，从影像中特征识别出各区域中一或多个物件，并执行定位。
附图说明
[0013]图1显示拍摄全景图的装置实施例示意图；
[0014]图2所示为描述立体格局图产生方法的实施例流程图之一；
[0015]图3所示为描述立体格局图产生方法的实施例流程图之二；
[0016]图4以图示方法描述立体格局图产生方法的实施例流程；
[0017]图5描述双投射网络的深度学习方法流程；
[0018]图6描述深度残差网络的深度学习方法流程；
[0019]图7A与7B显示侦测网络的深度学习成果的示意图；
[0020]图8显示利用深度学习识别场景的实施例示意图；
[0021]图9显示在二维平面图中定位区域的实施例示意图；
[0022]图10显示形成立体格局图前建立立体模型的实施例示意图。
具体实施方式
[0023]说明书公开一种立体格局图产生方法与系统，方法为基于取得的一或多张全景图，或者进一步地，先取得一个空间(包括多个区域)的多张全景图。所述全景图(panorama)是一种影像涵盖视野达到全景左右360度、上下180度的视野的广角图，其应用的一个可用于扩增实境(AR)或是虚拟现实(VR)场景，让使用者穿戴特定虚拟现实装置时，可以自由地在左右360度与上下180度的视野中浏览场景。
[0024]图1显示拍摄全景图的装置实施例示意图，在此实施例中，终端装置包括一拍摄影像的拍摄装置11，拍摄装置11实现一种全景摄影机(panoramic camera)，较佳是配备有可以拍摄超广角影像的鱼眼镜头；可以为手机，其中照相机可能不具备鱼眼镜头的能力，但可以通过外挂镜头15的方式达成。
[0025]若为了要拍摄整个场景的全景图，需要涵盖左右360度与上下180度的视野，此例中，即将拍摄装置11安装于一可带动旋转拍摄整个场景的承载装置13，通过旋转机构135承载拍摄装置11，其中设有可以带动拍摄装置11旋转的马达，如步进马达。
[0026]承载装置13为可以程序化的装置，可以依照拍摄装置11的镜头15每次拍摄视场的涵盖范围决定拍摄每张影像的旋转角度。例如，当镜头15为可以涵盖上下左右180度视野的镜头，为了要拍摄涵盖左右360度与上下180度视野的全景图，至少需要在第一次拍摄后，旋转180度后进行第二次拍摄，如此才能得到涵盖左右360度与上下180度的全景图。或者，可以根据镜头15涵盖的视野，通过几次旋转后拍摄多次，每次拍摄的影像仅涵盖特定角度的视野，多张影像之间将包括重叠的特征，如边界或角落等区域，作为拼接影像的依据。
[0027]经拍摄装置11配合承载装置13完成全景图拍摄后，影像数据除了可以通过拍摄装置11内处理能力与相关软件程序达成拼接后形成全景图，还可以通过网络10或直接联机传送到主机14(另不排除可以传送到特定云端系统处理影像)，由主机14执行图像处理，完成拼接而形成全景图。最后，可以将形成的全景图储存在主机14内，或是通过网络10传送到特
定云端系统，或是分享出去。
[0028]需要一提的是，图1所记载的实施例仅为拍摄全景影像的实施例的一个，并非用于限制揭露书所揭示的形成全景图的方法实施范围。
[0029]在揭露书提出的立体格局图产生系统，可以以上述主机14或是其他另外提供的主机执行立体格局图产生方法，主机设有一或多个处理器与储存器，储存器可储存由上述拍摄装置拍摄而取得涵盖空间的一或多张影像，一或多张影像为对应空间内的一或多个区域的全景图，一或多个处理器用以执行实现影像辨识的人工智能的一或多个深度学习方法，以执行立体格局图产生方法，在方法中，依据所取得一个空间的一或多张全景图产生立体格局图，可参考图2所示立体格局图产生方法的流程图。
[0030]在此方法中，从特定数据库或是由上述实施例描述的拍摄装置取得涵盖一个空间的多张影像(步骤S201)，这些影像为此空间内一或多个区域对应的全景图，特别以室内空间为例，接着是通过图像处理技术判断其中的格局，图像处理技术，如所提出立体格局图产生方法，采用了实现人工智能的深度学习方法，通过深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种立体格局图产生方法，其特征在于所述的方法包括：取得涵盖一空间的一或多张影像，该一或多张影像为对应该空间内的一或多个区域的全景图；利用图像处理技术辨识并标记各区域全景图中的一或多个物件；分类各全景图中的该一或多个物件，用以辨识各区域的空间型态；根据该空间内的该一或多个区域的空间型态得出各区域的尺寸与格局；于各全景图中定位该空间中各区域的点与线，得出该点与线在各区域的位置；以及结合该空间的各全景图的该一或多个物件，依据各区域的点与线形成一立体格局图。2.如权利要求1所述的立体格局图产生方法，其特征在于，用以辨识各影像中该一或多个物件以及辨识各区域的空间型态的图像处理技术采用深度学习方法。3.如权利要求2所述的立体格局图产生方法，其特征在于，采用的深度学习方法根据辨识得出各区域的该一或多个物件的属性辨识出各区域的空间型态。4.如权利要求3所述的立体格局图产生方法，其特征在于所述的空间包括有多个区域，各区域的全景图定位出的点与线形成该多个区域之间的边界与相对关系，配合各区域中的该一或多个物件与空间型态得出该多个区域之间的连接关系，执行一立体空间建模，以结合该多个区域以形成全局的立体格局图。5.如权利要求4所述的立体格局图产生方法，其特征在于，各区域内的点与该区域内的一参考点之间具有一角度与一距离关系，使得各区域内多个点之间具有角度与距离的一相对关系，于结合该多个区域时，还依据各区域内该多个点的该相对关系形成该立体格局图。6.如权利要求5所述的立体格局图产生方法，其特征在于所述的空间的其中的一个区域为一室内区域，由各全景图辨识的各物件为该室内区域内的门、窗、墙、家具与摆设的其中的一个。7.如权利要求2至6中任一项所述的立体格局图产生方法，其特征在于，辨识各影像中该一或多个物件以及辨识各区域的空间型态的深度学习方法的一个为一双投射网络，其中采用一等距长方全景视图与一透视天花板视图，根据各区域的全景图预测各区域的一立体空间的格局。8.如权利要求7所述的立体格局图产生方法，其特征在于，于该等距长方全景视图的应用中，根据各区域的全景图，以一深度残差网络的深度学习方法识别与分类出影像中的空间格局，形成一全景机率概图；于该透视天花板视图的应用中，先取得各区域的一天花板视图，以该深度残差网络的深度学习方法识别与分类出该全景图中的关于天花板的空间特征，形成一平面机率概图；之后，结合该全景机率概图与该平面机率概图，形成一二维平面图，经立体空间建模后预测各区域的立体空间格局。9.如权利要求2至6中任一项所述的立体格局图产生方法，其特征在于，辨识各影像中该一或多个物件以及辨识各区域的空间型态的深度学习方法的一个为一深度残差网络，用于影像识别与分类，以快速地识别与分类各区域的格局。10.如权利要求9所述的立体格局图产生方法，其特征在于所述的深度残差网络用深度学习从大数据建立描述各种空间型态的数据集，用以判断出各区...

【专利技术属性】
技术研发人员：张腾文，朱宏国，姚智原，陈国玮，陈焕宗，
申请(专利权)人：宅妆股份有限公司，
类型：发明
国别省市：