通过移动终端和球幕相机对大场景进行三维建模的方法技术

技术编号:19011787 阅读:72 留言:0更新日期:2018-09-22 11:09
本发明专利技术公开了一种通过移动终端和球幕相机对大场景进行三维建模的方法,包括移动终端,以及与所述移动终端通信连接的球幕相机;所述方法包括以下步骤:通过移动终端摄像头拍摄当前位置点的视频流;通过获得的所述当前位置点视频流对移动终端进行定位,即获得当前任一位置的位置信息;触发所述球幕相机进行拍照;基于稀疏点云进行三维建模。本发明专利技术有益效果在于:使用移动终端进行定位更加准确,在进行SLAM定位时,不会发生畸变;最大限度的节约了球幕相机的能耗;三维建模的景象更加准确。

【技术实现步骤摘要】
通过移动终端和球幕相机对大场景进行三维建模的方法
本专利技术涉及三维成像建模
,具体涉及一种通过球幕相机进行三维建模的方法。
技术介绍
在使用球幕相机进行三维建模的过程中,因牵涉到SLAM技术,球幕相机(一般都是双目或者多目)一直进行视频流的拍摄需要处理的数据量比较大,这样会给硬件造成非常大的负担,产生较大的发热现象,约几分钟到十几分钟电量将耗尽。其次,如果直接使用球幕相机进行空间定位,就必须利用球幕相机拍摄的视频流的帧图片,然后进行SLAM定位,但是这样的计算量大,占用大量的CPU资源,从而会增加巨大的电量消耗。此外,使用这种定位方式,球幕相机拍摄的视频流的帧图片之间在进行SLAM定位之前需要进行拼接,会产生畸变;球幕相机进行SLAM定位时就需要向处理器回传数据,数据回传产生时差会导致实时预览延时。
技术实现思路
鉴于现有技术的不足,本专利技术旨在于提供一种通过移动终端和球幕相机对大场景进行三维建模的方法,通过引入的移动终端,将空间位置定位转移至移动终端上,而球幕相机便可只用于拍摄不同位置点的照片,并且进行三维建模或修改。为了实现上述目的,本专利技术采用的技术方案如下:通过移动终端和球幕相机对大场景进行三维建模的方法,包括移动终端,以及与所述移动终端通信连接的球幕相机;所述方法包括以下步骤:S1通过移动终端摄像头拍摄当前位置点的视频流;S2通过获得的所述当前位置点视频流对移动终端进行定位,即获得当前任一位置的位置信息;S3触发所述球幕相机进行拍照;S4将所述球幕相机拍摄的照片与所述移动终端的所述位置信息进行三维重建离线算法与稀疏重建;S5计算与重建后获得所述球幕相机的精确位置信息以及稀疏点云;S6基于稀疏点云进行三维建模。需要说明的是,还包括S3.1,所述移动终端将所获得的所述当前位置点视频流进行的定位为SLAM定位。需要说明的是,经过所述SLAM定位后的移动终端的位置信息即为所述球幕相机的位置信息。本专利技术有益效果在于:1、使用移动终端进行定位更加准确,在移动终端获得的视频流进行SLAM定位时,不会发生畸变;如果采用球幕相机拍摄的视频流的帧图片进行SLAM定位,那么不但其计算量大,占用大量的CPU资源,帧图片之间在进行SLAM之前还需要进行拼接,会产生畸变现象。2、球幕相机只有在采集数据(拍照)或者修改一些内在参数的时候会调用到,其它时间是处于半睡眠状态,最大限度的节约了球幕相机的能耗;3、三维建模的景象更加准确,因为移动终端的摄像头与移动终端的处理器是设置在一起的,移动终端的电子元器件也可以辅助使用,在整个数据采集的处理时效上更准时,不会产生因球幕相机进行定位后还需要向处理器回传数据而导致的时差问题。4、移动终端的摄像头获取的视频流进行SLAM定位之后,所产生的视频流的帧照片对三维建模的结构化模型可进行细节上的补正,因球幕相机拍摄得到的照片处理后得到的是稀疏点云进行三维建模,再进行结构化贴图,在选取最优照片时将当前位置中移动终端拍摄得到的视频流的帧照片放进备选行列,对移动终端拍摄得到的视频流的帧照片进行最优照片的处理。附图说明图1为本专利技术的实施示意图;图2为本专利技术的实施示意图;图3为本专利技术的实施示意图;图4为本专利技术的实施示意图;图5为本专利技术的实施示意图;图6为本专利技术的实施方式参考图。其中:1—手机;2—球幕相机。具体实施方式以下将对本专利技术作进一步的描述,需要说明的是,以下实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本专利技术的保护范围并不限于本实施例。本专利技术为一种通过移动终端和球幕相机对大场景进行三维建模的方法,包括移动终端,以及与所述移动终端通信连接的球幕相机;所述方法包括以下步骤:S1通过移动终端摄像头拍摄当前位置点的视频流;S2通过获得的所述当前位置点视频流对移动终端进行定位,即获得当前任一位置的位置信息;S3触发所述球幕相机进行拍照;S4将所述球幕相机拍摄的照片与所述移动终端的所述位置信息进行三维重建离线算法与稀疏重建;S5计算与重建后获得所述球幕相机的精确位置信息以及稀疏点云;S6基于稀疏点云进行三维建模。需要说明的是,本专利技术所指的移动终端包括但不限于手机、平板电脑等带有摄像头的终端设备。需要说明的是,还包括S3.1,所述移动终端将所获得的所述当前位置点视频流进行的定位为SLAM定位。需要说明的是,经过所述SLAM定位后的移动终端的位置信息即为所述球幕相机的位置信息。需要进一步说明的是,通过移动终端拍摄的视频流进行SLAM定位属于单目的VSLAM。即对移动终端所拍摄的视频流提取特征点,对这些特征点进行三角化的处理,恢复出移动终端的三维空间位置(即把二维坐标转换成三维坐标)。具体的说:Vslam定位流程:包括前端、后端和回环检测模块三个方面。1、前端移动终端采集数据帧,对每一帧提取特征点;通过多帧之间多视觉集合原理计算出相机位置。2、后端对之前计算出的位置进行优化,用最小二乘的公式优化出一整条轨迹。3、回环检测模块已经到过的场景会有特征保存,新提取的特征与之前保存的特征进行匹配,即一个相似性检测过程。对于曾经到过的场景,两者的相似值会很高,即确定曾经来过此处,并利用新的特征点对曾经的位置进行纠正。在步骤S6中,基于稀疏点云进行三维建模,稀疏点云是相较于传统激光扫描的稠密点云而言的,与一般用激光扫描得到的稠密点云进行建模相比,我们初步计算相机当前位置得到的点云数量仅是传统激光扫描得到点云数量的万分之一,因其数量少,所以运算速度快,但在实际应用中200个所述稀疏点云却足以把一个房间的结构计算出来,进行三维建模得到结构化的模型。实施例作为本专利技术一种实施例,这里采用手机1作为移动终端,本专利技术可以通过将手机1和球幕相机2固定在相对靠近的位置,即将其二者组合为一个设备,当然这种设备并不是组合的意思,而是设置在同一个架体上(如图6所示),这样手机1的位置即为球幕相机2的位置。然后保持手机1的摄像头为拍摄视频流的状态,放置在一个空间中的一个位置点上,触发球幕相机2进行拍照,然后架体移动至下一个位置点上,重复上述操作,直至完成整个空间的拍照。需要说明的是,在球幕相机2拍照的期间,手机1一直处于拍摄视频流的状态,这样便可对每一个空间位置点进行SLAM定位。手机1(移动终端)与球幕相机2的通信方式为无线通信方式,可利用现有技术中的WIFI等。需要进一步说明的是,本专利技术使用的软件包括手机1上的APP(应用程序)和云端服务器服务,球幕相机2和手机1通过WIFI连接,将拍摄到的球幕相片实时传输至手机1的APP(应用程序),待整个场景的照片拍摄完毕之后,将照片一起上传至云端服务器进行三维建模。手机1的相机一般为单目相机,手机1所拍摄到的单目视频流可建立手机1跟空间的相对位置,手机1的空间位置是依靠手机1视频流计算出来的。在拍摄的时候,触发点是人为界定的,即用户自行判断什么时候让球幕相机2开始拍摄,也就是触发点自定义,在球幕相机2进行拍摄的时候,多个触发点形成的排布点(即间隔多远距离进行一次拍摄)在稠密程度适中的情况下建造出来的模型在浏览和过渡效果上都会更好。在整个拍摄过程中,手机1的视频流一直在运行,手机1不用于拍摄照片,仅用于拍摄视频流进行定位;球幕相机2只有在采集数据(拍照)或者修改一些内在参本文档来自技高网...
通过移动终端和球幕相机对大场景进行三维建模的方法

【技术保护点】
1.通过移动终端和球幕相机对大场景进行三维建模的方法,其特征在于,包括移动终端,以及与所述移动终端通信连接的球幕相机;所述方法包括以下步骤:S1通过移动终端的摄像头拍摄当前位置点的视频流;S2通过获得的所述当前位置点视频流对移动终端进行定位,即获得当前任一位置的位置信息;S3触发所述球幕相机进行拍照;S4将所述球幕相机拍摄的照片与所述移动终端的所述位置信息进行三维重建离线算法与稀疏重建;S5计算重建后获得所述球幕相机的精确位置信息以及稀疏点云;S6基于稀疏点云进行三维建模。

【技术特征摘要】
1.通过移动终端和球幕相机对大场景进行三维建模的方法,其特征在于,包括移动终端,以及与所述移动终端通信连接的球幕相机;所述方法包括以下步骤:S1通过移动终端的摄像头拍摄当前位置点的视频流;S2通过获得的所述当前位置点视频流对移动终端进行定位,即获得当前任一位置的位置信息;S3触发所述球幕相机进行拍照;S4将所述球幕相机拍摄的照片与所述移动终端的所述位置信息进行三维重建离线算法与稀疏重建;S5计算重建...

【专利技术属性】
技术研发人员:崔岩
申请(专利权)人:中德珠海人工智能研究院有限公司珠海市四维时代网络科技有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1