物体三维表面的重建方法和装置制造方法及图纸

技术编号:29056676 阅读:30 留言:0更新日期:2021-06-30 08:56
本公开提出一种物体三维表面的重建方法和装置,涉及三维建模技术领域。本公开利用搭载在飞行器上的RGB

【技术实现步骤摘要】
物体三维表面的重建方法和装置


[0001]本公开涉及三维建模
,特别涉及一种基于标定件和RGB-D(Red Green Blue Depth,红绿蓝深度)相机实现的物体三维表面的重建方法和装置。

技术介绍

[0002]在一些相关技术中,利用激光雷达扫描可以获取场景的三维点云数据,通过三维点云数据对物体进行三维建模。但是,所使用的设备非常昂贵,而且扫描时间长,运算量非常大,灵活性和实用性不足。

技术实现思路

[0003]本公开利用搭载在飞行器上的RGB-D相机获得各个视角的物体的图像数据,并且通过识别一种标定件,能够同时获取该RGB-D相机拍摄时在世界坐标系中的位姿信息,根据该RGB-D相机在世界坐标系中的位姿信息,将该RGB-D相机在不同拍摄位姿下拍摄的物体的图像数据进行拼接,就可以重建物体三维表面。利用少量RGB-D相机就可以实现复杂静态物体的三维表面重建,实用性更好。飞行器搭载的RGB-D相机能够自由地从需要的视角对物体表面进行拍摄,不需要组建昂贵的多相机阵列,具有很大的灵活性。利用标定件配合进行RGB-D相机在世界坐标系中的位姿计算,计算量大大减小。
[0004]本公开的一些实施例提出一种物体三维表面的重建方法,包括:
[0005]获取搭载在飞行器上的第一RGB-D相机在多个拍摄位姿下拍摄的图像数据,所述图像数据包括物体的图像数据;
[0006]基于与所述物体位于同一区域的标定件,获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息;
[0007]根据第一RGB-D相机的所述多个拍摄位姿在世界坐标系中的位姿信息,将第一RGB-D相机在所述多个拍摄位姿下拍摄的物体的图像数据进行拼接,以重建物体三维表面。
[0008]在一些实施例中,所述标定件的表面分布着多个特征模式,每个特征模式对应一组特征点,每个特征点在世界坐标系中的坐标是可设置的。
[0009]在一些实施例中,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:
[0010]基于第一RGB-D相机拍摄的标定件的图像数据,和/或,基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据,获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息;
[0011]其中,所述第二RGB-D相机设置在固定平台,所述飞行器从所述固定平台起飞。
[0012]在一些实施例中,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:
[0013]利用第一位姿信息,对第二位姿信息进行修正;
[0014]或者,在第一位姿信息的获取过程中,当发现标定件被遮挡时,获取第二位姿信
息,并将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息;
[0015]其中,所述第一位姿信息是基于第一RGB-D相机拍摄的标定件的图像数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息,所述第二位姿信息是基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。
[0016]在一些实施例中,所述第一RGB-D相机在每个拍摄位姿下拍摄的图像数据同时包括物体和标定件的图像数据,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:
[0017]基于第一空间变换矩阵,构建第一RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第一关系;
[0018]基于第一RGB-D相机的内部参数矩阵,构建图像像素坐标与相机坐标系中的坐标之间的第二关系;
[0019]从所述第一RGB-D相机在每个拍摄位姿下拍摄的标定件的图像数据中获取多个特征点;
[0020]根据当前拍摄位姿获取的所述多个特征点的图像像素坐标和其在世界坐标系中的坐标,并结合所述第一关系和所述第二关系,确定所述第一RGB-D相机在当前拍摄位姿下对应的第一空间变换矩阵,将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息。
[0021]在一些实施例中,所述飞行器从固定平台起飞,并设置有惯性测量单元,所述固定平台设置有第二RGB-D相机,所述方法还包括:
[0022]获取所述第二RGB-D相机拍摄的标定件的图像数据;
[0023]基于所述惯性测量单元提供的实时导航数据,确定所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息;
[0024]所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:
[0025]基于从所述第二RGB-D相机拍摄的标定件的图像数据中获取的多个特征点,确定所述第二RGB-D相机在世界坐标系中的位姿信息;
[0026]根据设置于固定平台的第二RGB-D相机在世界坐标系中的位姿信息以及所述飞行器搭载的第一RGB-D相机的每个拍摄位姿相对于所述固定平台的相对位姿信息,确定所述第一RGB-D相机的相应拍摄位姿在世界坐标系中的位姿信息。
[0027]在一些实施例中,所述确定所述第二RGB-D相机在世界坐标系中的位姿信息包括:
[0028]基于第二空间变换矩阵,构建第二RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第三关系;
[0029]基于第二RGB-D相机的内部参数矩阵,构建图像像素坐标与相机坐标系中的坐标之间的第四关系;
[0030]根据所述多个特征点的图像像素坐标和其在世界坐标系中的坐标,并结合所述第三关系和所述第四关系,确定所述第二RGB-D相机对应的第二空间变换矩阵,将其作为第二RGB-D相机在世界坐标系中的位姿信息。
[0031]在一些实施例中,所述重建物体三维表面包括:
[0032]根据第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息,将第一RGB-D相
机在相应拍摄位姿下拍摄的物体图像中的每个像素坐标转换为相应像素在世界坐标系中的坐标;
[0033]根据各个像素在世界坐标系中的坐标,将不同位置处的像素拼接起来,以重建物体三维表面。
[0034]在一些实施例中,还包括:实时评估物体三维表面的重建质量;控制飞行器在指定位姿针对重建质量不符合要求的区域进行补充拍摄。
[0035]在一些实施例中,根据物体三维表面的空洞率或粗糙程度,实时评估物体三维表面的重建质量。
[0036]本公开的一些实施例提出一种物体三维表面的重建装置,包括:
[0037]存储器;以及
[0038]耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行任一个实施例所述的物体三维表面的重建方法。
[0039]本公开的一些实施例提出一种非瞬时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一个实施例所述的物体三维表面的重建方法。
附图说明本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种物体三维表面的重建方法,其特征在于,包括:获取搭载在飞行器上的第一RGB-D相机在多个拍摄位姿下拍摄的图像数据,所述图像数据包括物体的图像数据;基于与所述物体位于同一区域的标定件,获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息;根据第一RGB-D相机的所述多个拍摄位姿在世界坐标系中的位姿信息,将第一RGB-D相机在所述多个拍摄位姿下拍摄的物体的图像数据进行拼接,以重建物体三维表面。2.根据权利要求1所述的方法,其特征在于,所述标定件的表面分布着多个特征模式,每个特征模式对应一组特征点,每个特征点在世界坐标系中的坐标是可设置的。3.根据权利要求1所述的方法,其特征在于,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:基于第一RGB-D相机拍摄的标定件的图像数据,和/或,基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据,获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息;其中,所述第二RGB-D相机设置在固定平台,所述飞行器从所述固定平台起飞。4.根据权利要求3所述的方法,其特征在于,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:利用第一位姿信息,对第二位姿信息进行修正;或者,在第一位姿信息的获取过程中,当发现标定件被遮挡时,获取第二位姿信息,并将其作为第一RGB-D相机的当前拍摄位姿在世界坐标系中的位姿信息;其中,所述第一位姿信息是基于第一RGB-D相机拍摄的标定件的图像数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息,所述第二位姿信息是基于第二RGB-D相机拍摄的标定件的图像数据和所述飞行器的惯性测量单元提供的实时导航数据所获取的第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息。5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一RGB-D相机在每个拍摄位姿下拍摄的图像数据同时包括物体和标定件的图像数据,所述获取第一RGB-D相机的每个拍摄位姿在世界坐标系中的位姿信息包括:基于第一空间变换矩阵,构建第一RGB-D相机的相机坐标系中的坐标与世界坐标系中的坐标之间的第一关系;基于第一RGB-D相机的内部参数矩阵,构建图像像素坐标与相机坐标系中的坐标之间的第二关系;从所述第一RGB-D相机在每个拍摄位姿下拍摄的标定件的图像数据中获取多个特征点;根据当前拍摄位姿获取的所述多个特征点的图像像素坐标和其在世界坐标系中的坐标,并结合所述第一关系和所述第二关系,确定所述第一RGB-D相机在当前拍摄位姿下对应的第一空间变换矩阵,将其...

【专利技术属性】
技术研发人员:张丽孙运达张宇楠金鑫唐虎陈志强
申请(专利权)人:同方威视技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1