一种基于深度学习的三维模型重建技术制造技术

技术编号:22078139 阅读:39 留言:0更新日期:2019-09-12 14:59
本发明专利技术公开了一种基于深度学习的三维模型重建技术,通过Kinect传感器对物体进行全方位的拍摄,获取物体的深度图像和彩色图像,对深度图像进行去噪和修复等图像增强过程,获得深度图像的二维信息,对深度图像进行点云计算,以场景的公共部分为基准对深度图像依次进行粗糙配准、精细配准、全局配准,把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中,计算出相应的平移向量与旋转矩阵,同时消除冗余信息,经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息,对点云数据进行融合处理,以获得更加精细的重建模型,计算机视觉知识推到出现实中物体的三维信息。

A Three-Dimensional Model Reconstruction Technology Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的三维模型重建技术
本专利技术涉及三维重建
,特别涉及一种基于深度学习的三维模型重建技术。
技术介绍
在计算机视觉和计算机图形学中,三维重建是捕捉真实物体形状和外观的过程,这个过程可以通过主动或被动方法完成。三维模型经常用三维建模工具这种专门的软件生成,但是也可以用其它方法生成。作为点和其它信息集合的数据,三维模型可以手工生成,也可以按照一定的算法生成。尽管通常按照虚拟的方式存在于计算机或者计算机文件中,但是在纸上描述的类似模型也可以认为是三维模型。三维模型广泛用任何使用三维图形的地方。实际上,它们的应用早于个人电脑上三维图形的流行。许多计算机游戏使用预先渲染的三维模型图像作为sprite用于实时计算机渲染。
技术实现思路
本专利技术的主要目的在于提供一种基于深度学习的三维模型重建技术,可以有效解决
技术介绍
中的问题。为实现上述目的,本专利技术采取的技术方案为:一种基于深度学习的三维模型重建技术,通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推到出现实中物体的三维信息;包括如下步骤:步骤一:旋转Kinect传感器对物体进行全方位的拍摄,获取物体的深度图像和彩色图像;步骤二:对获取的深度图像进行去噪和修复等图像增强过程,获取深度图像的二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的距离,以毫米为单位;步骤三:摄像机成像原理为基础,世界坐标系与图像像素坐标系之间具有下式的转换关系:由于fdx和fdy始终在一起步骤四:提取两帧图像之间的特征点,这种特征点可以是直线、拐点、曲线曲率等显示特征,也可以是自定义的符号、旋转图形、轴心等类型的特征,根据特征方程实现初步的配准,粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内,通过自动记录坐标,的到粗匹配初始值;经过前一步粗配准,得到了变换估计值,将此值作为初始值,在经过不断收敛与迭代的精细配准后,达到更加精准的效果,基于最小二乘法对误差函数进行最小化处理,经过反复迭代,直到均方误差小于设定的阈值,ICP算法能够获得精正确无误的配准结果,对自由形态曲面配准问题具有重要意义;通过对两帧精细配准结果,按照一定的顺序或一次性的进行多帧图像的配准,这两种配准方式分别称为序列配准和同步配准,配准过程中,匹配误差被均匀的分散到各个视角的多帧图像中,达到削减多次迭代引起的累积误差的效果;步骤五:经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息,需要对点云数据进行融合处理,以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格,网格把点云空间分割成极多的细小立方体,这种立方体叫做体素,通过为所有体素赋予SDF值,来隐式的模拟表面;SDF值等于此体素到重建表面的最小距离值,当SDF值大于零,表示该体素在表面前,当SDF小于零时,表示该体素在表面后,当SDF值越接近于零,表示该体素越贴近于场景的真实表面;鉴于TSDF算法采用了最小二乘法进行了优化,点云融合时又利用了权重值,所有该算法对点云数据有着明显的降噪功能;步骤六:表面生成的目的是为了构造物体的可视等值面,常用体素级方法直接处理原始灰度体数据,移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处,对于一个边界体素上一条棱边的两个端点而言,当其值一个大于给定的常数T,另一个小于T时,则这条棱边上一定有等值面的一个顶点;然后计算该体元中十二条棱和等值面的交点,并构造体元中的三角面片,所有的三角面片把体元分成了等值面内与等值面外两块区域,最后连接此数据场中的所有体元的三角面片,构成等值面,合并所有立方体的等值面便可生成完整的三维表面。附图说明图1为本专利技术一种基于深度学习的三维模型重建技术的整体结构示意图。具体实施方式为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本专利技术。如图1所示,一种基于深度学习的三维模型重建技术,通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推到出现实中物体的三维信息;包括如下步骤:步骤一:旋转Kinect传感器对物体进行全方位的拍摄,获取物体的深度图像和彩色图像;步骤二:对获取的深度图像进行去噪和修复等图像增强过程,获取深度图像的二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的距离,以毫米为单位;步骤三:摄像机成像原理为基础,世界坐标系与图像像素坐标系之间具有下式的转换关系:由于fdx和fdy始终在一起步骤四:提取两帧图像之间的特征点,这种特征点可以是直线、拐点、曲线曲率等显示特征,也可以是自定义的符号、旋转图形、轴心等类型的特征,根据特征方程实现初步的配准,粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内,通过自动记录坐标,的到粗匹配初始值;经过前一步粗配准,得到了变换估计值,将此值作为初始值,在经过不断收敛与迭代的精细配准后,达到更加精准的效果,基于最小二乘法对误差函数进行最小化处理,经过反复迭代,直到均方误差小于设定的阈值,ICP算法能够获得精正确无误的配准结果,对自由形态曲面配准问题具有重要意义;通过对两帧精细配准结果,按照一定的顺序或一次性的进行多帧图像的配准,这两种配准方式分别称为序列配准和同步配准,配准过程中,匹配误差被均匀的分散到各个视角的多帧图像中,达到削减多次迭代引起的累积误差的效果;步骤五:经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息,需要对点云数据进行融合处理,以获得更加精细的重建模型。以Kinect传感器的初始位置为原点构造体积网格,网格把点云空间分割成极多的细小立方体,这种立方体叫做体素,通过为所有体素赋予SDF值,来隐式的模拟表面;SDF值等于此体素到重建表面的最小距离值,当SDF值大于零,表示该体素在表面前,当SDF小于零时,表示该体素在表面后,当SDF值越接近于零,表示该体素越贴近于场景的真实表面;鉴于TSDF算法采用了最小二乘法进行了优化,点云融合时又利用了权重值,所有该算法对点云数据有着明显的降噪功能;步骤六:表面生成的目的是为了构造物体的可视等值面,常用体素级方法直接处理原始灰度体数据,移动立方体法首先将数据场中八个位置相邻的数据分别存放在一个四面体体元的八个顶点处,对于一个边界体素上一条棱边的两个端点而言,当其值一个大于给定的常数T,另一个小于T时,则这条棱边上一定有等值面的一个顶点;然后计算该体元中十二条棱和等值面的交点,并构造体元中的三角面片,所有的三角面片把体元分成了等值面内与等值面外两块区域,最后连接此数据场中的所有体元的三角面片,构成等值面,合并所有立方体的等值面便可生成完整的三维表面。以上显示和描述了本专利技术的基本原理和主要特征和本专利技术的优点。本行业的技术人员应该了解,本专利技术不受上述实施例的限制,上述实施例和说明书中描述的只是说明本专利技术的原理,在不脱离本专利技术精神和范围的前提下,本专利技术还会有各种变化和改进,这些变化和改进都落入要求保护的本专利技术范围内。本专利技术要求保护范围由所附的权利要求书及其等效物界定。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的三维模型重建技术,其特征在于:通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推到出现实中物体的三维信息;包括如下步骤:步骤一:旋转Kinect传感器对物体进行全方位的拍摄,获取物体的深度图像和彩色图像;步骤二:对获取的深度图像进行去噪和修复等图像增强过程,获取深度图像的二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的距离,以毫米为单位;步骤三:摄像机成像原理为基础,世界坐标系与图像像素坐标系之间具有下式的转换关系:

【技术特征摘要】
1.一种基于深度学习的三维模型重建技术,其特征在于:通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推到出现实中物体的三维信息;包括如下步骤:步骤一:旋转Kinect传感器对物体进行全方位的拍摄,获取物体的深度图像和彩色图像;步骤二:对获取的深度图像进行去噪和修复等图像增强过程,获取深度图像的二维信息,像素点的值是深度信息,表示物体表面到Kinect传感器之间的距离,以毫米为单位;步骤三:摄像机成像原理为基础,世界坐标系与图像像素坐标系之间具有下式的转换关系:由于fdx和fdy始终在一起步骤四:提取两帧图像之间的特征点,这种特征点可以是直线、拐点、曲线曲率等显示特征,也可以是自定义的符号、旋转图形、轴心等类型的特征,根据特征方程实现初步的配准,粗糙配准后的点云和目标点将处于同一尺度与参考坐标系内,通过自动记录坐标,的到粗匹配初始值;经过前一步粗配准,得到了变换估计值,将此值作为初始值,在经过不断收敛与迭代的精细配准后,达到更加精准的效果,基于最小二乘法对误差函数进行最小化处理,经过反复迭代,直到均方误差小于设定的阈值,ICP算法能够获得精正确无误的配准结果,对自由形态曲面配准问题具有重要意义;通过对两帧精细配准结果,按照一定的顺序或一次性的进行多帧图像的配准,这两种配准方式分别称为序列配准和同步配准,配准过程中,匹...

【专利技术属性】
技术研发人员:池前程李鑫
申请(专利权)人:武汉奥贝赛维数码科技有限公司
类型:发明
国别省市:湖北,42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1