一种基于激光和相机传感器的三维模型生成方法及其系统技术方案

本申请涉及三维建模技术领域，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统；本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。一个完整的能用于更多领域的三维模型。一个完整的能用于更多领域的三维模型。

【技术实现步骤摘要】
一种基于激光和相机传感器的三维模型生成方法及其系统


[0001]本申请涉及三维建模
，特别涉及到一种基于激光和相机传感器的三维模型生成方法及其系统。

技术介绍

[0002]在游戏、影视甚至数字孪生应用中，需要构建大量的三维模型，这些三维模型通常是由专业的3D建模师通过专业软件手工搭建而成；生产成本，周期极高，还需大量的后期维护成本。
[0003]目前很多基于多角度对同一个物体拍摄多张图像或者视频来生成一个三维模型，这样的方法要么对拍摄场景有较多的限制，要么需要昂贵的专业的设备仪器才能满足建模要求，这种类似的方法几乎无法用于室内场景的建模。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种基于激光和相机传感器的三维模型生成方法，通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型；还提供了一种基于激光和相机传感器的三维模型生成系统。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于激光和相机传感器的三维模型生成方法，其中，包括如下步骤：步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图；步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。
[0006]作为本申请的一种改进，在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明
良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果。
[0007]作为本申请的进一步改进，在步骤S1内，相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变换关系。
[0008]作为本申请的更进一步改进，在步骤S2内，得到的机模组在采集过程中运动姿态和轨迹进行离线存储。
[0009]作为本申请的更进一步改进，在步骤S4内，基于每帧的激光点云数据、RGB图以及得到相机模组的位置和姿态，对每帧构建相邻帧，然后根据相邻帧，对原始深度图进行稠密化，从而生成一张和RGB图同样大小的完整深度图，之后再将对完整深度图进行滤波，剔除错误的深度，从而得到稠密点云。
[0010]作为本申请的更进一步改进，在步骤S4内，有共同观测数据的帧互为相邻帧。
[0011]作为本申请的更进一步改进，在步骤S5内，对粗网格进行平滑、去噪、细分并基于观测图像进行优化，得到精细的优质网格。
[0012]作为本申请的更进一步改进，在步骤S6内，将所有面的纹理信息打包到一起整合得到纹理图像，然后转成通用的三维模型格式输出。
[0013]一种基于激光和相机传感器的三维模型生成系统，其中，包括：标定模块，用于对相机模组进行标定；位置姿态计算模块，用于计算得到相机模组的运动姿态和轨迹；图像对齐模块，用于图像数据对齐，得到图像对应点的深度，生成原始深度图；稠密化模块，用于构建相邻帧，对原始深度图进行稠密化；网络化模块，用于对稠密点云网格化，得到粗网格，并对粗网格进行平滑、去噪、 细分处理；纹理映射模块，用于将同一个面在不同相机视角中的图像信息进行融合，生成每个面融合后的纹理信息。
[0014]本申请的有益效果是：与现有技术相比，本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
附图说明
[0015]图1为本申请实施例的步骤框图。
具体实施方式
[0016]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0017]请参照图1，本申请的一种基于激光和相机传感器的三维模型生成方法，包括如下
步骤：步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而和图像数据对齐，得到图像对应点的深度，生成原始深度图；步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。
[0018]本申请通过对相机模组的标定，得到激光相对于相机的位置和姿态，进行点云图像对齐、稠密化和网格化，再进行纹理映射，鲁棒生成三维模型，通过激光数据弥补了基于纯图像数据建模的不足之处，极大提升了建模稳定性，降低了对拍摄和模型内容的要求；而且将传统纯图像建模的思路应用到激光点云上，从而可以得到一个完整的能用于更多领域的三维模型。
[0019]具体地讲在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果；相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于激光和相机传感器的三维模型生成方法，其特征在于，包括如下步骤：步骤S1、采用棋盘格对相机模组进行标定，且使相机模组对准棋盘格，采集相机和激光数据，同时检测到图像和激光点云上对应在棋盘格上的点，从而得到激光相对于相机的位置和姿态变换关系；步骤S2、通过标定好的相机模组扫描整个需要建模的空间，采集图像和激光点云数据，结合步骤S1的标定信息，对激光扫描过程中出现的重叠点和图像重叠区进行检测对比，从而获得相机模组在采集过程中运动姿态和轨迹；步骤S3、将每帧采集到的激光点云数据投影到对应帧的图像上，从而与图像数据对齐，得到图像对应点的深度，生成原始深度图；步骤S4、对原始深度图进行稠密化，得到完整深度图，再对完整深度图进行滤波，得到稠密点云；步骤S5、对稠密点云网格化，得到粗网格，再对粗网格进行处理，得到优质网格；步骤S6、将优质网格投影到相机视角中，得到每个面对应的图像信息，再将同一个面在不同相机视角中的图像信息进行融合，生成每一面融合后的纹理信息，再将所有面的纹理信息整合得到纹理图像，将纹理图像转成三维模型格式进行输出。2.根据权利要求1所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S1内，制备一个已知尺寸的大型棋盘格，保证照明良好，采集大量数据，然后检测棋盘格内部的点，然后通过投影变换关系得到相机模组的标定结果。3.根据权利要求2所述的一种基于激光和相机传感器的三维模型生成方法，其特征在于，在步骤S1内，相机模组对准棋盘格，同时采集相机和激光数据，并检测到图像和激光点云上对应在棋盘格上的点，通过这个匹配关系和得到的相机模组的标定结果，得到激光相对于相机的位置和姿态变...

【专利技术属性】
技术研发人员：范帝楷，
申请(专利权)人：深圳市其域创新科技有限公司，
类型：发明
国别省市：