石刻模型构建方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种石刻模型构建方法、装置、设备及存储介质。该方法包括：采集目标石刻多角度的石刻图像；分别对各石刻图像进行三维空间数据提取，得到对应点云数据，分别对各石刻图像进行二维表征数据提取，得到对应表征数据；采用预置第一深度学习算法对各点云数据进行三维重建，得到三维网络模型，采用预置第二深度学习算法对所述各表征数据进行特征提取，得到石刻图像的纹理特征与颜色特征；根据纹理特征，对三维网络模型进行纹理融合，得到目标石刻的初始三维模型；根据颜色特征，对初始三维模型进行颜色渲染，得到目标石刻的三维仿真模型。本发明专利技术采用多目视觉和人工智能技术，提升了石刻模型的精度及视觉效果。

【技术实现步骤摘要】
石刻模型构建方法、装置、设备及存储介质
本专利技术涉及人工智能领域，尤其涉及一种石刻模型构建方法、装置、设备及存储介质。
技术介绍
计算机视觉技术是计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术。同时也是图像处理、人工智能和模式识别等技术的综合。近年来基于深度学习的计算机视觉与人工智能技术高速发展，对于文物的扫描、记录、精确重建，甚至对于石刻艺术的保护、修复起到了至关重要的作用。机器视觉技术综合了多个学科，用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量、控制、重构等。机器视觉技术最大的特点是速度快、信息量大、功能多。传统的3D建模技术是采用多台相机对目标物体的图像进行采集，采集目标图像之前需要对相机进行参数校验，校准过程十分复杂，运算量特别大，而且采集的图像没有任何约束条件，因此传统的3D建模技术复原的模型对物体的细节复原不到位，很难做到高精度的复原。
技术实现思路
本专利技术的主要目的在于解决现有石刻模型构建效果不佳的技术问题。本专利技术第一方面提供了一种石刻模型构建方法，包括：采集目标石刻多个角度的石刻图像；分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。可选的，在本专利技术第一方面的第一种实现方式中，所述分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据包括：采用棋盘格法对拍摄相机进行几何参数校准；采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；对所述点云数据进行密集匹配，得到密集点云数据。可选的，在本专利技术第一方面的第二种实现方式中，所述分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据包括：调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。可选的，在本专利技术第一方面的第三种实现方式中，所述采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型包括以下步骤：对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据所述多个像素点输出值，构建所述石刻图像的三维结构；对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。可选的，在本专利技术第一方面的第四种实现方式中，所述采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征包括以下步骤：将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。可选的，在本专利技术第一方面的第五种实现方式中，所述根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型包括以下步骤：对所述纹理特征进行特征分类与识别，生成纹理特征图像；采用纹理映射算法,对所述纹理特征图像进行纹理映射，生成纹理图像；将所述纹理图像和所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型。可选的，在本专利技术第一方面的第六种实现方式中，在所述根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型之后，还包括：创建所述目标石刻的三维仿真模型的材质信息、贴图信息以及灯光信息；将所述贴图信息按所述三维仿真模型的层级结构进行渲染，并对渲染出的层面进行合成，得到三维动画模型；根据所述材质信息和所述灯光信息，对所述三维动画模型进行灯光和材质调整，得到所述目标石刻的CG动画。本专利技术第二方面提供了一种石刻模型构建装置，包括：采集模块，用于采集目标石刻多个角度的石刻图像；提取模块，用于分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；处理模块，用于采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；融合模块，用于根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；渲染模块，用于根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。可选的，在本专利技术第二方面的第一种实现方式中，所述提取模块具体用于：采用棋盘格法对拍摄相机进行几何参数校准；采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；对所述点云数据进行密集匹配，得到密集点云数据；调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。可选的，在本专利技术第二方面的第二种实现方式中，所述处理模块具体用于：对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；根据所述多个像素点输出值，构建所述石刻图像的三维结构；对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第一特征图像；将所述多个第一特征图像输入预置GAN网络进行特征还原，得到多个第二特征图像；分别对所述多个第二特征图像进行特征提取，得到所述石刻图像的纹理特征与颜色特征。可选的，在本专利技术第二方本文档来自技高网...

【技术保护点】
1.一种石刻模型构建方法，其特征在于，所述石刻模型构建方法包括：/n采集目标石刻多个角度的石刻图像；/n分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；/n采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；/n根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；/n根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。/n

【技术特征摘要】
1.一种石刻模型构建方法，其特征在于，所述石刻模型构建方法包括：
采集目标石刻多个角度的石刻图像；
分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据，以及分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据；
采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型，以及采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征；
根据所述纹理特征，对所述三维网络模型进行纹理融合，得到所述目标石刻的初始三维模型；
根据所述颜色特征，对所述初始三维模型进行颜色渲染，得到所述目标石刻的三维仿真模型。


2.根据权利要求1所述的石刻模型构建方法，其特征在于，所述分别对所述各石刻图像进行三维空间数据提取，得到所述各石刻图像对应的点云数据包括：
采用棋盘格法对拍摄相机进行几何参数校准；
采用多目视觉算法，对所述多角度的石刻图像进行三维特征点匹配，得到所述石刻图像的特征点匹配信息；
根据所述特征点匹配信息，对所述拍摄相机进行姿态估计，得到相机姿态估算值；
对所述相机姿态估算值进行三角化处理，得到所述石刻图像对应的点云数据；
对所述点云数据进行密集匹配，得到密集点云数据。


3.根据权利要求1所述的石刻模型构建方法，其特征在于，所述分别对所述各石刻图像进行二维表征数据提取，得到所述各石刻图像对应的表征数据包括：
调整所述各石刻图像的尺寸，并对所述石刻图像进行裁剪，得到多个标准石刻图像；
将所述标准石刻图像输入预置残差学习网络进行特征提取，得到所述标准石刻图像的特征图像；
对所述特征图像的特征点数据进行标注，得到对应石刻图像的表征数据。


4.根据权利要求1或2所述的石刻模型构建方法，其特征在于，所述采用预置第一深度学习算法对所述各点云数据进行三维重建，得到所述石刻图像的三维网络模型包括：
对所述各点云数据进行多角度二维卷积运算，得到多个像素点输出值；
根据所述多个像素点输出值，构建所述石刻图像的三维结构；
对所述三维结构进行纹理渲染，得到所述石刻图像的三维网络模型。


5.根据权利要求1或3所述的石刻模型构建方法，其特征在于，所述采用预置第二深度学习算法对所述各表征数据进行特征提取，得到所述石刻图像的纹理特征与颜色特征包括：
将所述各表征数据输入预置Mask-RCNN模型进行特征提取，得到多个第...

【专利技术属性】
技术研发人员：刘奡智，张立沛，韩宝强，肖京，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44