一种三维重建方法、系统、介质、设备及程序产品技术方案

本发明专利技术涉及图像处理技术领域，本发明专利技术公开了一种三维重建方法、系统、介质、设备及程序产品，包括：获取待重建目标的视频数据和文本数据；对所述视频数据进行预处理，得到图片数据集，将图片数据集转化为一组稀疏点后，基于所述稀疏点，创建图块，并使用光栅化渲染所述图块，得到渲染图像，基于所述渲染图像，通过深度学习模型，计算损失，迭代修正所述图块，得到三维重建模型；将所述文本数据转化为音频，以使音频添加至所述三维重建模型。实现了三维场景重建与视听交互体验，而且，实现了一次渲染场景中的一组图块对象，相对于一次渲染一个像素，速度高出了一个数量级。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体的说，是涉及一种三维重建方法、系统、介质、设备及程序产品。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、当前的三维重建技术多基于传统的结构光、多视图立体匹配等方法，存在精度不高、数据需求大、运算复杂等问题。近年来，nerf（neural radiance fields，神经辐射场）技术兴起，通过深度学习的方法从一系列2d（二维）图片中学习，并将其建模成一个连续的辐射场隐式存储在神经网络中，实现对环境和物体的三维重建，有效地提高场景的精度和真实感。nerf技术已经在渲染与建模、规划与设计、导航与感知以及游戏开发等领域崭露头角。

3、目前，以nerf技术为基础的三维重建方法，尚未在用户友好性和广泛应用性方面取得充分的进展，主要以论文研究和开源代码形式存在。其应用首先需要深度学习领域的专业知识，包括环境的搭建、配置，模型的训练、调优等方面，用户门槛较高；另外，模型的训练过程还需要高性能的图形处理单元支持，硬件要求较为严格。

4、虽然nerf技术的移本文档来自技高网...

【技术保护点】

1.一种三维重建方法，其特征在于，包括：

2.如权利要求1所述的一种三维重建方法，其特征在于，所述预处理包括：根据所述视频数据的时长进行视频帧提取后，进行视频帧的剔除操作，得到若干张图片，组成所述图片数据集。

3.如权利要求1所述的一种三维重建方法，其特征在于，还包括：对所述三维重建模型进行重新排序、限制映射和纹理压缩操作后，进行所述三维重建模型的渲染。

4.如权利要求1所述的一种三维重建方法，其特征在于，所述将图片数据集转化为一组稀疏点的步骤包括：相机位姿还原、图像特征检测、图像特征提取、特征点匹配和稀疏点重建。

5.如权利要求1所述的一...

【技术特征摘要】

1.一种三维重建方法，其特征在于，包括：

2.如权利要求1所述的一种三维重建方法，其特征在于，所述预处理包括：根据所述视频数据的时长进行视频帧提取后，进行视频帧的剔除操作，得到若干张图片，组成所述图片数据集。

3.如权利要求1所述的一种三维重建方法，其特征在于，还包括：对所述三维重建模型进行重新排序、限制映射和纹理压缩操作后，进行所述三维重建模型的渲染。

4.如权利要求1所述的一种三维重建方法，其特征在于，所述将图片数据集转化为一组稀疏点的步骤包括：相机位姿还原、图像特征检测、图像特征提取、特征点匹配和稀疏点重建。

5.如权利要求1所述的一种三维重建方法，其特征在于，所述图块表示为：，其中，p为图块的中心，v为协方差矩阵。

6.如权利要求1所述的一种...

【专利技术属性】
技术研发人员：刘冲，李奇，潘洁，吴海涛，周英，逯行政，魏宏伟，朱宏亮，张昊泽，徐鑫，陈俊美，杨杰，张亦卓，董晓晗，亓立壮，李延港，刘承浩，孙明正，
申请(专利权)人：齐鲁空天信息研究院，
类型：发明
国别省市：