基于卷积神经网络的视点数据生成方法和装置制造方法及图纸

本发明专利技术提出一种基于卷积神经网络的视点数据生成方法和装置，其中，方法包括：获取多种训练场景的离散视点数据集；提取针对同一个训练场景的多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，并获取第一相机参数，和第二相机参数；将第一彩色图像信息、第二彩色图像信息、第一相机参数和第二相机参数输入至预设的卷积神经网络；通过卷积神经网络估算视点数据；计算第三视点数据与估算视点数据之间的损失值，完成对卷积神经网络的训练，以便于视点图像的生成。本发明专利技术结合深度信息进行联合优化产生的新视点能够拥有更稳定的信息，并减少视差变化较大产生的重影和黑洞，实现稀疏视点输入的情况下连续一致的密集视点生成。

Method and device for generating viewpoint data based on convolutional neural network

The invention proposes a viewpoint data generation method and device based on convolution neural network, wherein the method includes: obtaining discrete viewpoint data sets of multiple training scenes; extracting the first viewpoint data of the first viewpoint and the second viewpoint data of the second viewpoint in the multi frame viewpoint data of the same training scene, and obtaining the first camera parameters and the second camera parameters; Input the first color image information, the second color image information, the first camera parameter and the second camera parameter to the preset convolution neural network; estimate the viewpoint data through the convolution neural network; calculate the loss value between the third viewpoint data and the estimated viewpoint data, and complete the training of the convolution neural network, so as to facilitate the generation of the viewpoint image. The new viewpoint generated by the joint optimization combined with the depth information of the invention can have more stable information, reduce the ghosting and black hole generated by the large disparity change, and realize the continuous and consistent generation of dense viewpoint in the case of sparse viewpoint input.

【技术实现步骤摘要】
基于卷积神经网络的视点数据生成方法和装置
本专利技术涉及计算机视觉
，尤其涉及一种基于卷积神经网络的视点数据生成方法和装置。
技术介绍
基于图像的新视点渲染是三维重建及计算机视觉领域的重点问题。随着虚拟现实技术以及增强现实技术的发展和普及，从稀疏视点图像生成连续的、密集的视点，以实现视觉上的连续感和沉浸感的问题越来越受到人们的关注。当某些特定的应用场景，只能获取有限的图像，如谷歌街景只能获取用户拍摄的离散场景图像，为了能重建出连续的沉浸式的街景，稀疏视点生成稠密视点图像的算法变得尤为重要。现有技术中，利用视点插值或深度图渲染出的新视点具有重影、空洞的缺陷，因此如何解决这一现实问题成为一个具有挑战性的议题。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种基于卷积神经网络的视点数据生成方法，结合深度信息进行联合优化而产生的新视点能够拥有更稳定的信息同时减少视差变化较大产生的重影和黑洞，实现稀疏视点输入的情况下连续一致的密集视点生成。本专利技术的第二个目的在于提出一种基于卷积神经网络的视点数据生成装置。本专利技术的第三个目的在于提出一种计算机设备。本专利技术的第四个目的在于提出一种非临时性计算机可读存储介质。为达上述目的，本专利技术第一方面实施例提出了一种基于卷积神经网络的视点数据生成方法，包括：获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。在本专利技术的实施例中，所述根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，包括：根据运动重构方法对所述第一视点数据估算获取所述第一相机参数；根据运动重构方法对所述第二视点数据估算获取所述第二相机参数。在本专利技术的实施例中，所述通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据，包括：根据预设算法对所述第一彩色图像信息计算生成第一深度信息；根据预设算法对所述第二彩色图像信息计算生成第二深度信息；根据所述第一深度信息和所述第二深度信息生成所述第三视点的估算深度信息；根据所述估算深度信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算彩色像素信息。在本专利技术的实施例中，所述计算所述第三视点数据与所述估算视点数据之间的损失值，包括：计算所述估算深度信息和所述第三视点数据对应的第三深度信息的深度损失值；计算所述估算彩色图像信息和所述第三视点数据对应的第三彩色图像信息的彩色图像损失值；根据预设公式对所述深度损失值和所述彩色图像损失值计算获取所述损失值。在本专利技术的实施例中，所述基于卷积神经网络的视点数据生成方法，还包括：获取相机模组拍摄的当前场景的多个拍摄视点数据；根据所述多个拍摄视点数据计算所述相机模组针对每个拍摄视点的相机参数；将所述多个拍摄视点数据两两一组划分为多组拍摄视点数据；将每组拍摄视点数据和对应的相机参数输入至训练完成的所述卷积神经网络，获取与所述每组拍摄视点数据对应的新增视点数据；根据所述新增视点数据和所述多个拍摄视点数据生成针对所述当前场景的视点数据，并根据所述视点数据提供导航服务。本专利技术实施例基于卷积神经网络的视点数据生成方法，结合深度信息进行联合优化而产生的新视点能够拥有更稳定的几何信息同时减少视差变化较大产生的重影和黑洞；另外，利用卷积神经网络完成密集新视点的渲染能够有效的利用训练过程来融合输入视点的RGB信息并保证全局平滑的结果；联合估计深度和深度学习的特点使本专利技术能够实现稀疏视点输入的情况下得到连续一致的密集视点生成。为达上述目的，本专利技术第二方面实施例提出了一种基于卷积神经网络的视点数据生成装置，包括：第一获取模块，用于获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；提取模块，用于提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；第二获取模块，根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；输入模块，用于将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；估算模块，用于通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；计算模块，用于计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。在本专利技术的实施例中，所述第二获取模块，包括：第一获取单元，用于根据运动重构方法对所述第一视点数据估算获取所述第一相机参数；第二获取单元，用于根据运动重构方法对所述第二视点数据估算获取所述第二相机参数。在本专利技术的实施例中，所述计算模块，包括：第一计算单元，用于计算所述估算深度信息和所述第三视点数据对应的第三深度信息的深度损失值；第二计算单元，用于计算所述估算彩色图像信息和所述第三视点数据对应的第三彩色图像信息的彩色图像损失值。本专利技术实施例基于卷积神经网络的视点数据生成装置，通过第一获取模块、提取模块、第二获取模块、输入模块、估算模块和计算模块，结合深度信息进行联合优化而产生的新视点能够拥有更稳定的几何信息同时减少视差变化较大产生的重影和黑洞，联合优化深度和新视点渲染的神经网络来实现利用稀疏视点图像生成密集视点。为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例第一方面所述的基于卷积神经网络的视点数据生成方法。为了实现上述目的，本发本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的视点数据生成方法，其特征在于，包括以下步骤：获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。...

【技术特征摘要】
1.一种基于卷积神经网络的视点数据生成方法，其特征在于，包括以下步骤：获取多种训练场景的离散视点数据集，其中，所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据，其中，所述多帧视点数据中每帧视点数据，包含对应视点下所述训练场景的彩色图像信息和深度信息；提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据，和第二视点的第二视点数据，其中，所述多帧视点数据中包含第三视点的第三视点数据；根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和所述第二视点的第二相机参数；将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络；通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据；计算所述第三视点数据与所述估算视点数据之间的损失值，当所述损失值大于预设阈值时，调整所述卷积神经网络的网络参数，直至所述损失值小于等于所述预设阈值时，完成对所述卷积神经网络的训练，以便于根据训练完成后的卷积神经网络进行视点图像的生成。2.如权利要求1所述的方法，其特征在于，所述根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数，和第二视点的第二相机参数，包括：根据运动重构方法对所述第一视点数据估算获取所述第一相机参数；根据运动重构方法对所述第二视点数据估算获取所述第二相机参数。3.如权利要求1所述的方法，其特征在于，所述通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据，包括：根据预设算法对所述第一彩色图像信息计算生成第一深度信息；根据预设算法对所述第二彩色图像信息计算生成第二深度信息；根据所述第一深度信息和所述第二深度信息生成所述第三视点的估算深度信息；根据所述估算深度信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算彩色像素信息。4.如权利要求3所述的方法，其特征在于，所述计算所述第三视点数据与所述估算视点数据之间的损失值，包括：计算所述估算深度信息和所述第三视点数据对应的第三深度信息的深度损失值；计算所述估算彩色图像信息和所述第三视点数据对应的第三彩色图像信息的彩色图像损失值；根据预设公式对所述深度损失值和所述彩色图像损失值计算获取所述损失值。5.如权利要求1所述的方法，其特征在于，还包括：获取相机模组拍摄的当前场景的多个拍摄视点数据；根据所述多个拍摄视点数据计算所述相机模组针对每个拍摄视点的相机参...

【专利技术属性】
技术研发人员：刘烨斌，周玥眉，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11