全景图生成方法及装置、存储介质制造方法及图纸

本公开提供了一种全景图生成方法及装置、存储介质，其中，该方法包括：获取与目标场景对应的多张场景图像；将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。本公开通过深度神经网络，可以学习场景图像中的特征，场景图像的数目即使较少，也可以得到较为准确的三维全景图像，在节约了内存的同时，实现了对目标场景进行三维重构的目的，可用性高。

【技术实现步骤摘要】
全景图生成方法及装置、存储介质
本公开涉及图像处理领域，尤其涉及全景图生成方法及装置、存储介质。
技术介绍
目前，全景图像在军事、教育、虚拟现实和增强现实等领域中有很重要的研究和应用价值。全景图像的生成是指将一组具有重叠区域的场景图像拼接为一幅包含整个场景信息的全景图像。根据全景图像是否包含场景的深度信息，可以把全景图像分为2D(2Dimension，二维)全景图像和3D(三维)全景图像。3D全景图像包含场景的深度信息，更具有立体感知效应，更具有应用价值。通过三维重构方法可以展现整个场景的深度信息，但是所需要的图像数量比较多。并且对于一些高光区域，弱纹理区域重构结果含有误差。三维重构占用内存多，很难达到实时的效果，很难迁移到移动设备上。
技术实现思路
有鉴于此，本公开提供了一种全景图生成方法及装置、存储介质，以解决相关技术中的不足。根据本公开实施例的第一方面，提供一种全景图生成方法，所述方法包括：获取与目标场景对应的多张场景图像；将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。可选地，所述根据所述多张场景图像生成柱面全景图像，包括：根据所述多张场景图像，建立三维柱坐标系；将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。可选地，所述根据所述多张场景图像，建立三维柱坐标系，包括：对所述多张场景图像中每张场景图像进行特征提取，得到多张特征图；根据所述多张特征图，确定相机在拍摄所述每张场景图像时对应的相机位姿；根据拍摄所述每张场景图像时对应的所述相机位姿，拟合得到相机对所述目标场景进行拍摄时的运动轨迹；其中，所述运动轨迹与目标图形所包括的弧线重叠；将所述目标图形的中心位置作为三维柱坐标系的中心位置，在三维空间中建立所述三维柱坐标系。可选地，所述将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像，包括：根据所述柱面全景图像对应的预设尺寸，确定将所述三维柱坐标系中的三维柱坐标点映射为二维坐标点的第一映射关系；根据所述第一映射关系，根据反向投影方式，确定将所述二维坐标点映射为所述三维柱坐标点的第二映射关系；根据所述第二映射关系，将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。可选地，所述柱面全景图像包括不同深度值对应的柱面图；所述根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像，包括：根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像；根据所述不同深度值对应的所述深度概率图像，确定所述目标场景对应的所述全景深度图像；根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图像，确定所述目标场景对应的所述全景颜色图像。可选地，所述根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像，包括：将所述不同深度值对应的柱面图输入预先训练好的深度预测子网络，得到所述不同深度值对应的所述深度概率图像；将所述不同深度值对应的柱面图输入预先训练好的颜色预测子网络，得到所述不同深度值对应的全景颜色图像。可选地，所述根据所述不同深度值对应的所述深度概率图，生成所述目标场景对应的所述全景深度图像，包括：确定所述不同深度值对应的深度概率图的期望值，得到所述目标场景对应的所述全景深度图像。可选地，所述根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图，生成所述目标场景对应的所述全景颜色图像，包括：对所述不同深度值对应的所述深度概率图和所述不同深度值对应的全景颜色图进行加权求和，得到所述目标场景对应的所述全景颜色图像。可选地，所述方法还包括：根据获取的当前场景的多张样本颜色图像和多张样本深度图像，确定样本全景颜色图像和样本全景深度图像；将所述多张样本颜色图像作为预设神经网络的输入值，以所述样本全景颜色图像和样本全景深度图像作为监督，对所述预设神经网络进行训练，训练完成后，得到所述目标神经网络。可选地，所述将所述多张样本颜色图像作为预设神经网络的输入值，以所述样本全景颜色图像和样本全景深度图像作为监督，对所述预设神经网络进行训练，训练完成后，得到所述目标神经网络，包括：将所述多张样本颜色图像输入所述预设神经网络，由所述预设神经网络根据所述多张样本颜色图像生成备选柱面全景图像之后，根据所述备选柱面全景图像，生成所述当前场景对应的备选全景颜色图像和备选全景深度图像；确定所述备选全景颜色图像与所述样本全景颜色图像之间的第一误差，以及所述备选全景深度图像与所述样本全景深度图像之间的第二误差；将所述第一误差和所述第二误差的和值作为损失函数，根据预设的初始学习率，迭代更新所述预设神经网络所包括的至少一层的网络参数；在迭代更新次数达到预设迭代次数的情况下，得到训练完成的所述目标神经网络。根据本公开实施例的第二方面，提供一种全景图生成装置，所述装置包括：图像获取模块，被配置为获取与目标场景对应的多张场景图像；第一生成模块，被配置为将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；第二生成模块，被配置为根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。可选地，所述第一生成模块包括：坐标系建立子模块，被配置为根据所述多张场景图像，建立三维柱坐标系；映射子模块，被配置为将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。可选地，所述坐标系建立子模块包括：特征提取单元，被配置为对所述多张场景图像中每张场景图像进行特征提取，得到多张特征图；位姿确定单元，被配置为根据所述多张特征图，确定相机在拍摄所述每张场景图像时对应的相机位姿；运动轨迹拟合单元，被配置为根据拍摄所述每张场景图像时对应的所述相机位姿，拟合得到相机对所述目标场景进行拍摄时的运动轨迹；其中，所述运动轨迹与目标图形所包括的弧线重叠；坐标系建立单元，被配置为将所述目标图形的中心位置作为三维柱坐标系的中心位置，在三维空间中建本文档来自技高网...

【技术保护点】
1.一种全景图生成方法，其特征在于，所述方法包括：/n获取与目标场景对应的多张场景图像；/n将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；/n根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。/n

【技术特征摘要】
1.一种全景图生成方法，其特征在于，所述方法包括：
获取与目标场景对应的多张场景图像；
将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱面全景图像用于表征所述目标场景所包括的物体的不同深度信息；
根据所述全景颜色图像和所述全景深度图像，生成所述目标场景对应的三维全景图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多张场景图像生成柱面全景图像，包括：
根据所述多张场景图像，建立三维柱坐标系；
将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。


3.根据权利要求2所述的方法，其特征在于，所述根据所述多张场景图像，建立三维柱坐标系，包括：
对所述多张场景图像中每张场景图像进行特征提取，得到多张特征图；
根据所述多张特征图，确定相机在拍摄所述每张场景图像时对应的相机位姿；
根据拍摄所述每张场景图像时对应的所述相机位姿，拟合得到相机对所述目标场景进行拍摄时的运动轨迹；其中，所述运动轨迹与目标图形所包括的弧线重叠；
将所述目标图形的中心位置作为三维柱坐标系的中心位置，在三维空间中建立所述三维柱坐标系。


4.根据权利要求2所述的方法，其特征在于，所述将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像，包括：
根据所述柱面全景图像对应的预设尺寸，确定将所述三维柱坐标系中的三维柱坐标点映射为二维坐标点的第一映射关系；
根据所述第一映射关系，根据反向投影方式，确定将所述二维坐标点映射为所述三维柱坐标点的第二映射关系；
根据所述第二映射关系，将所述多张场景图像中每张场景图像所包括的每个像素点映射到所述三维柱坐标系中，得到所述柱面全景图像。


5.根据权利要求1所述的方法，其特征在于，所述柱面全景图像包括不同深度值对应的柱面图；所述根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像，包括：
根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像；
根据所述不同深度值对应的所述深度概率图像，确定所述目标场景对应的所述全景深度图像；
根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图像，确定所述目标场景对应的所述全景颜色图像。


6.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的柱面图，分别确定所述不同深度值对应的深度概率图像、以及所述不同深度值对应的全景颜色图像，包括：
将所述不同深度值对应的柱面图输入预先训练好的深度预测子网络，得到所述不同深度值对应的所述深度概率图像；
将所述不同深度值对应的柱面图输入预先训练好的颜色预测子网络，得到所述不同深度值对应的全景颜色图像。


7.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的所述深度概率图，生成所述目标场景对应的所述全景深度图像，包括：
确定所述不同深度值对应的深度概率图的期望值，得到所述目标场景对应的所述全景深度图像。


8.根据权利要求5所述的方法，其特征在于，所述根据所述不同深度值对应的所述深度概率图、以及所述不同深度值对应的全景颜色图，生成所述目标场景对应的所述全景颜色图像，包括：
对所述不同深度值对应的所述深度概率图和所述不同深度值对应的全景颜色图进行加权求和，得到所述目标场景对应的所述全景颜色图像。


9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据获取的当前场景的多张样本颜色图像和多张样本深度图像，确定样本全景颜色图像和样本全景深度图像；
将所述多张样本颜色图像作为预设神经网络的输入值，以所述样本全景颜色图像和样本全景深度图像作为监督，对所述预设神经网络进行训练，训练完成后，得到所述目标神经网络。


10.根据权利要求9所述的方法，其特征在于，所述将所述多张样本颜色图像作为预设神经网络的输入值，以所述样本全景颜色图像和样本全景深度图像作为监督，对所述预设神经网络进行训练，训练完成后，得到所述目标神经网络，包括：
将所述多张样本颜色图像输入所述预设神经网络，由所述预设神经网络根据所述多张样本颜色图像生成备选柱面全景图像之后，根据所述备选柱面全景图像，生成所述当前场景对应的备选全景颜色图像和备选全景深度图像；
确定所述备选全景颜色图像与所述样本全景颜色图像之间的第一误差，以及所述备选全景深度图像与所述样本全景深度图像之间的第二误差；
将所述第一误差和所述第二误差的和值作为损失函数，根据预设的初始学习率，迭代更新所述预设神经网络所包括的至少一层的网络参数；
在迭代更新次数达到预设迭代次数的情况下，得到训练完成的所述目标神经网络。


11.一种全景图生成装置，其特征在于，所述装置包括：
图像获取模块，被配置为获取与目标场景对应的多张场景图像；
第一生成模块，被配置为将所述多张场景图像输入预先训练好的目标神经网络，由所述目标神经网络根据所述多张场景图像生成柱面全景图像之后，根据所述柱面全景图像，生成所述目标场景对应的全景颜色图像和全景深度图像；其中，所述柱...

【专利技术属性】
技术研发人员：肖春霞，罗飞，李远珍，李检娇，周力恒，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：北京;11