The invention discloses a new perspective synthesis method based on deep convolution neural network. By predicting some key data depending on each step in the new perspective rendering by deep convolution neural network, and utilizing the strong fitting ability of deep convolution neural network to data, the new perspective synthesis method can be learned from a large number of multi-view image data. The method can also be drawn from a smaller perspective. Produce a dense visual angle image to optimize the display effect.
【技术实现步骤摘要】
基于深度卷积神经网络的新视角合成方法
本专利技术涉及摄像
,具体是一种基于深度卷积神经网络的新视角合成方法。
技术介绍
在电子商务等业务中,存在使用多视角图片序列展示物品的需求,更稠密的视角会有更好的展示效果,但图片序列大小受网络传输等条件的限制,只能保存较少的视角图像,为了能在较少的视角基础上得到更好的展示效果,可以利用已有视角的图像合成新视角。神经网络由多个神经元计算单元组成,神经元由线性计算模块和非线性模块组合而成,通过梯度的反向传播方法,神经网络具有较强的拟合能力。而深度神经网络通过叠加多层的计算模块,增强了拟合能力,而卷积神经网络,善于在类似图像这类在空间维度上具有较强相关性的数据格式上的数据拟合能力。深度卷积神经网络在图像分类、检测、风格迁移等领域有丰富的研究成果。
技术实现思路
专利技术目的:为了解决现有技术的不足,本专利技术所述的一种基于深度卷积神经网络的新视角合成方法,使用深度卷积神经网络合成新视角,输入拍摄同一物体的相邻视角,输出中间视角的图像内容。技术方案:为了实现上述目的,本专利技术所述的一种基于深度卷积神经网络的新视角合成方法,其特征在于:该方法包括以下步骤:(一)、对拍摄物体稠密的多视角图像做训练数据,采样重复内容较多的一对视角作为输入,选取这对视角的中间视角作为预测输出训练网络参数;(二)、使用深度预测网络预测图像内容的深度;(三)、使用相机位姿变换预测网络预测第一帧到第二帧的相机视角变换;(四)、使用新视角预测网络根据图像深度信息和视角变换信息预测新视角内容;(五)、网络训练时先对相机位姿预测网络进行单独训练,再将三个网络 ...
【技术保护点】
1.一种基于深度卷积神经网络的新视角合成方法,其特征在于:该方法包括以下步骤:(一)、对拍摄物体稠密的多视角图像做训练数据,采样重复内容较多的一对视角作为输入,选取这对视角的中间视角作为预测输出训练网络参数;(二)、使用深度预测网络预测图像内容的深度;(三)、使用相机位姿变换预测网络预测第一帧到第二帧的相机视角变换;(四)、使用新视角预测网络根据图像深度信息和视角变换信息预测新视角内容;(五)、网络训练时先对相机位姿预测网络进行单独训练,再将三个网络联合在一起做训练。
【技术特征摘要】
1.一种基于深度卷积神经网络的新视角合成方法,其特征在于:该方法包括以下步骤:(一)、对拍摄物体稠密的多视角图像做训练数据,采样重复内容较多的一对视角作为输入,选取这对视角的中间视角作为预测输出训练网络参数;(二)、使用深度预测网络预测图像内容的深度;(三)、使用相机位姿变换预测网络预测第一帧到第二帧的相机视角变换;(四)、使用新视角预测网络根据图像深度信息和视角变换信息预测新视角内容;(五)、网络训练时先对相机位姿预测网络进行单独训练,再将三个网络联合在一起做训练。2.根据权利要求1所述的基于深度卷积神经网络的新视角合成方法,其特征在于:步骤一中,拍摄稠密的视角图像作为真值训练网络预测新的视角的图像。3.根据权利要求1所述的基于深度卷...
【专利技术属性】
技术研发人员:李兆歆,夏岩钧,王兆其,
申请(专利权)人:苏州中科广视文化科技有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。