一种基于深度学习的手机实时全景拍摄方法技术

本发明专利技术公开了一种基于深度学习的手机实时全景拍摄方法，包括：手机前后摄像头同时拍摄得到一组前后摄图像；手机旋转一定角度后再次同时拍摄；利用基于Brisk和SIFT的拼接算法，将手机旋转前后拍摄的图像进行拼接，得到全景拼接图；利用手机前后摄像头拍摄一组前后摄图像；利用深度单应性网络将手机前后摄图像进行拼接处理，得到带有孔洞的全景拼接图；利用深度图像增强网络将带有孔洞的全景拼接图去模糊处理，得到增强图像；利用深度生成对抗网络和全景拼接图将增强图像的内容补全，得到重构全景图。本发明专利技术利用端侧神经网络模型，对手机前后摄广角镜头视角的图像拼接、缺失的全景内容补全，实现了VR实时拍摄的自由化和简单化。实现了VR实时拍摄的自由化和简单化。实现了VR实时拍摄的自由化和简单化。

【技术实现步骤摘要】
一种基于深度学习的手机实时全景拍摄方法


[0001]本专利技术属于虚拟现实
，具体涉及一种基于深度学习的手机实时全景拍摄方法。

技术介绍

[0002]虚拟现实(VR)发展到今天，其主要是指360
°
视频，也称为全景视频。VR与拍摄相结合，是未来VR的发展趋势。随着VR虚拟现实技术的不断进步和5G网络的普及，VR全景视频的应用将会进入我们生活的各个领域，VR虚拟现实技术具体地说就是模拟人类的视觉、听觉等可感知器官的特性，给人沉浸性、身临其境般的虚拟场景。同时通过网络VR拍摄也会产生巨大的商业应用价值。但是我们都知道，在拍摄VR全景视频内容时，要使用到专业的全景相机进行拍摄，这导致拍摄全景视频的成本很高。
[0003]使用手机进行拍摄全景视频可以简化复杂的拍摄工作。采用手机前后摄像头进行全景视频拍摄时，由于前后两个摄像头在同一时间所能覆盖的场景角度是无法达到360
°
，所以在拼接过程中，有部分角度的内容区域是缺失的，并且前后摄像头之间的参数不同也会导致所合成的全景图像缺乏视觉一致性。因此如何降低全景视频对拍摄设备的要求，又能获得完美的视觉感受和体验，也就成为了本领域内亟待解决的问题。

技术实现思路

[0004]专利技术目的：针对以上问题，本专利技术提出一种基于深度学习的手机实时全景拍摄方法，利用端侧神经网络模型，对手机的前后摄广角镜头视角的图像进行拼接并对缺失的全景内容进行补全，实现了VR实时拍摄的自由化和简单化。
[0005]技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于深度学习的手机实时全景拍摄方法，具体包括如下步骤：
[0006]步骤1，针对某一场景，手机前后摄像头同时拍摄得到一组前后摄图像；手机旋转一定角度后再次同时拍摄得到一组前后摄图像；利用基于Brisk和SIFT的拼接算法，将手机旋转前后拍摄的图像进行拼接，得到全景拼接图Image_360；
[0007]步骤2，针对步骤1所述场景，利用手机前后摄像头拍摄一组前后摄图像；
[0008]步骤3，利用深度单应性网络将步骤2得到的前后摄图像进行拼接处理，得到带有孔洞的全景拼接图Image_360_hole；
[0009]步骤4，利用深度图像增强网络将步骤3所述带有孔洞的全景拼接图Image_360_hole进行去模糊处理，得到带有孔洞的增强图像Image_360_hole_enhance；
[0010]步骤5，利用深度生成对抗网络以及步骤1所述全景拼接图Image_360将步骤4中带有孔洞的增强图像Image_360_hole_enhance的内容进行补全处理，得到重构全景图Image_360_hole_recontrust。
[0011]进一步地，所述步骤1的方法具体如下：
[0012]步骤1.1，针对某一场景，手机前后摄像头同时拍摄一组前后摄图像，得到前摄图
像Image_front和后摄图像Image_back；手机旋转一定角度后再次同时拍摄一组前后摄图像，得到前摄图像Image_front_spin和后摄图像Image_back_spin；
[0013]步骤1.2，利用均值滤波对步骤1.1拍摄的两组前后摄图像进行平滑处理，得到平滑处理后的图像Image_front
′
、Image_back
′
以及Image_front_spin
′
、Image_back_spin
′
；
[0014]步骤1.3，利用Brisk算法对步骤1.2所述图像Image_front
′
、Image_back
′
以及Image_front_spin
′
、Image_back_spin
′
进行特征检测与特征描述，得到重叠区域C1和C2；
[0015]步骤1.4，使用SIFT算法对重叠区域C1和C2进行特征检测，得到不同图像中相同内容的特征点坐标，并将特征点坐标定位到步骤1.1图像Image_front、Image_back、Image_front_spin和Image_back_spin中；
[0016]计算出拼接图像，即得到全景拼接图Image_360。
[0017]进一步地，所述步骤3的方法具体如下：
[0018]将步骤2得到的前后摄图像作为深度单应性网络的输入，输出单应性矩阵；所述单应性矩阵反映了前后摄图像画面与拼接画面的映射关系；
[0019]根据单应性矩阵对步骤2得到的前后摄图像进行拼接，得到带有孔洞的全景拼接图Image_360_hole。
[0020]进一步地，在步骤3之前还包括，对深度单应性网络进行训练，具体方法如下：
[0021]输入：手机前后摄像头同时拍摄得到的若干组前后摄图像，每一组前后摄图像各自对应的拼接部分图像；
[0022]输出：单应性矩阵；
[0023]构建深度单应性网络，利用手机前后摄像头同时拍摄得到的若干组前后摄图像以及每一组前后摄图像各自对应的拼接部分图像对构建的深度单应性网络进行迭代训练，直至网络损失函数收敛，得到训练好的深度单应性网络；所述网络损失函数为：
[0024][0025]式中，L1为网络损失函数；N为共有N组前后摄图像，i为第i组前后摄图像；Image
front
、Image
back
为手机前后摄拍摄的图像；Image
front
″
、Image
back
″
为手机前后摄拍摄的图像Image
front
、Image
back
各自对应的拼接部分图像，表示L2范数损失函数。
[0026]进一步地，步骤5所述深度生成对抗网络包括内容编码网络、补全网络和判别器网络；所述补全网络包括编码器和解码器。
[0027]进一步地，所述步骤5的方法具体如下：
[0028]步骤5.1，对步骤4所述带有孔洞的增强图像Image_360_hole_enhance生成图像对应的孔洞Mask；
[0029]步骤5.2，将步骤4所述带有孔洞的增强图像Image_360_hole_enhance以及图像对应的孔洞Mask作为补全网络中编码器的输入，提取得到图像特征；
[0030]步骤5.3，将步骤1所述全景拼接图Image_360输入内容编码网络，得到内容特征；
[0031]步骤5.4，将步骤5.2得到的图像特征以及步骤5.3得到的内容特征进行融合后，输入补全网络中的解码器，生成重构全景图Image_360_hole_recontrust。
[0032]本专利技术还提出一种基于深度学习的手机实时全景拍摄方法的装置，包括：
[0033]预处理模块，用于将获取的不同角度的手机前后摄图像进行拼接，得到全景拼接图；
[0034]全景拼接模块，用于将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的手机实时全景拍摄方法，其特征在于，具体包括如下步骤：步骤1，针对某一场景，手机前后摄像头同时拍摄得到一组前后摄图像；手机旋转一定角度后再次同时拍摄得到一组前后摄图像；利用基于Brisk和SIFT的拼接算法，将手机旋转前后拍摄的图像进行拼接，得到全景拼接图Image_360；步骤2，针对步骤1所述场景，利用手机前后摄像头拍摄一组前后摄图像；步骤3，利用深度单应性网络将步骤2得到的前后摄图像进行拼接处理，得到带有孔洞的全景拼接图Image_360_hole；步骤4，利用深度图像增强网络将步骤3所述带有孔洞的全景拼接图Image_360_hole进行去模糊处理，得到带有孔洞的增强图像Image_360_hole_enhance；步骤5，利用深度生成对抗网络以及步骤1所述全景拼接图Image_360将步骤4中带有孔洞的增强图像Image_360_hole_enhance的内容进行补全处理，得到重构全景图Image_360_hole_recontrust。2.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法，其特征在于，所述步骤1的方法具体如下：步骤1.1，针对某一场景，手机前后摄像头同时拍摄一组前后摄图像，得到前摄图像Image_front和后摄图像Image_back；手机旋转一定角度后再次同时拍摄一组前后摄图像，得到前摄图像Image_front_spin和后摄图像Image_back_spin；步骤1.2，利用均值滤波对步骤1.1拍摄的两组前后摄图像进行平滑处理，得到平滑处理后的图像Image_front
′
、Image_back
′
以及Image_front_spin
′
、Image_back_spin
′
；步骤1.3，利用Brisk算法对步骤1.2所述图像Image_front
′
、Image_back
′
以及Image_front_spin
′
Image_back_spin
′
进行特征检测与特征描述，得到重叠区域C1和C2；步骤1.4，使用SIFT算法对重叠区域C1和C2进行特征检测，得到不同图像中相同内容的特征点坐标，并将特征点坐标定位到步骤1.1图像Image_front、Image_back、Image_front_spin和Image_back_spin中；计算出拼接图像，即得到全景拼接图Image_360。3.根据权利要求1所述的一种基于深度学习的手机实时全景拍摄方法，其特征在于，所述步骤3的方法具体如下：将步骤2得到的前后摄图像作为深度单应性网络的输入，输出单应性矩阵；所述单应性矩阵反映了前后摄图像画面与拼接画面的映射关系；根据单应性矩阵对步骤2得到的...

【专利技术属性】
技术研发人员：于莉，常文帅，魏俊锋，蒙塞夫加布依，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：