【技术实现步骤摘要】
一种基于端侧深度学习的手机全景拍摄与合成方法
[0001]本专利技术涉及虚拟现实
，更确切地说，涉及一种基于端侧深度学习的手机全景拍摄与合成方法。
技术介绍
[0002]虚拟现实(VR)发展到今天，其主要是指360
°
视频，也称为全景视频。VR相结合，是未来VR的发展趋势。其应用很广泛，比如体育赛事、综艺节目、新闻现场、教育医疗、游戏电竞等。与此同时，端测推理引擎的出现能够让深度学习模型直接部署在手机上，使得通过手机来进行实时全景拍摄与合成成为可能，那么将VR带来的沉浸式体验与手机拍摄的低成本、低门槛相结合则成为目前研究的重点。
[0003]《一种用于VR全景直播的动态图像融合方法及系统》中提到，就目前而言，全景视频采集所用的都是专业的全景摄像机。不仅需要固定的架设位置且专业全景摄像机价格昂贵，导致全景拍摄的门槛较高。手机作为一种普及的电子产品，可以随时随地进行拍摄。然而手机前后摄像头参数不同，因此采集的图像数据会存在亮度不同，分辨率不同，色彩饱和度不同等问题导致拍摄的两幅图像具有一定的差异性...
【技术保护点】
【技术特征摘要】
1.一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：基于手机前后摄像头同时实时拍摄的视频图像，将各时间点下手机前、后摄像头同时拍摄的两原始图像按如下步骤执行，实现手机拍摄全景视频的获得：步骤1：读取手机前、后摄像头同时拍摄的两原始图像，进入步骤2；步骤2：使用深度单应性网络对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像，进入步骤3；步骤3：使用深度图像增强网络对带有孔洞的全景拼接图像进行去模糊处理，得到带有孔洞的去模糊全景拼接图像，进入步骤4；步骤4：使用深度生成对抗网络将带有孔洞的去模糊全景拼接图像中孔洞部分进行补全，获得该时间点下手机拍摄的全景图像，进入步骤5；步骤5：将获得的各时间点下手机拍摄的全景图像进行图像拼接，实现手机拍摄全景视频的获得。2.根据权利要求1所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：所述步骤2中得到带有孔洞的全景拼接图像，执行的步骤如下：步骤2.1：训练深度单应性网络；步骤2.2：以手机前、后摄像头同时拍摄的两原始图像分别对应的两灰度图像作为输入，经训练好的深度单应性网络，输出表示两原始图像拼接前后映射关系的单应性矩阵；步骤2.3：根据单应性矩阵提供的映射关系对手机前、后摄像头同时拍摄的两原始图像以两幅图像之间对应全景场景所缺失的部分作为孔洞区域，实现两原始图像彼此尺寸对应的拼接处理，得到带有孔洞的全景拼接图像。3.根据权利要求2所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：所述深度单应性网络为通过4个卷积层和2个完全连接层连接，每个卷积层卷积核的个数依次为6、6、16、16，卷积核的大小为3x3，步长为1，填充方式为按0填充，激活函数采用ReLU函数。4.根据权利要求2所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：训练深度单应性网络的损失函数L1为：式中，f
s
为待对比拼接方法后带有孔洞的全景拼接图像，f
l
为同一时间点下手机前摄像头拍摄的原始图像，f
r
为同一时间点下手机后摄像头拍摄的原始图像，N为训练深度单应性网络的数据集的样本总数，n为训练深度单应性网络的数据集的样本中第n个样本。5.根据权利要求1所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：所述步骤3中得到带有孔洞的去模糊全景拼接图像，执行的步骤如下：步骤3.1：训练深度图像增强网络；步骤3.2：以带有孔洞的全景拼接图像作为输入，经训练好的深度单应性网络，输出一个3*3的滤波器；步骤3.3：使用3*3的滤波器对带有孔洞的全景拼接图像进行滤波去模糊，得到带有孔
洞的去模糊全景拼接图像。6.根据权利要求5所述的一种基于端侧深度学习的手机全景拍摄与合成方法，其特征在于：所述深度图像增强网络为通过8个卷积层和1个完全连接层连接，每个卷积层卷积核的个数依次为8、8、36、36，卷积核的大小为3x3，步长为2，填充方式为按0填充，激活函数采用ReLU函数。7.根据权利...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。