具有全景拍照功能的移动终端及其运行方法技术

本发明专利技术公开了一种具有全景拍照功能的移动终端，其采用基于深度神经网络的图像生成器模型，通过预训练的两阶段图像生成器对待拼接的图像帧进行处理，以获得经过运动信息补偿的待拼接图像。通过这样的方式，处理拍摄全景照片时待拼接的多张图像之间的运动信息，以完成图片的拼接。图片的拼接。图片的拼接。

【技术实现步骤摘要】
具有全景拍照功能的移动终端及其运行方法


[0001]本专利技术涉及人工智能领域，且更为具体地，涉及一种具有全景拍照功能的移动终端。

技术介绍

[0002]传统上，全景拍摄是通过搜索多张图片的边缘部分，并将成像效果最为接近的区域加以重合，以完成图片的自动拼接。但是由于在拍摄全景照片时，大部分时候需要用户手持移动终端进行移动来拍摄，因此如何处理拍摄全景照片时待拼接的多张图像之间的运动信息始终是值得关注的问题。
[0003]目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0004]近年来，深度学习以及神经网络的发展为处理拍摄全景照片时待拼接的多张图像之间的运动信息提供了新的解决思路和方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种具有全景拍照功能的移动终端，其采用基于深度神经网络的图像生成器模型，通过预训练的两阶段图像生成器对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有全景拍照功能的移动终端，其特征在于，包括：训练模块，包括：训练图像获取单元，用于获取待拼接的图像帧序列中两个连续帧；第一卷积神经网络单元，用于将所述两个连续帧分别通过第一卷积神经网络和第二卷积神经网络以获得第一特征图和第二特征图；第一鉴别器单元，用于将所述第一特征图和所述第二特征图输入第一鉴别器神经网络以获得第一鉴别器损失函数值；第一训练单元，用于以所述第一鉴别器损失函数值训练所述第一卷积神经网络，其中，训练完成的所述第一卷积神经网络作为帧间转换器；差分计算单元，用于计算所述第一特征图和所述第二特征图之间的差分以获得差分特征图；概率化单元，用于将所述差分特征图通过类Softmax激活函数以将所述差分特征图中各个位置的特征值转化为概率值，以获得概率化差分特征图；运行特征值计算单元，用于计算所述概率化差分特征图中各个位置在0到该位置的特征值的区间内的自然常数的指数函数的积分，以获得所述概率化差分特征图的各个位置的运动特征值；去运动信息单元，用于将所述第一特征图中各个位置的特征值减去对应位置的运动特征值，以获得第三特征图；第二卷积神经网络单元，用于将所述第一特征图输入第二卷积神经网络以获得第四特征图；第二鉴别器单元，用于将所述第四特征图和所述第三特征图输入第二鉴别器神经网络以获得第二鉴别器损失函数值；第二训练单元，用于以所述第二鉴别器损失函数值训练所述第二卷积神经网络，其中，训练完成的所述第二卷积神经网络形成用于去除运动信息的运动信息屏蔽器；以及预测模块，包括：待拼接图像获取单元，用于获取通过全景相机采集的待拼接图像帧序列；图像处理单元，用于将所述待拼接图像帧序列中的各个图像帧输入所述第一卷积神经网络和所述第二卷积神经网络以获得处理后待拼接图像帧序列；以及图像合成单元，用于将所述处理后待拼接图像帧序列进行图像拼接，以获得全景图像。2.根据权利要求1所述的具有全景拍照功能的移动终端，其中，所述第一鉴别器单元，进一步用于：将所述第一特征图输入所述鉴别器以获得第六特征图；将所述第二特征图输入所述鉴别器以获得第七特征图；确定所述第六特征图与所述第七特征图中的预定位置的值是否相同；响应于所述第六特征图与所述第七特征图中的预定位置的值相同，计算所述预定位置的值的以二为底的对数值的负数值作为第一值；响应于所述第六特征图与所述第七特征图中的预定位置的值不同，计算所述预定位置的值的以二为底的对数值作为第二值；以及计算所述第一值按照值相同的位置的平均值和所述第二值按照值不同的位置的平均
值之和作为所述第一鉴别器损失函数值。3.根据权利要求1所述的具有全景拍照功能的移动终端，其中，所述运行特征值计算单元，用于以如下公式计算所述概率化差分特征图中各个位置在0到该位置的特征值的区间内的自然常数的指数函数的积分，以获得所述概率化差分特征图的各个位置的运动特征值，其中，所述公式为：z＝∫0‑
yi
exp(t)dt，其中，z表示所述运动特征值，yi为该位置的特征值。4.根据权利要求1所述的具有全景拍照功能的移动终端，其中，所述第二鉴别器单元，进一步用于：将所述第三特征图输入所述鉴别器以获得第八特征图；将所述第四特征图输入所述鉴别器以获得第九特征图；确定所述第八特征图与所述第九特征图中的预定位置的值是否相同；响应于所述第八特征图与所述第九特征图中的预定位置的值相同，计算所述预定位置的值的以二为底的对数值的负数值作为第一值；响应于所述第八特征图与所述第九特征图中的预定位置的值不同，计算所述预定位置的值的以二为底的对数值作为第二值；以及计算所述第一值按照值相同的位置的平均值和所述第二值按照值不同的位置的平均值之和作为所述第二鉴别器损失函数值。5.根据权利要求1所述的具有全景拍照功能的移动终端，其中，所述第一卷积神经网络和/或所述第二卷积神经网络为深度残差网络。6.一种具有全景拍照功能的移动终端的运行方法，其特征在于，包括：通过训练模块的训练图像获取单元获取待拼接的图像帧序列中两个连续帧；通过所述训练模块的第一卷积神经网络单元将所述两个连续帧分别通过第一卷积神经网络和第二卷积神经网络以获得第一特征图和第二特征图；通过所述训练模块的第一鉴别器单元将所述第一特征图和所述第二特征图输入第一鉴别器神经网络以获得第一鉴别器损失函数值；通过所述训练模块的第一训练单元以所述第一鉴别器损失函数值训练所述第一卷积神经网络，其中，训练完成的所述...

【专利技术属性】
技术研发人员：刘旭辉，
申请(专利权)人：上海满玉数字科技有限公司，
类型：发明
国别省市：