一种全景图像生成方法及装置制造方法及图纸

本发明专利技术提供一种全景图像生成方法及装置，涉及计算机技术领域，方法包括：获取多路图像；将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。本发明专利技术实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。

A method and device of panoramic image generation

【技术实现步骤摘要】
一种全景图像生成方法及装置
本专利技术涉及计算机
，尤其涉及一种全景图像生成方法及装置。
技术介绍
全景图通过广角的表现手段以及绘画、相片、视频、三维模型等形式，尽可能多表现出周围的环境。360全景，即通过对专业相机捕捉整个场景的图像信息或者使用建模软件渲染过后的图片，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照片或者计算机建模图片变为360度全观，用于虚拟现实浏览，把二维的平面图模拟成真实的三维空间，呈现给观赏者。目前使用的全景图像的拼接方法，主要是通过手动拼接的方法以及自动拼接的方法实现的，手动拼接主要利用Unity3D等软件进行拼接，自动拼接是使用OpenCV以及全景相机内置的拼接模块进行拼接；但是手动拼接耗时耗力，效率低，自动拼接算法效果参差不齐，且大多涉及到相机参数估计、立体视觉、特征点匹配等过程，效率较低，准确性差。综上所述，现有技术中不能提供一效率高、准确性高的全景图像生成方法。
技术实现思路
本专利技术提供一种全景图像生成方法及装置，用于解决现有技术中不能提供一效率高、准确性高的全景图像生成方法的问题。本专利技术实施例提供一种全景图像生成方法，所述方法包括：获取多路图像；将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。本专利技术实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。进一步地，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的，包括：针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。进一步地，所述神经网络模型包括生成模块以及判断模块，所述使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型，包括：将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。进一步地，所述全景图像生成模型为生成对抗网络模型。本专利技术实施例还提供一种全景图像生成装置，包括：获取单元，用于获取多路图像；生成单元，用于将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。本专利技术实施例中，本专利技术实施例中，在获取多路图像后，将多路图像输入到根据神经网络训练得到的全景图像生成模型中，得到的结果为与用户所期待的更接近的高质量的全景图像。进一步地，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述生成单元具体用于：针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。进一步地，所述神经网络模型包括生成模块以及判断模块，所述生成单元具体用于：将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。进一步地，所述全景图像生成模型为生成对抗网络模型。本专利技术实施例还提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中任一所述的方法。本专利技术实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述实施例中任一所述方法。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种全景图像生成方法的流程示意图；图2为本专利技术实施例提供多路图像对应的摄像机的摆放示意图；图3为本专利技术实施例提供的一种全景图像生成方法的流程示意图；图4为本专利技术实施例提供的一种全景图像生成方法的流程示意图；图5为本专利技术实施例提供的一种全景图像生成装置的结构示意图；图6为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部份实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本专利技术提供一种全景图像生成方法，如图1所述，包括：步骤101，获取多路图像；步骤102，将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。在步骤101中，获取需要生成全景图像的多路图像，多路图像获取后，用于生成针对用户的全景图像。由于虚拟现实(VirtualReality，VR)下的全景图像及视频向观察者提供了所在水平方向(经度)360度，垂直方向(纬度)180度全包围的虚拟空间视域，即左右横向展开是360度，上下纵向展开是180度。使用者在观看时可以转动头部，或者通过鼠标，遥控器等输入设备实现视角的切换，从而获得本文档来自技高网...

【技术保护点】
1.一种全景图像生成方法，其特征在于，包括：/n获取多路图像；/n将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。/n

【技术特征摘要】
1.一种全景图像生成方法，其特征在于，包括：
获取多路图像；
将所述多路图像作为全景图像生成模型的输入，得到所述多路图像对应的全景图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的。


2.根据权利要求1所述的方法，其特征在于，所述全景图像样本包括N个全景参考图像以及每个所述全景参考图像对应的M个全景参考子图像，所述全景图像生成模型是根据全景图像样本进行神经网络训练得到的，包括：
针对每个全景参考图像以及所述全景参考图像对应的M个全景参考子图像，将所述M个全景参考子图像以及所述全景参考图像作为训练样本的输入参数，将M个全景参考子图像通过训练生成的训练全景图像以及所述全景参考图像的差异作为所述训练样本的输出参数；
使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型。


3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括生成模块以及判断模块，所述使用所述训练样本对神经网络模型进行训练，得到所述全景图像生成模型，包括：
将所述输入参数中的M个全景参考子图像输入到所述生成模块中，得到所述M个全景参考子图像通过训练生成的训练全景图像；
将所述输入参数中的所述全景参考图像输入到所述判断模块中，所述判断模块根据所述全景参考图像以及所述训练全景图像确定判断结果，所述判断结果用于指征所述全景参考图像以及所述训练全景图像的相似性；
根据所述判断结果调整所述生成模块，直至所述判断模块确定所述判断结果大于设定阈值，则确定所述全景图像生成模型训练完毕。


4.根据权利要求1～3任一项所述的方法，其特征在于，所述全景图像生成模型为生成对抗网络模型。


5.一种全景图像生成装置，其特征在于，包括
获取单元，用于获取多路图像；
生成单元，用于将所述多路图像作为全景图像生成模型的输入，得到所述多路图...

【专利技术属性】
技术研发人员：张博，王飞，杨舒，费泽松，邓凌越，
申请(专利权)人：大唐移动通信设备有限公司，
类型：发明
国别省市：北京;11