全景图像融合的方法、装置、系统及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种全景图像融合的方法、装置、系统及计算机可读存储介质。本发明专利技术通过将全景图像的立方体投影图转化为等距柱状投影图，在等距柱状投影图进行变换，使得待融合区域位于一个立方体面上，使得图像融合可以在一个立方体面上通过线性变换完成，避免了复杂的非线性变换处理或者非规则图像上的图像融合，降低了图像融合的复杂度，并且由于不是直接在立方体投影图上进行融合，本发明专利技术实施例可以避免待融合内容与立方体投影面之间产生“空隙”，能实现较好的图像融合效果。

【技术实现步骤摘要】
全景图像融合的方法、装置、系统及计算机可读存储介质
本专利技术涉及视频图像处理
，具体涉及全景图像融合的方法、装置、系统及计算机可读存储介质。
技术介绍
全景投影有多种投影方式，包括球面投影(也称之为球面矩形投影或等距柱状投影)、立方体面投影和圆形投影等。其中，立方体面投影所投影的图片是立方体面的图片，每一个立方体面的图片通常是水平视角90°、垂直视角90°的正方形图。全景图像或视频能够给用户带来更广阔的视角，更丰富的内容，从而带来更好的用户体验。在全景图像或视频中在线虚拟融合相关内容(如视频内容、图片内容)，可以与全景内容无缝融合，不受时间空间的限制，能够向用户提供附加信息，因此有着重要的价值。通常全景图像表现为长宽比例为2：1的等距柱状投影图，该等距柱状投影图可以以球面投影或立方体投影方式来展现。如何在全景图像或视频中融合入相关内容，能够简便的实现融合内容与全景图像或视频无缝融合，成为一个亟待解决的问题。
技术实现思路
本专利技术实施例要解决的技术问题是提供一种全景图像融合的方法及全景图像融合系统，其实现复杂度低，且能够实现融合内容与全景图像或视频无缝融合。为解决上述技术问题，本专利技术实施例提供的全景图像融合的方法，包括：获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域；将所述第一全景图像转换为等距柱状投影图的第一平面图像，并对所述第一平面图像进行变换，将所述待融合区域调整至立方体投影图的一个立方体面上，得到等距柱状投影图的第二平面图像；将所述第二平面图像转换为包括6个立方体面的第一立方体面图像，并在第一立方体面图像的对应立方体面上进行内容融合，得到第二立方体面图像；根据所述第二立方体面图像，生成立方体投影图的第二全景图像。本专利技术实施例还提供了一种全景图像融合装置，包括：第一获得单元，用于获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域；区域变换单元，用于将所述第一全景图像转换为等距柱状投影图的第一平面图像，并对所述第一平面图像进行变换，将所述待融合区域调整至立方体投影图的一个立方体面上，得到等距柱状投影图的第二平面图像；内容融合单元，用于将所述第二平面图像转换为包括6个立方体面的第一立方体面图像，并在第一立方体面图像的对应立方体面上进行内容融合，得到第二立方体面图像；图像输出单元，用于根据所述第二立方体面图像，生成立方体投影图的第二全景图像。本专利技术实施例还提供了另一种全景图像融合系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的全景图像融合的方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的全景图像融合的方法的步骤。与现有技术相比，本专利技术实施例提供的全景图像融合的方法、装置、系统及计算机可读存储介质，通过将全景图像的立方体投影图转化为等距柱状投影图，在等距柱状投影图进行变换，使得待融合区域位于一个立方体面上，使得图像融合可以在一个立方体面上通过线性变换完成，避免了复杂的非线性变换处理或者非规则图像上的图像融合，降低了图像融合的复杂度，并且由于不是直接在立方体投影图上进行融合，本专利技术实施例可以避免待融合内容与立方体投影面之间产生“空隙”，能实现较好的图像融合效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的全景图像融合系统的一种应用场景示意图；图2为本专利技术实施例的全景图像融合的方法的一种流程示意图；图3为本专利技术实施例将立方体投影图转化为6个立方体面的示例图；图4为本专利技术实施例将立方体面转化为等距柱状投影图的示例图；图5A-5B为本专利技术实施例在垂直方向上对等距柱状投影图进行变换，使得待融合区域位于一个立方体投影面上的的一个示例图；图6A-6B为本专利技术实施例在水平方向上对等距柱状投影图进行变换，使得待融合区域位于一个立方体投影面上的示例图；图7为本专利技术实施例在立方体面上进行内容的融合的一个示例图；图8为本专利技术实施例的全景图像融合装置的一种结构示意图；图9为本专利技术实施例的全景图像融合系统的一种结构示意图。具体实施方式为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本专利技术的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本专利技术的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本专利技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本专利技术的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。在全景图像中融合相关内容的操作可以在等距柱状投影图上或者立方体投影图上完成。如果在等距柱状投影图上进行融合操作，待融合内容通常不是规则的多边形，因此需要进行非线性变换处理，而非规则形状的变换模型，其计算复杂度非常高。如果直接在立方体投影图上进行融合，通常会在待融合内容与立方体投影面之间产生“空隙”，导致待融合内容不能与全景图像很好的结合。因此以上两种方案都存在着一定的问题。为解决以上问题，本专利技术实施例提供了一种全景图像融合系统及方法，可以以较低的计算复杂度，实现待融合内容与全景图像的结合，并能达到较好融合效果。请参照图1，本专利技术一个实施例提供的全景图像融合系统100，包括：摄像头101，计算机102以及显示装置103。其中，摄像头101可以拍摄并向计算机102输出全景图像。计算机102对由摄像头101获取的全景图像进行处理并进行全景图像的融合处理。显示装置103既可以是虚拟现实(VR)眼镜，也可以是显示器设备，或者其他具有显示功能的装置，用于观看由计算机102产生的全景图像。应该说明的是，上述系统100仅是本专利技术实施例的一个应用示例，本专利技术并不限于此，系统的组成部分依需求变化会增加或减少。请参照图2，本专利技术实施例提供的全景图像融合的方法的一个流程示意图，如图2所示，该方法包括：步骤201，获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域。本专利技术实施例主要针对立方体投影的全景图像进行处理。立方体投影图通常包括6个立方体面，分别为立方体顶面(Top)，立方体底面(Down)，立方体左侧面(Left)，立方体右侧面(Right)，立方体前侧面(Front)和立方体后侧面(Back)，其中，立方体左侧面(Left)，立方体右侧面(Right)，立方本文档来自技高网...

【技术保护点】
1.一种全景图像融合的方法，其特征在于，包括：获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域；将所述第一全景图像转换为等距柱状投影图的第一平面图像，并对所述第一平面图像进行变换，将所述待融合区域调整至立方体投影图的一个立方体面上，得到等距柱状投影图的第二平面图像；将所述第二平面图像转换为包括6个立方体面的第一立方体面图像，并在第一立方体面图像的对应立方体面上进行内容融合，得到第二立方体面图像；根据所述第二立方体面图像，生成立方体投影图的第二全景图像。

【技术特征摘要】
1.一种全景图像融合的方法，其特征在于，包括：获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域；将所述第一全景图像转换为等距柱状投影图的第一平面图像，并对所述第一平面图像进行变换，将所述待融合区域调整至立方体投影图的一个立方体面上，得到等距柱状投影图的第二平面图像；将所述第二平面图像转换为包括6个立方体面的第一立方体面图像，并在第一立方体面图像的对应立方体面上进行内容融合，得到第二立方体面图像；根据所述第二立方体面图像，生成立方体投影图的第二全景图像。2.如权利要求1所述的方法，其特征在于，在获得立方体投影图的第一全景图像以及所述第一全景图像中需要进行内容融合的待融合区域的步骤之后，所述方法还包括：将第一全景图像转换为包括6个立方体面的第三立方体面图像；确定所述待融合区域是否位于至少2个立方体面；在所述待融合区域位于至少2个立方体面时，进入所述将所述第一全景图像转换为等距柱状投影的第一平面图像，并在所述第一平面图像上进行变换的步骤。3.如权利要求1或2所述的方法，其特征在于，对所述第一平面图像进行变换，将所述待融合区域调整至立方体投影图的一个立方体面上，得到第二平面图像的步骤，包括：根据立方体投影图与等距柱状投影图之间的坐标变换关系，确定每个立方体面在等距柱状投影图中的映射区域；沿横轴和/或纵轴方向，对第一平面图像进行裁剪、移动和重新拼接操作，得到第二平面图像，使所述待融合区域仅位于一个立方体面在所述第二平面图像中的映射区域。4.如权利要求3所述的方法，其特征在于，所述沿横轴和/或纵轴方向，对第一平面图像进行裁剪、移动和重新拼接操作的步骤，包括：在所述待融合区域在横轴方向上跨越了2个立方体面在所述第一平面图像中的映射区域时，沿纵轴方向，对第一平面图像进行裁剪、移动和重新拼接操作；在所述待融合区域在纵轴方向上跨越了2个立方体面在所述第一平面图像中的映射区域时，沿横轴方向，对第一平面图像进行裁剪、移动和重新拼接操作；在所述待融合区域在纵轴方向和纵轴方向上均跨越了2个立方体面在所述第一平面图像中的映射区域时，先沿横轴和纵轴中的一个方向，对第一平面图像进行裁剪、移动和拼接操作，得到一中间图像，再沿横轴和纵轴...

【专利技术属性】
技术研发人员：刘丽艳，伊红，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP