基于卷积网络的图像拼接方法及装置制造方法及图纸

本发明专利技术公开了一种基于卷积网络的图像拼接方法及装置，其中，方法包括：利用卷积网络确定待拼接的左图和右图，并获取左图和右图与最终拼接结果图像素的对应关系，以得到左图和右图到最终拼接结果图的初始运动场；获取基于初始运动场变形的左图和右图，并通过图像特征和判别特征的约束，由卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。该方法可以通过卷积网络与图像拼接相结合可以对颜色处理更兼精确，保证拼接结果与真实场景的相似度，也能保证拼接结果的实时性。

【技术实现步骤摘要】
基于卷积网络的图像拼接方法及装置
本专利技术涉及计算机视觉、计算机图形学
，特别涉及一种基于卷积网络的图像拼接方法及装置。
技术介绍
目前，图像拼接是计算机视觉与计算机图像学领域中一个重要且基础的问题，并且在超分辨率处理、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在虚拟现实领域中，可以通过图像拼接技术生成宽视角甚至是360度的环绕视角以使得观察者获得沉浸式感受，提升虚拟现实系统在视觉上的真实度；在无人驾驶领域，通过拼接双目摄像头拍摄到的图像可以获得具有更宽视角的路况信息，方便无人车寻路制导。然而，现有的图像拼接技术仍然存在缺陷，通常无法即精确的处理场景视差问题又保证拼接的实时性。如果对场景进行精细的划分来处理视差，则难以实时的获得拼接结果；如果整幅图像求取变性，或者识别缝合线进行拼接，虽然能保证速度，但对于较大视差的情况下不能较好的配准。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于卷积网络的图像拼接方法，该方法不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。本专利技术的另一个目的在于提出一种基于卷积网络的图像拼接装置。为达到上述目的，本专利技术一方面实施例提出了一种基于卷积网络的图像拼接方法，包括以下步骤：利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。本专利技术实施例的基于卷积网络的图像拼接方法，通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。另外，根据本专利技术上述实施例的基于卷积网络的图像拼接方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系；将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。进一步地，在本专利技术的一个实施例中，所述获取融合时左右图对应的颜色选择图，进一步包括：通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构；将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和VGG网络的输入，利用所述判别网络的中间层特征和所述VGG网络的中间层特征约束并生成所述颜色选择图。进一步地，在本专利技术的一个实施例中，所述根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，进一步包括：在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图；通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。进一步地，在本专利技术的一个实施例中，所述拼接结果为：Ioutput＝Iwarped_l*Wl+Iwarped_r*Wr，其中，Ioutput为所述拼接结果，Iwarped_l和Iwarped_r为所述卷积网络的输入，Wl和Wr为所述颜色选择图。为达到上述目的，本专利技术另一方面实施例提出了一种基于卷积网络的图像拼接装置，包括：第一获取模块，用于利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；第二获取模块，用于获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；拼接模块，用于根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。本专利技术实施例的基于卷积网络的图像拼接装置，可以通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。另外，根据本专利技术上述实施例的基于卷积网络的图像拼接装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述第一获取模块还用于基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系，以及将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。进一步地，在本专利技术的一个实施例中，所述第二获取模块还用于通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构，并将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和VGG网络的输入，利用所述判别网络的中间层特征和所述VGG网络的中间层特征约束并生成所述颜色选择图。进一步地，在本专利技术的一个实施例中，所述第二获取模块进一步用于在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图，并判别网络通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。进一步地，在本专利技术的一个实施例中，所述拼接结果为：Ioutput＝Iwarped_l*Wl+warped_r*Wr，其中，Ioutput为所述拼接结果，Iwarped_l和Iwarped_r为所述卷积网络的输入，Wl和Wr为所述颜色选择图。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术一个实施例的基于卷积网络的图像拼接方法的流程图；图2为根据本专利技术一个实施例的基于卷积网络的图像拼接方法的网络训练的流程图；图3为根据本专利技术一个具体实施例的基于卷积网络的图像拼接结果示意图；图4为根据本专利技术一个实施例的基于卷积网络的图像拼接装置的结构示本文档来自技高网...

【技术保护点】
一种基于卷积网络的图像拼接方法，其特征在于，包括以下步骤：利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。

【技术特征摘要】
1.一种基于卷积网络的图像拼接方法，其特征在于，包括以下步骤：利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。2.根据权利要求1所述的基于卷积网络的图像拼接方法，其特征在于，所述获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系；将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。3.根据权利要求2所述的基于卷积网络的图像拼接方法，其特征在于，所述获取融合时左右图对应的颜色选择图，进一步包括：通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构；将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和VGG网络的输入，利用所述判别网络的中间层特征和所述VGG网络的中间层特征约束并生成所述颜色选择图。4.根据权利要求3所述的基于卷积网络的图像拼接方法，其特征在于，所述根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，进一步包括：在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图；通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。5.根据权利要求1-4任一项所述的基于卷积网络的图像拼接方法，其特征在于，所述拼接结果为：Ioutput＝Iwarped_l*Wl+Iwarped_r*Wr，其中，Ioutput为所述拼接结果，Iwarped_l和Iwarped_r...

【专利技术属性】
技术研发人员：徐枫，刘聪颖，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11