图像校正方法及装置制造方法及图纸

本发明专利技术公开一种图像校正方法及装置，属于地图技术领域。方法包括获取素材图像和全景图中待校正的第一目标图像区域；从素材图像中截取与第一目标图像区域匹配的第二目标图像区域后，进行变形，得到第三目标图像区域；在第三目标图像区域中确定第四目标图像区域；对第四目标图像区域中各个像素点的像素值进行处理，得到第五目标图像区域；将第五目标图像区域拼接至全景图中，得到校正后的全景图。本发明专利技术通过获取全景图中发生错位的第一目标图像区域，从素材图像中截取出与第一目标图像区域相匹配的第二目标图像区域后，对第二目标图像区域进行变形等处理，将处理后的区域拼接至全景图中，从而可修复全景图中的错位的区域，提高全景图的视觉观赏性。

【技术实现步骤摘要】
图像校正方法及装置
本专利技术涉及地图
，特别涉及一种图像校正方法及装置。
技术介绍
随着地图技术的迅速发展，出现了越来越多的全景图，用户能够根据全景图，获得城市、街道或其它环境的360度全景。其中，全景图是由图像拍摄设备于某一固定点进行360度拍摄，分别得到各个角度的图像后，通过拼接算法将各个图像拼接而成。在拼接各个图像时，在两个图像的边缘可能会出现对不齐的情况，使得全景图中两幅图像的边界出现错位。当错位区域出现在全景图中的道路区域、楼房区域等区域时，由于这些对象具有很强的结构性，因此，会让用户觉得全景图严重失真、视觉观赏性差。为了避免该种情况发生，需要对全景图中存在错位的区域进行校正。
技术实现思路
为了解决相关技术的问题，本专利技术实施例提供了一种图像校正方法及装置。所述技术方案如下：第一方面，提供了一种图像校正方法，所述方法包括：获取素材图像和全景图中待校正的第一目标图像区域；根据所述素材图像中的像素点和所述第一目标图像区域中的像素点，从所述素材图像中截取与所述第一目标图像区域匹配的第二目标图像区域；对所述第二目标图像区域进行变形，得到第三目标图像区域，所述第三目标图像区域中像素点的位置与对应像素点在所述第一目标图像区域中的位置之间的距离最小；根据所述第三目标图像区域的缩放以及所述第三目标图像区域轮廓上的像素点，在所述第三目标图像区域中确定第四目标图像区域；对所述第四目标图像区域中各个像素点的像素值进行处理，得到第五目标图像区域；将所述第五目标图像区域拼接至所述全景图中，得到校正后的全景图。第二方面，提供了一种图像校正装置，所述装置包括：获取模块，用于获取素材图像和全景图中待校正的第一目标图像区域；截取模块，用于根据所述素材图像中的像素点和所述第一目标图像区域中的像素点，从所述素材图像中截取与所述第一目标图像区域匹配的第二目标图像区域；变形模块，用于对所述第二目标图像区域进行变形，得到第三目标图像区域，所述第三目标图像区域中像素点的位置与对应像素点在所述第一目标图像区域中的位置之间的距离最小；确定模块，用于根据所述第三目标图像区域的缩放以及所述第三目标图像区域轮廓上的像素点，在所述第三目标图像区域中确定第四目标图像区域；处理模块，用于对所述第四目标图像区域中各个像素点的像素值进行处理，得到第五目标图像区域；拼接模块，用于将所述第五目标图像区域拼接至所述全景图中，得到校正后的全景图。本专利技术实施例提供的技术方案带来的有益效果是：通过获取全景图中发生错位的第一目标图像区域，并从素材图像中截取出与第一目标图像区域相匹配的第二目标图像区域后，对第二目标图像区域进行变形，得到第三目标图像区域，进一步从第三目标图像中确定拼接至全景图中的最优的第四目标图像区域，并对第四目标图像区域内像素点的像素值进行处理，得到最终的第五目标图像区域后，将第五目标图像区域拼接至全景图中，从而实现对全景图中错位区域的校正，使得可以修复全景图中存在错位的区域，能够避免全景图出现失真的情况，提高了全景图的视觉观赏性。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例提供的一种图像校正方法所涉及的应用环境示意图；图2是本专利技术另一实施例提供的一种图像校正方法的流程图；图3是本专利技术另一实施例提供的一种图像校正方法的流程图；图4是本专利技术另一实施例提供的一种素材图像的示意图；图5是本专利技术另一实施例提供的一种双线性插值法的过程示意图；图6是本专利技术另一实施例提供的一种对第三目标图像区域进行放大操作、缩小操作的结果示意图；图7是本专利技术另一实施例提供的一种三角剖分结果示意图；图8是本专利技术另一实施例提供的一种x与i、i+1及i-1之间的关系示意图；图9是本专利技术另一实施例提供的一种校正后的全景图的示意图；图10是本专利技术另一实施例提供的一种图像校正装置结构示意图；图11是本专利技术另一实施例提供的一种移动终端的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。如图1所示，其示出了本专利技术一实施例提供的一种图像校正方法所涉及的应用环境示意图。在拼接全景图拍摄设备拍摄到的各个图像，以生成全景图时,在两幅图像的拼接处容易出现错位的区域。如图1所示，其示出了一种全景图的示意图，图1中道路所在的区域发生了错位，如图1中虚线框所示。为了对全景图中存在错位的区域进行处理，本专利技术实施例提供了一种图像校正方法。当然，图1及后续各个实施例仅以错位区域出现在道路区域为例进行说明。事实上，错位区域可能发生在全景图中任意两个图像相拼接的区域，本专利技术实施例对此不作具体限定。结合图1所示的应用环境示意图，图2是根据一示例性实施例提供的一种图像校正方法的流程图。如图2所示，本专利技术实施例提供的方法流程包括：201、获取素材图像和全景图中待校正的第一目标图像区域。202、根据素材图像中的像素点和第一目标图像区域中的像素点，从素材图像中截取与第一目标图像区域匹配的第二目标图像区域。203、对第二目标图像区域进行变形，得到第三目标图像区域，其中，第三目标图像区域中像素点的位置与对应像素点在第一目标图像区域中的位置之间的距离最小。204、根据第三目标图像区域的缩放以及第三目标图像区域轮廓上的像素点，在第三目标图像区域中确定第四目标图像区域。205、对第四目标图像区域中各个像素点的像素值进行处理，得到第五目标图像区域。206、将第五目标图像区域拼接至全景图中，得到校正后的全景图。本专利技术实施例提供的方法，通过获取全景图中发生错位的第一目标图像区域，并从素材图像中截取出与第一目标图像区域相匹配的第二目标图像区域后，对第二目标图像区域进行变形，得到第三目标图像区域，进一步从第三目标图像中确定拼接至全景图中的最优的第四目标图像区域，并对第四目标图像区域内像素点的像素值进行处理，得到最终的第五目标图像区域后，将第五目标图像区域拼接至全景图中，从而实现对全景图中错位区域的校正，使得可以修复全景图中存在错位的区域，能够避免全景图出现失真的情况，提高了全景图的视觉观赏性。在另一个实施例中，根据素材图像中的像素点和第一目标图像区域中的像素点，从素材图像中截取与第一目标图像区域匹配的第二目标图像区域，包括：根据第一目标图像区域中的像素点，提取第一目标图像区域中的至少一个第一特征点；根据素材图像中的像素点，提取素材图像中的至少一个第二特征点；将每个第一特征点分别与至少一个第二特征点进行匹配，得到与每个第一特征点匹配的匹配特征点；从素材图像中截取包括所有匹配特征点的区域作为第二目标图像区域。在另一个实施例中，根据第一目标图像区域中的像素点，提取第一目标图像区域中的至少一个第一特征点，包括：根据第一目标图像区域中的像素点，通过最大稳定极值区域提取算法，确定第一目标图像区域中的第一最大稳定极值区域；通过SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)算法，提取第一最大稳定极值区域中的至少一个第一SIFT特征本文档来自技高网...

【技术保护点】
一种图像校正方法，其特征在于，所述方法包括：获取素材图像和全景图中待校正的第一目标图像区域；根据所述素材图像中的像素点和所述第一目标图像区域中的像素点，从所述素材图像中截取与所述第一目标图像区域匹配的第二目标图像区域；对所述第二目标图像区域进行变形，得到第三目标图像区域，所述第三目标图像区域中像素点的位置与对应像素点在所述第一目标图像区域中的位置之间的距离最小；根据所述第三目标图像区域的缩放以及所述第三目标图像区域轮廓上的像素点，在所述第三目标图像区域中确定第四目标图像区域；对所述第四目标图像区域中各个像素点的像素值进行处理，得到第五目标图像区域；将所述第五目标图像区域拼接至所述全景图中，得到校正后的全景图。

【技术特征摘要】
1.一种图像校正方法，其特征在于，所述方法包括：获取素材图像和全景图中待校正的第一目标图像区域；根据所述素材图像中的像素点和所述第一目标图像区域中的像素点，从所述素材图像中截取与所述第一目标图像区域匹配的第二目标图像区域，所述第二目标图像区域是所述素材图像中包括所有匹配特征点的区域，所述匹配特征点是所述素材图像中与所述第一目标图像区域的至少一个第一特征点相匹配的特征点；对所述第二目标图像区域进行变形，得到第三目标图像区域，所述第三目标图像区域中像素点的位置与对应像素点在所述第一目标图像区域中的位置之间的距离最小；根据所述第三目标图像区域的缩放以及所述第三目标图像区域轮廓上的像素点，在所述第三目标图像区域中确定第四目标图像区域；对所述第四目标图像区域进行三角剖分，得到所述第四目标图像区域中的多个三角形；对于一个三角形，根据所述第四目标图像区域的轮廓上各个像素点的坐标，确定所述三角形顶点的均值坐标；根据所述第四目标图像区域的轮廓上各个像素点的像素值及各个三角形顶点的均值坐标，确定每个三角形的顶点像素值；根据所述每个三角形的顶点像素值，采用线性插值法确定所述第四目标图像区域中每个像素点的像素值；根据所述第四目标图像区域中每个像素点的像素值，确定第五目标图像区域；将所述第五目标图像区域拼接至所述全景图中，得到校正后的全景图。2.根据权利要求1所述的方法，其特征在于，所述根据所述素材图像中的像素点和所述第一目标图像区域中的像素点，从所述素材图像中截取与所述第一目标图像区域匹配的第二目标图像区域，包括：根据所述第一目标图像区域中的像素点，提取所述第一目标图像区域中的所述至少一个第一特征点；根据所述素材图像中的像素点，提取所述素材图像中的至少一个第二特征点；将每个第一特征点分别与所述至少一个第二特征点进行匹配，得到与所述每个第一特征点匹配的所述匹配特征点；从所述素材图像中截取包括所有所述匹配特征点的区域作为第二目标图像区域。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标图像区域中的像素点，提取所述第一目标图像区域中的至少一个第一特征点，包括：根据所述第一目标图像区域中的像素点，通过最大稳定极值区域提取算法，确定所述第一目标图像区域中的第一最大稳定极值区域；通过尺度不变特征变换SIFT算法，提取所述第一最大稳定极值区域中的至少一个第一SIFT特征点，将所述至少一个第一SIFT特征点作为所述至少一个第一特征点；所述根据所述素材图像中的像素点，提取所述素材图像中的至少一个第二特征点，包括：根据所述素材图像中的像素点，通过所述最大稳定极值区域提取算法，确定所述素材图像中的第二最大稳定极值区域；通过所述SIFT算法，提取所述第二最大稳定极值区域中的至少一个第二SIFT特征点，将所述至少一个第二SIFT特征点作为所述至少一个第二特征点。4.根据权利要求2所述的方法，其特征在于，所述对所述第二目标图像区域进行变形，得到第三目标图像区域，包括：对于每个第一特征点，确定所述第一特征点在所述第一目标图像区域中的第一位置；在所述第二目标图像区域中分割出预设数值的指定大小的矩形网格；对于每个匹配特征点，根据所述匹配特征点所在矩形网格的四个顶点的位置，采用双线性插值法确定所述匹配特征点在所述第二目标图像区域中的第二位置；根据所述第一特征点的第一位置，对与所述第一特征点匹配的匹配特征点的第二位置及各个矩形网格进行变形，得到与所述第一特征点匹配的匹配特征点变形后的第三位置，其中，对所述第一特征点的变形使所述第一特征点的第一位置与对应匹配特征点的第三位置之间的距离最小，对各个矩形网格的变形为相似变换；根据每个匹配特征点的第三位置，确定第三目标图像区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征点的第一位置，对与所述第一特征点匹配的匹配特征点的第二位置及各个矩形网格进行变形，得到与所述第一特征点匹配的匹配特征点变形后的第三位置，包括：根据所述第一特征点的第一位置，对与所述第一特征点匹配的匹配特征点的第二位置及各个矩形网格进行变形，将总能量项为指定数值时与所述第一特征点匹配的匹配特征点的位置，作为与所述第一特征点匹配的匹配特征点变形后的第三位置，所述指定数值为变形过程中通过如下公式计算得到的总能量项的各个能量值中的最小值：其中，Vq＝[x0,y0,x1,y1,...,xq-1,yq-1]TE＝EP+λES式中，E为总能量项；EP为位置项，用于约束每个匹配特征点的第三位置，使每个匹配特征点在所述第三目标图像区域中的第三位置与对应第一特征点在第一目标图像区域中的第一位置之间的距离最小，(xi,s,yi,s)和(xi,r,yi,r)分别为第一特征点i在第一目标图像区域中的第一位置和与所述第一特征点i匹配的匹配特征点在第三目标图像中的第三位置；ES为保形项，用于约束对每个矩形网格的变形，使对所述每个矩形网格的变形为相似变换，Nq为矩形网格的数量；I为单位矩阵；λ为常系数。6.根据权利要求1所述的方法，其特征在于，所述根据所述第三目标图像区域的缩放以及所述第三目标图像区域轮廓上的像素点，在所述第三目标图像区域中确定第四目标图像区域，包括：对所述第三目标图像区域进行放大操作，得到第一区域；对所述第三目标图像区域进行缩小操作，得到第二区域；将所述第一区域和所述第二区域以所述第三目标图像区域的中心点为基准叠放在一起时未重叠的区域，获取为目标区域；沿所述第三目标图像区域的轮廓上像素点的梯度方向，确定所述目标区域的分割线；根据所述目标区域中各个像素点的像素值，在所述目标区域中查找路径能量最低的封闭路径，将由所述封闭路径围成的区域作为第四目标图像区域，所述封闭路径的起始点为所述分割线上的第一像素点、结束点为所述分割线上的第二像素点。7.一种图像校...

【专利技术属性】
技术研发人员：胡事民，桂天宜，朱哲，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东;44