一种街景图像立面纹理的纠正方法及装置制造方法及图纸

本申请提供了一种街景图像立面纹理的纠正方法及装置，其中，方法包括：在待纠正街景图像上放置预设四边形网格网络；检测待纠正图像中的线段；利用预设四边形网格网络中的四边形网格的上下边缘，对线段进行切割；以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个四边形网格的目标相似变换矩阵，按照每个四边形网格的目标相似变换，对每个四边形网格中的切割线段进行变换。本申请定义的三种能量函数约束四边形网格进行变换，使得三种能量均值的加权和最小，从而，使得待纠正街景图像中曲线变直，实现对待纠正街景图像中变形曲线的修复。

【技术实现步骤摘要】
一种街景图像立面纹理的纠正方法及装置
本申请涉及图像处理领域，尤其涉及一种街景图像立面纹理的纠正方法及装置。
技术介绍
在新型智慧城市的建设中，数字孪生化城市已成为热点。与传统智慧城市相比，数字孪生城市集成了更多的技术与手段，可作为在数字空间刻画城市细节、呈现城市体征、推演城市趋势的综合信息载体。而构建三维城市建筑模型是实现数字孪生城市的基础步骤。在大部分应用中都对城市建筑物的真实感建模有着强烈的需求，然而通常重建所得的三维城市建筑模型在细节方面存在植被遮挡、影像变形、影像模糊等明显不足，使得建筑物立面缺乏足够准确的纹理信息，无法实现城市建筑模型高质量的可视化。因此，要实现建筑物立面的精细化表达，亟需一种能够获取到高质量建筑物立面纹理信息的方法。专利技术人在研究中发现，街景图像作为一种通过全景相机对一个位置的周围环境进行捕捉，并将同一时间获取到的若干张影像进行拼接得到的二维图像数据，可反映完整的场景且记录了丰富、清晰的纹理信息，因此，街景图像无疑是实现建筑物立面外观真实感表达的最佳选择。但是，街景图像由于其成像方式，导致其在其广阔的视域中存在着显著的变形(直线结构弯曲变形)。
技术实现思路
本申请提供了一种方法及装置，目的在于解决的问题。为了实现上述目的，本申请提供了以下技术方案：本申请提供了一种街景图像立面纹理的纠正方法，包括：在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；检测所述待纠正图像中的线段；利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。可选的，所述全部四边形网格的保形能量的均值的表达式为所述全部线段的垂直刚性能量的均值的表达式为所述全部线段的线相关能量的均值的表达式为可选的，所述全部四边形网格的保形能量的均值、所述全部线段的垂直刚性能量的均值和所述检测到的全部线段的线相关能量的均值分别对应的权重之和为1；并且，所述全部线段的垂直刚性能量的均值的权重最大。可选的，以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵，包括：固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵；固定每个四边形网格的最优旋转矩阵，优化所述四边形网格网络的参数。可选的，所述固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵，包括：以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。可选的，在所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段之前，还包括：接收人工从所述待纠正街景图像中定位的垂直线段；所述检测所述待纠正图像中的线段，具体为：采用LSD线段检测算法，检测所述待纠正街景图像中的线段；所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段，具体为：利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段进行切割，得到切割线段。可选的，在所述按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像之后，还包括：在所述变形修复街景图像存在畸变的情况下，获取所述变形修复街景图像的畸变待纠正区域；确定所述畸变待纠正区域中各像素点在虚拟全景球面上的坐标，得到所述畸变待纠正区域中各像素点的虚拟全景球面坐标；所述虚拟全景球为所述变形修复街景图像对应的虚拟全景球；依据所述畸变待纠正区域中各像素点的虚拟全景球面坐标，分别确定所述畸变待纠正区域中各像素点的全景球地理坐标；获取所述变形修复街景图像的投影平面与虚拟全景球的切点坐标；所述投影平面为与所述变形修复街景图像中的建筑物立面平行的平面；依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点分别投影在所述投影平面上的坐标；所述透视数学模型是通过从全景球球心发射射线向全景球的赤道切面进行投影，得到的全景球地理坐标与全景球赤道切面坐标间的关系。可选的，所述变形修复街景图像的投影平面与虚拟全景球的切点包括：所述变形修复街景图像中道路特征的边界拐点。可选的，所述畸变待纠正区域的水平视场角不大于120°。可选的，在所述依据所述畸变待纠正区域中各像素点的全景球地理坐标、虚拟全景球面坐标、所述切点坐标以及预设的透视数学模型，计算所述畸变待纠正区域中各像素点投影在所述投影平面上的坐标之后，还包括：依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像。可选的，在所述依据畸变待纠正区域的边界角点在投影平面上的投影坐标，分别对畸变待纠正区域的各个像素点的投影后坐标进行平移，得到处理后的街景图像之后，还包括：将所述处理后的街景图像作为立面纹理数据源，进行立面纹理映射。本申请还提供了一种街景图像立面纹理的纠正装置，包括：放置模块，用于在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；检测模块，用于检测所述待纠正图像中的线段；切割模块，用于利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；确定模块，用于以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的本文档来自技高网...

【技术保护点】
1.一种街景图像立面纹理的纠正方法，其特征在于，包括：/n在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；/n检测所述待纠正图像中的线段；/n利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；/n以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；/n按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。/n

【技术特征摘要】
1.一种街景图像立面纹理的纠正方法，其特征在于，包括：
在待纠正街景图像上放置预设四边形网格网络；所述四边形网格网络包括多个四边形网格；
检测所述待纠正图像中的线段；
利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段；
以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵；其中，任一四边形网格的保形能量，用于使该四边形网格在相似变换前后保持刚性；任一线段的垂直刚性能量，用于使该线段在相似变换前的斜率与相似变换后的斜率保持接近；任一线段的线相关能量，用于使该线段在相似变换前相对于相似变换前的四边形网格网络的位置，与，该线段在相似变换后相对于相似变换后的四边形网格网络位置，保持一致；
按照每个所述四边形网格的目标相似变换，对每个所述四边形网格中的切割线段进行变换，得到变形修复街景图像。


2.根据权利要求1所述的方法，其特征在于，所述全部四边形网格的保形能量的均值的表达式为
所述全部线段的垂直刚性能量的均值的表达式为
所述全部线段的线相关能量的均值的表达式为


3.根据权利要求1所述的方法，其特征在于，所述全部四边形网格的保形能量的均值、所述全部线段的垂直刚性能量的均值和所述检测到的全部线段的线相关能量的均值分别对应的权重之和为1；并且，所述全部线段的垂直刚性能量的均值的权重最大。


4.根据权利要求1所述的方法，其特征在于，以全部四边形网格的保形能量的均值、全部线段的垂直刚性能量的均值和检测到的全部线段的线相关能量的均值的加权和最小为优化目标，确定每个所述四边形网格的目标相似变换矩阵，包括：
固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵；
固定每个四边形网格的最优旋转矩阵，优化所述四边形网格网络的参数。


5.根据权利要求4所述的方法，其特征在于，所述固定所述四边形网格网络的参数，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵，包括：
以分割在多个四边形网格的同一线段，在不同四边形网格内的具有相似方向的分割线段，在变换后仍保持相近的旋转角度为约束，对每个四边形网格的相似变换矩阵进行优化，得到每个四边形网格的最优旋转矩阵。


6.根据权利要求1所述的方法，其特征在于，在所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段之前，还包括：
接收人工从所述待纠正街景图像中定位的垂直线段；
所述检测所述待纠正图像中的线段，具体为：
采用LSD线段检测算法，检测所述待纠正街景图像中的线段；
所述利用所述预设四边形网格网络中的四边形网格的上下边缘，对所述线段进行切割，得到切割线段，具体为：
利用所述预设四边形网格网络中的四边形网格的上下边缘，对全部线段进行切割，得到切割线段。


7.根据权利要求1所述的方法，其特征在于，在所述按照每个所述四边形网格的目标相似变换，对每个所...

【专利技术属性】
技术研发人员：胡翰，朱庆，丁雨淋，
申请(专利权)人：胡翰，
类型：发明
国别省市：广东;44