数字孪生图像与真实图像配准方法、设备及可读存储介质技术

本发明专利技术提供一种数字孪生图像与真实图像配准方法、设备及可读存储介质，本发明专利技术基于Hough变换，具有抗光照、抗畸变能力强的特点，由于将真实图像的第一基准直线与数字孪生图像中的第二基准直线作为基准进行配准，并且不需要进行图像变换、矫正等等处理，因此，配准精度高，使得生成的融合图像更为清晰，满足了业务需求。务需求。务需求。

【技术实现步骤摘要】
数字孪生图像与真实图像配准方法、设备及可读存储介质


[0001]本专利技术属于图像配准
，尤其涉及一种数字孪生图像与真实图像配准方法、设备及可读存储介质。

技术介绍

[0002]随着以大数据、物联网与人工智能技术为代表的新一代信息技术的快速发展，传统产业的数字化升级迫在眉睫。在天然气运营企业数字化转型过程中，为了实现LNG场站的可视化，一般采用三维建模的方式构建虚拟数字孪生图像，为了充分展示真实场景的细节内容往往需要将数字孪生图像与真实图像进行配准、融合。
[0003]由于LNG场站遥感图像的采集容易受到天气变换、光照强度等自然因素的影响，获取到的真实图像往往较为模糊。因此，采用基于灰度的图像配准算法对LNG场站的数字孪生图像与真实图像进行匹配时难以找到配准基准特征，导致生成的融合图像往往较为模糊，难以达到业务需求。基于频域的图像配准算法通常利用图像平移、旋转和缩放等变换在频域的性质，求解变换参数从而实现两幅图像的精准匹配，然而场站数字孪生图像纹理细节特征大量缺失，对其进行图像变换、矫正后很容易引入噪声和误差使图像配准精度降低，生成的融合图像较为模糊。

技术实现思路

[0004]基于此，针对上述技术问题，提供一种数字孪生图像与真实图像配准方法、设备及可读存储介质。
[0005]本专利技术采用的技术方案如下：
[0006]一方面，提供一种数字孪生图像与真实图像配准方法，包括：
[0007]S101、对真实图像进行边缘检测，生成所述真实图像的二值边缘图；
[0008]S102、对所述二值边缘图中的边缘点进行Hough变换，识别到所述真实图像中的多条直线；
[0009]S103、在所述真实图像中检测目标区域，将所述多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与所述第一基准直线对应的第二基准直线；
[0010]S104、在所述第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点；
[0011]S105、对所述数字孪生图像进行缩放，使其与所述真实图像具有相同的比例；
[0012]S106、将所述第一基准直线上的关键特征点与所述第二基准直线上的关键特征点进行重合，使所述第一基准直线与第二基准直线重合，完成配准。
[0013]另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种数字孪生图像与真实图像配准方法。
[0014]再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的一种数字孪生图像与真实图像配准方法。
[0015]本专利技术基于Hough变换，具有抗光照、抗畸变能力强的特点，由于将真实图像的第一基准直线与数字孪生图像中的第二基准直线作为基准进行配准，并且不需要进行图像变换、矫正等等处理，因此，配准精度高，使得生成的融合图像更为清晰，满足了业务需求。
附图说明
[0016]下面结合附图和具体实施方式本专利技术进行详细说明：
[0017]图1为本专利技术的的流程图。
具体实施方式
[0018]如图1所示，本说明书实施例提供一种数字孪生图像与真实图像配准方法，包括：
[0019]S101、对真实图像进行边缘检测，生成真实图像的二值边缘图。
[0020]在本实施例中，通过canny算子对真实图像进行边缘检测，由于canny算子检测到的边缘特征通常十分完整且边缘特征细节清晰，有助于提高后续Hough变换精准度。
[0021]S102、对二值边缘图中的边缘点进行Hough变换，识别到真实图像中的多条直线。
[0022]S103、在真实图像中检测目标区域，将多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与第一基准直线对应的第二基准直线。
[0023]其中，目标区域是指作为基准的区域，如对于LNG场站图像，可以将其中的卸车位(矩形区域)作为目标区域。
[0024]对于目标区域的检测通过训练好的检测模型实现，优选地，检测模型采用CornerNet模型，CornerNet模型通过检测一对关键点(左上角点和右下角点)来检测目标区域。传统的检测模型，不论是一阶还是二阶检测器，基本都基于anchor来进行分类和回归，但是anchor存在两点问题：首先是anchor的数量众多，但实际上只有很小一部分和gt boxes有较高的overlap，这导致了样本正负不均衡、网络收敛速度慢等问题，其次是引入了很多anchor相关的超参数，如数量、尺寸、宽高比等，而超参数的合理选择会直接影响网络的性能。CornerNet模型消除了anchor机制，同时也就避免了上述提及的问题，检测效率较高。
[0025]对于第一基准直线的确定，可以先根据检测到的目标区域，确定目标区域的四个角点，然后将多条直线中经过其中两个角点的直线作为第一基准直线，如将经过左上角点和左下角点的直线作为第一基准直线。
[0026]对于第二基准直线的确定，可以先根据第一基准直线经过的两个角点，确定目标区域与第一基准直线所重合的边缘，然后根据该边缘，找到数字孪生图像中对应目标区域的对应边缘，最后将对应边缘作为第二基准直线。
[0027]假设第一基准直线经过左上角点和左下角点，那么就可以确定目标区域的四条边缘中与第一基准直线重合的是左侧边缘，这样就能从数字孪生图像的对应目标区域中，找到对应的左侧边缘。
[0028]对于数字孪生图像，其目标区域的四个角点的坐标本身就是已知的，因此，很容易找到第二基准直线。
[0029]S104、在第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点。
[0030]S105、对数字孪生图像进行缩放，使其与真实图像具有相同的比例。
[0031]S106、将第一基准直线上的关键特征点与第二基准直线上的关键特征点进行重合，使第一基准直线与第二基准直线重合，完成配准。
[0032]为了便于第一基准直线与第二基准直线重合，在S104中，在第一基准直线和第二基准直线上分别选取目标区域的两个角点作为关键特征点。
[0033]基于同一专利技术构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种数字孪生图像与真实图像配准方法部分中描述的根据本专利技术各种示例性实施方式的步骤。
[0034]其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
[0035]基于同一专利技术构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种数字孪生图像与真本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数字孪生图像与真实图像配准方法，其特征在于，包括：S101、对真实图像进行边缘检测，生成所述真实图像的二值边缘图；S102、对所述二值边缘图中的边缘点进行Hough变换，识别到所述真实图像中的多条直线；S103、在所述真实图像中检测目标区域，将所述多条直线中与检测到的目标区域的边缘重合的直线作为第一基准直线，从数字孪生图像的对应目标区域中找到与所述第一基准直线对应的第二基准直线；S104、在所述第一基准直线和第二基准直线上分别选取目标区域的角点作为关键特征点；S105、对所述数字孪生图像进行缩放，使其与所述真实图像具有相同的比例；S106、将所述第一基准直线上的关键特征点与所述第二基准直线上的关键特征点进行重合，使所述第一基准直线与第二基准直线重合，完成配准。2.根据权利要求1所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述S101通过canny算子对真实图像进行边缘检测，生成所述真实图像的二值边缘图。3.根据权利要求1或2所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述在所述真实图像中检测目标区域，进一步包括：通过训练好的检测模型在所述真实图像中检测目标区域。4.根据权利要求3所述的一种数字孪生图像与真实图像配准方法，其特征在于，所述检测模型采用CornerNet模型。5.根据权利要求4所述的一种数字孪生图像与真实图像配...

【专利技术属性】
技术研发人员：吴波，童随兵，元方，张凡超，宋开，
申请(专利权)人：新智认知数据服务有限公司，
类型：发明
国别省市：