一种双光图像配准方法、系统和可读存储介质技术方案

本发明专利技术公开的一种双光图像配准方法、系统和可读存储介质，其中方法包括：采用FPGA芯片对可见光图像和红外图像进行接收；分别对可见光图像和红外图像进行特征点检测；生成特征点描述子，并对可见光图像和红外图像中的特征点进行匹配，得到特征点对；根据特征点对计算仿射参数，对红外图像的像素坐标进行变换，获得红外图像在可见光图像中区域矩形边界坐标；根据边界坐标对红外图像和/或可见光图像进行调整，使得红外图像和可见光图像重合，得到双光图像；通过GigE Vision协议对双光图像进行传输。本发明专利技术实施例在提供红外图像同时，可提供与红外图像相同比例的可见光图像，弥补红外图像缺失信息。像缺失信息。像缺失信息。

【技术实现步骤摘要】
一种双光图像配准方法、系统和可读存储介质


[0001]本专利技术涉及工业相机领域，更具体的，涉及一种双光图像配准方法、系统和可读存储介质。

技术介绍

[0002]自然界中，一切物体都会辐射红外线，因此探测器测定目标本身和背景之间的红外差，可以得到不同的红外图像，成为热图像。同一目标的热图像和可见光图像不同，它不是人眼所能看到的可见光图像，而是目标表面温度分布的图像。运用这一方法，便能实现对目标进行远距离热状态图像成像和测温，并可进行智能分析判断。
[0003]但是红外图像也有其固有的缺点，相对于可见光图像，红外图像对比度低，信噪比差；对于温度梯度较小的场景，其图像细节损失严重；对于同一场景的不同温度环境，探测器响应差别较大，动态范围窄。可见光成像技术的成像原理是根据物体表面反射的光谱信息强度反馈到传感器上，获得对于物体的描述，图像的高频细节丰富。
[0004]因此，如何设计一种图像配准方法，实现可见光图像和红外图像重合，是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]鉴于上述问题，本专利技术的目的是提供一种双光图像配准方法、系统和可读存储介质，解决红外图像中细节缺失的问题。
[0006]本专利技术第一方面提供了一种双光图像配准方法应用一种工业相机，所述工业相机包括可见光传感器和红外机芯，所述方法包括以下步骤：
[0007]采用FPGA芯片对可见光图像和红外图像进行接收；
[0008]分别对所述可见光图像和所述红外图像进行特征点检测；
[0009]生成特征点描述子，并对所述可见光图像和所述红外图像中的特征点进行匹配，得到特征点对；
[0010]根据所述特征点对计算仿射参数，对所述红外图像的像素坐标进行变换，获得所述红外图像在所述可见光图像中区域矩形边界坐标；
[0011]根据所述边界坐标对所述红外图像和/或所述可见光图像进行调整，使得所述红外图像和所述可见光图像重合，得到双光图像；
[0012]通过GigE Vision协议对所述双光图像进行传输。
[0013]本方案中，所述分别对所述可见光图像和所述红外图像进行特征点检测具体包括：
[0014]对所述可见光图像和所述红外图像用积分图像的进行像素值计算；
[0015]对所述像素值通过Hessian矩阵响应值计算，实现候选点的确定；
[0016]对所述候选点采用非极值抑制实现特征点的确定。
[0017]本方案中，所述生成特征点描述子，并对所述可见光图像和所述红外图像中的特
征点进行匹配，得到特征点对具体包括：
[0018]根据特征点的坐标值生成描述子；
[0019]度量描述子之间的相似度；
[0020]将相似度最高的两个所述描述子对应的特征点进行匹配，得到特征点对。
[0021]本方案中，所述描述子具体为BRIEF描述子。
[0022]本方案中，所述度量描述子之间的相似度具体为
[0023]针对所述描述子之间的汉明距离，来度量描述子之间的相似度。
[0024]本方案中，所述根据所述边界坐标对所述红外图像和/或所述可见光图像进行调整，使得所述红外图像和所述可见光图像重合，得到双光图像具体为：
[0025]根据所述边界坐标对所述红外图像进行重构，将所述红外图像和所述可见光图像重合后，对所述可见光图像进行裁剪，得到双光图像。
[0026]本专利技术第二方面还提供一种双光图像配准系统，包括工业相机、存储器和处理器，所述工业相机包括可见光传感器和红外机芯，所述存储器中包括双光图像配准方法程序，所述双光图像配准方法程序被所述处理器执行时实现如下步骤：
[0027]采用FPGA芯片对可见光图像和红外图像进行接收；
[0028]分别对所述可见光图像和所述红外图像进行特征点检测；
[0029]生成特征点描述子，并对所述可见光图像和所述红外图像中的特征点进行匹配，得到特征点对；
[0030]根据所述特征点对计算仿射参数，对所述红外图像的像素坐标进行变换，获得所述红外图像在所述可见光图像中区域矩形边界坐标；
[0031]根据所述边界坐标对所述红外图像和/或所述可见光图像进行调整，使得所述红外图像和所述可见光图像重合，得到双光图像；
[0032]通过GigE Vision协议对所述双光图像进行传输。
[0033]本方案中，所述分别对所述可见光图像和所述红外图像进行特征点检测具体包括：
[0034]对所述可见光图像和所述红外图像用积分图像的进行像素值计算；
[0035]对所述像素值通过Hessian矩阵响应值计算，实现候选点的确定；
[0036]对所述候选点采用非极值抑制实现特征点的确定。
[0037]本方案中，所述生成特征点描述子，并对所述可见光图像和所述红外图像中的特征点进行匹配，得到特征点对具体包括：
[0038]根据特征点的坐标值生成描述子；
[0039]度量描述子之间的相似度；
[0040]将相似度最高的两个所述描述子对应的特征点进行匹配，得到特征点对。
[0041]本专利技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种双光图像配准方法程序，所述双光图像配准方法程序被处理器执行时，实现如上述任一项所述的一种双光图像配准方法的步骤。
[0042]本专利技术公开的一种双光图像配准方法采用FPGA芯片对可见光图像和红外图像进行接收；分别对可见光图像和红外图像进行特征点检测；生成特征点描述子，并对可见光图像和红外图像中的特征点进行匹配，得到特征点对；根据特征点对计算仿射参数，对红外图
像的像素坐标进行变换，获得红外图像在可见光图像中区域矩形边界坐标；根据边界坐标对红外图像和/或可见光图像进行调整，使得红外图像和可见光图像重合，得到双光图像；通过GigE Vision协议对双光图像进行传输。本专利技术实施例在提供红外图像同时，可提供与红外图像相同比例的可见光图像，弥补红外图像缺失信息，满足多波段响应。同时，相比于传统热成像仪，本产品具备通用高速传输能力，可轻松满足不同软、硬件平台接入，为工业 4.0智能制造的机器视觉增加新的“视野”，助力智能工厂快速发展。
附图说明
[0043]图1示出了本申请一种双光图像配准方法的流程图；
[0044]图2示出了本专利技术一种双光图像配准方法系统的框图；
[0045]图3至图12示出了本专利技术实施例中双光图像配准步骤中的辅助参考图。
具体实施方式
[0046]为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0047]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双光图像配准方法，其特征在于，应用一种工业相机，所述工业相机包括可见光传感器和红外机芯，所述方法包括以下步骤：采用FPGA芯片对可见光图像和红外图像进行接收；分别对所述可见光图像和所述红外图像进行特征点检测；生成特征点描述子，并对所述可见光图像和所述红外图像中的特征点进行匹配，得到特征点对；根据所述特征点对计算仿射参数，对所述红外图像的像素坐标进行变换，获得所述红外图像在所述可见光图像中区域矩形边界坐标；根据所述边界坐标对所述红外图像和/或所述可见光图像进行调整，使得所述红外图像和所述可见光图像重合，得到双光图像；通过GigE Vision协议对所述双光图像进行传输。2.根据权利要求1所述的一种双光图像配准方法，其特征在于，所述分别对所述可见光图像和所述红外图像进行特征点检测具体包括：对所述可见光图像和所述红外图像用积分图像的进行像素值计算；对所述像素值通过Hessian矩阵响应值计算，实现候选点的确定；对所述候选点采用非极值抑制实现特征点的确定。3.根据权利要求2所述的一种双光图像配准方法，其特征在于，所述生成特征点描述子，并对所述可见光图像和所述红外图像中的特征点进行匹配，得到特征点对具体包括：根据特征点的坐标值生成描述子；度量描述子之间的相似度；将相似度最高的两个所述描述子对应的特征点进行匹配，得到特征点对。4.根据权利要求3所述的一种双光图像配准方法，其特征在于，所述描述子具体为BRIEF描述子。5.根据权利要求4所述的一种双光图像配准方法，其特征在于，所述度量描述子之间的相似度具体为针对所述描述子之间的汉明距离，来度量描述子之间的相似度。6.根据权利要求5所述的一种双光图像配准方法，其特征在于，所述根据所述边界坐标对所述红外图像和/或所述可见光图像进行调整，使得所述红外图像和所述可见光图像重合，得到双光图像具体为：根据...

【专利技术属性】
技术研发人员：周才健，周柔刚，许允迪，周建新，
申请(专利权)人：嘉兴逸君辰科技有限公司金华汇萃智能科技有限公司苏州汇萃智能科技有限公司，
类型：发明
国别省市：