一种基于深度图像配准网络的高精度成像方法及系统技术方案

本发明专利技术公开了一种基于深度图像配准网络的高精度成像方法及系统，搭建高精度成像系统，包括三轴运动平台、成像模块和载具，载具和成像模块分别固设于三轴运动平台的Y轴和Z轴上，目标产品通过载具固定；通过调整X、Y和Z轴确定成像模块的拍摄路径并对目标产品进行局部拍摄，得到若干张局部图像；采用深度图像配准网络对若干张局部图像中所有两两相邻的图像进行处理，得到每组相邻图像的变换矩阵；将若干张局部图像通过变换矩阵进行转换，并将转换后的局部图像依次填入到预先设计的空白大图中，并将空白大图中相邻图像之间进行融合，得到目标产品的高精度完整图像。该方法可节省相邻的两个局部图像的特征配准时间且系统的成本低。成本低。成本低。

【技术实现步骤摘要】
一种基于深度图像配准网络的高精度成像方法及系统


[0001]本专利技术涉及工业视觉
，尤其是涉及一种基于深度图像配准网络的高精度成像方法及系统。

技术介绍

[0002]在当今竞争激烈的制造业环境中，企业需要不断提高产品质量、降低成本，并保持生产效率和可靠性。高精度成像技术的应用为实现这些目标提供了重要的支持。高精度成像技术能够提供精确的图像和数据，帮助工业企业实时监控制造过程。通过高分辨率的成像设备，生产线上的关键环节可以被准确记录和检测，以确保产品符合质量标准。例如，在电子器件和精密机械零件生产与加工中，高精度成像可以提供对物体表面质量的详细图像，用于评估表面的光洁度、平整度、缺陷和纹理等特征，从而确保每个零件和组件的质量和一致性。
[0003]现阶段，高精度成像技术通常需要昂贵的设备和复杂的图像处理算法，这增加了应用的成本。大多数实现方案使用X光设备进行成像，然而X射线成像使用的是电离辐射，长时间或过量的暴露可能对人体和环境造成潜在的健康风险，其次高精度成像要求更高的图像分辨率和质量，可能需要增加辐射剂量，这可能会增加辐射暴露风险。因此，需要确保在成像过程中对辐射剂量进行有效的控制和监测。X射线成像技术产生的图像通常是灰度图像，对于非专业人员来说解释起来可能有一定的困难。其次，现阶段的某些高精度成像技术可能需要更长的时间来获取和处理图像数据，这可能不适用于一些需要实时决策和反馈的应用场景。例如，在生产线上需要及时发现和纠正问题的情况下，快速的图像处理速度至关重要。
[0004]本专利技术旨在提出一种基于深度图像配准网络的高精度成像方法及系统，来实现待检测产品的快速的高精度成像。深度图像配准网络能够对拍摄到高精度图像进行快速配准，减少高分辨率图像对传统配准方法带来的计算量显著提升，提高高精度成像速度，其次提升算法对配准过程的鲁棒性。

技术实现思路

[0005]针对上述成像设备昂贵、成像速度慢、成像质量低的问题，本专利技术提出一种基于深度图像配准网络的高精度成像方法及系统，用于实现待检测产品的快速的高精度成像。
[0006]本专利技术一方面提供一种基于深度图像配准网络的高精度成像方法，包括如下步骤：S1、搭建高精度成像系统，系统包括三轴运动平台、成像模块和载具，载具固设于三轴运动平台的Y轴上，成像模块固设于三轴运动平台的Z轴上，目标产品通过载具固定；S2、通过调整X轴、Y轴和Z轴直到成像模块可以对目标产品清晰成像，在对目标产品可以清晰成像的基础上确定成像模块的拍摄路径，成像模块按照拍摄路径对目标产品进行局部拍摄，由此得到若干张带有重叠区域的局部图像序列；
S3、预设深度图像配准网络并训练，得到训练后的深度图像配准网络，采用训练后的深度图像配准网络对若干张带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵；S4、将若干张带有重叠区域的局部图像序列通过若干个变换矩阵进行转换，得到同一坐标下若干张转换后的局部图像，将若干个转换后的局部图像依次填入到预先设计好的空白大图中，并将空白大图中相邻图像的重叠区域使用加权融合法进行融合，得到目标产品的高精度完整图像。
[0007]优选地，S2中通过调整X轴、Y轴和Z轴直到成像模块可以对目标产品清晰成像，在对目标产品可以清晰成像的基础上确定成像模块的拍摄路径，具体包括：S21、通过调整三轴运动平台中的X轴和Y轴，使目标产品出现在成像模块的视野中；S22、通过调整三轴运动平台中的Z轴，使成像模块能对目标产品清晰成像，并记录此时的Z轴高度；S23、在Z轴高度确定的情况下，调整三轴运动平台中的X轴和Y轴，确定成像模块的拍摄起点和终点，记录起点坐标和终点坐标；S24、使用网格标定法对成像模块进行标定，计算出拍摄的带有重叠区域的局部图像对应的实际物理尺寸；S25、通过起点坐标、终点坐标和实际物理尺寸，规划出成像模块的拍摄路径。
[0008]优选地，S25具体包括：S251、通过起点坐标和终点坐标计算出待拍摄区域的二维长度；S252、通过实际物理尺寸对二维长度进行划分，确定需要拍摄的点数；S253、根据起点坐标和需要拍摄的点数计算得出中间过程点的坐标；S254、起点坐标、中间过程点坐标和终点坐标构成成像模块的拍摄路径。
[0009]优选地，S253中中间过程点的坐标的计算公式如下：，其中，，，，，
式中，表示起点坐标，表示终点坐标，表示中间过程点坐标，表示第行，，表示第列，，表示轴上的中间过程点的数量，表示轴上的中间过程点的数量，Lenght表示拍摄的局部图像对应的实际物理尺寸，Units表示一个网格中像素的长度，Pixels表示一个网格的实际长度。
[0010]优选地，S3中预设深度图像配准网络并训练，深度图像配准网络包括依次连接的特征提取模块、相关性估计Transformer模块和直接线性变换模块，特征提取模块用于提取图像对中两张图像之间的相关特征，相关性估计Transformer模块用于对相关特征进行分割和线性映射，估计出图像对中两张图像之间的偏移量，直接线性变换模块将偏移量转换为图像对的变换矩阵。
[0011]优选地，S3中采用训练后的深度图像配准网络对若干张带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵，具体包括：S31、将若干张带有重叠区域的局部图像序列进行预处理并分组，得到若干个图像对；S32、从若干个图像对中按顺序选取一个图像对输入至训练后的深度图像配准网络；S33、特征提取模块对选取的图像对中的两张图像分别进行特征提取，得到每张图像对应的向量特征和掩码特征，将每张图像对应的向量特征和掩码特征进行乘积，得到每张图像重叠区域的特征矩阵，将选取的图像对中的两张图像的特征矩阵按维度进行拼接，得到选取的图像对的相关特征；S34、相关性估计Transformer模块对相关特征进行分割处理和线性映射，得到初始特征序列，对初始特征序列进行处理，输出选取的图像对的偏移向量；S35、直接线性变换模块根据偏移向量计算出选取的图像对的变换矩阵；S36、从若干个图像对中按顺序选取另外一个图像对，直到若干个图像对均被选取，经过步骤S32至S35处理，得到若干个图像对的变换矩阵。
[0012]优选地，S34中初始特征序列可用公式表示为：；式中，表示初始特征序列，表示图像嵌入操作过程的线性映射的权重，表示可学习的一维位置嵌入向量，表示可学习的类别嵌入向量，表示第个特征图序列，。
[0013]优选地，S4具体包括：S41、将若干个图像对的变换矩阵分为若干个列变换矩阵和若干个行变换矩阵，根据若干个列变换矩阵和若干个行变换矩阵计算出若干张带有重叠区域的局部图像序列中
的其它张图像相对于第一张图像的变换矩阵；S42、以若干张带有重叠区域的局部图像序列中的第一张图像所在坐标系为主坐标系，将若干张带有重叠区域的局部图像序列中的其它张图像通过各自相对于第一张图像的变换矩阵变换到主坐标系上，得到变换后的局部图像序列；S43、以若干张带有重叠区域的局部图像序列中的第一张图像的左上角点为起点，以变换后的局部图像序列中的最后一张图像的右下角点为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度图像配准网络的高精度成像方法，其特征在于，所述方法包括：S1、搭建高精度成像系统，所述系统包括三轴运动平台、成像模块和载具，所述载具固设于所述三轴运动平台的Y轴上，所述成像模块固设于所述三轴运动平台的Z轴上，目标产品通过所述载具固定；S2、通过调整X轴、Y轴和Z轴直到所述成像模块可以对所述目标产品清晰成像，在对所述目标产品可以清晰成像的基础上确定所述成像模块的拍摄路径，所述成像模块按照所述拍摄路径对所述目标产品进行局部拍摄，由此得到若干张带有重叠区域的局部图像序列；S3、预设深度图像配准网络并训练，得到训练后的深度图像配准网络，采用所述训练后的深度图像配准网络对若干张所述带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵；S4、将若干张所述带有重叠区域的局部图像序列通过若干个所述变换矩阵进行转换，得到同一坐标下若干张转换后的局部图像，将若干个所述转换后的局部图像依次填入到预先设计好的空白大图中，并将所述空白大图中相邻图像的重叠区域使用加权融合法进行融合，得到所述目标产品的高精度完整图像。2.如权利要求1所述的基于深度图像配准网络的高精度成像方法，其特征在于，所述S2中通过调整X轴、Y轴和Z轴直到所述成像模块可以对所述目标产品清晰成像，在对所述目标产品可以清晰成像的基础上确定所述成像模块的拍摄路径，具体包括：S21、通过调整所述三轴运动平台中的X轴和Y轴，使所述目标产品出现在所述成像模块的视野中；S22、通过调整所述三轴运动平台中的Z轴，使所述成像模块能对所述目标产品清晰成像，并记录此时的Z轴高度；S23、在Z轴高度确定的情况下，调整所述三轴运动平台中的X轴和Y轴，确定所述成像模块的拍摄起点和终点，记录起点坐标和终点坐标；S24、使用网格标定法对所述成像模块进行标定，计算出拍摄的带有重叠区域的局部图像对应的实际物理尺寸；S25、通过所述起点坐标、终点坐标和所述实际物理尺寸，规划出所述成像模块的拍摄路径。3.如权利要求2所述的基于深度图像配准网络的高精度成像方法，其特征在于，所述S25具体包括：S251、通过所述起点坐标和终点坐标计算出待拍摄区域的二维长度；S252、通过所述实际物理尺寸对所述二维长度进行划分，确定需要拍摄的点数；S253、根据所述起点坐标和所述需要拍摄的点数计算得出中间过程点的坐标；S254、所述起点坐标、中间过程点坐标和终点坐标构成所述成像模块的拍摄路径。
4.如权利要求3所述的基于深度图像配准网络的高精度成像方法，其特征在于，S253中所述中间过程点的坐标的计算公式如下：，其中，，，，，式中，表示起点坐标，表示终点坐标，表示中间过程点坐标，表示第行，，表示第列，，表示轴上的中间过程点的数量，表示轴上的中间过程点的数量，Lenght表示拍摄的局部图像对应的实际物理尺寸，Units表示一个网格中像素的长度，Pixels表示一个网格的实际长度。5.如权利要求4所述的基于深度图像配准网络的高精度成像方法，其特征在于，S3中预设深度图像配准网络并训练，所述深度图像配准网络包括依次连接的特征提取模块、相关性估计Transformer模块和直接线性变换模块，所述特征提取模块用于提取图像对中两张图像之间的相关特征，所述相关性估计Transformer模块用于对所述相关特征进行分割和线性映射，估计出所述图像对中两张图像之间的偏移量，所述直接线性变换模块将所述偏移量转换为所述图像对的变换矩阵。6.如权利要求5所述的基于深度图像配准网络的高精度成像方法，其特征在于，S3中采用所述训练后的深度图像配准网络对若干张所述带有重叠区域的局部图像序列进行处理，得到若干个变换矩阵，具体包括：S31、将若干张所述带有重叠区域的局部图像序列进行预处理并分组，得到若干个图像对；S32、从若干个所述图像对中按顺序选取一个图像对输入至所述训练后的深度图像配准网络；S33、所述特...

【专利技术属性】
技术研发人员：方遒，蒋天健，朱青，毛建旭，吴成中，周振，黄嘉男，罗越凡，袁宇豪，
申请(专利权)人：湖南大学，
类型：发明
国别省市：