一种城轨车辆线阵相机图像校正方法、系统及存储介质技术方案

本发明专利技术提供一种城轨车辆线阵相机图像校正方法、系统及存储介质。本发明专利技术方法包括：获取模板图像数据和待检测图像数据；基于第一特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取；基于所述第一标准特征点数据集和第二标准特征点数据集生成标准匹配数据集；基于第二特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取；基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选从而获取精准匹配数据集；基于所述标准匹配数据集对待检测图像数据进行分段，构建校正矩阵；将待检测图像数据与校正矩阵相乘获得校正后的图像数据。本发明专利技术大幅提高校正精度，提升图像校正在急变速条件下的适应性。条件下的适应性。条件下的适应性。

【技术实现步骤摘要】
一种城轨车辆线阵相机图像校正方法、系统及存储介质


[0001]本专利技术涉及线阵相机图像处理
，具体而言，尤其涉及一种城轨车辆线阵相机图像校正方法、系统及存储介质。

技术介绍

[0002]城市轨道交通领域的智能化检车方向发展迅速，融合列车高清彩色成像技术与基于视觉的列车部件状态判定算法的方式已逐渐成为主流。以6编组列车的图像采集为例，列车的实际物理长度通常是宽度与高度的数十倍，因此适合与拍摄运动物体的线阵相机更适用于采集列车车体外观图像。理论上，线阵相机的采集频率与列车瞬时行进速度保持高度一致，即可获取到真实比例的列车外观图像，但实际中，列车行进速度难以实现绝对匀速，且通过列车测速方式动态调整相机采集频率的方式又存在滞后性，二者难以保持绝对统一，所以造成图像在水平方向上必然存在一定程度的拉伸与压缩现象。
[0003]现有技术中，对上述问题的解决思路大致分两个方向，第一个方向是利用雷达测速技术获取较高频率的速度信息，但目前雷达能达到的测速频率仍低于线阵相机的采集频率，难以实现实时动态匹配，且在列车接近停车等低速运动情况下，雷达的测速准确性会大幅降低。第二个方向是对采集后的图像进行校正处理。
[0004]对采集后的图像进行校正，常用的一种方法是通过在列车上设置标记，按标记对图像进行分段线性校正，这种过度依赖外部标记的方法在实际中操作复杂，标记的数量直接影响到校正的精度；另一种方法是选取一张尽量接近真实列车比例的历史列车图像作为模板，通过特征提取的方式将新采集的图像进行拟合校正，直至图像与模板差异最小，但这类方法特征提取方式为传统基于梯度或特征点，在光照变化或零部件更换后难以保证匹配精度，且这类方法通常设置特征点距离阈值来判断是否为错误匹配，默认列车图像仅出现微小的拉伸或压缩现象，不适用于易出现急变速的城轨列车线阵相机图像校正。

技术实现思路

[0005]鉴于现有技术中存在的城轨列车线阵相机图像的校正方法精度低、无法适应急变速下的畸变问题，而提供一种城轨车辆线阵相机图像校正方法、系统及存储介质。本专利技术在目标检测与特征点提取过程中分别采用YOLOV5和surf特征点检测算法，将目标检测的结果融入特征点匹配的运算，添加了小部件精细化定位、匹配数据筛选与分段非线性拟合算法，大幅提高校正精度，提升图像校正在急变速条件下的适应性。
[0006]本专利技术采用的技术手段如下：
[0007]本专利技术提供了一种城轨车辆线阵相机图像校正方法，包括：
[0008]获取模板图像数据和待检测图像数据；
[0009]基于第一特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，从而获取在模板图像数据和待检测图像数据中相同固定部件的检测框；
[0010]基于针对模板图像数据的各检测框获取模板图像的第一标准特征点数据集，基于
针对待检测图像数据的各检测框获取待检测图像的第二标准特征点数据集，基于所述第一标准特征点数据集和第二标准特征点数据集生成标准匹配数据集；
[0011]基于第二特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，采用RANSAC方法获得候选匹配数据集，所述候选匹配数据集包括一一对应的模板图像特征点和待检测图像特征点点对；
[0012]基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选，从而获取精准匹配数据集；
[0013]基于所述标准匹配数据集对待检测图像数据进行分段，对每段待检测图像数据分别采用三阶函数拟合离散的精准匹配数据，基于各段的拟合结果构建校正矩阵；
[0014]将待检测图像数据与校正矩阵相乘获得校正后的图像数据。
[0015]进一步地，所述第一标准特征点数据包括针对模板图像数据的各检测框的两个顶点数据，且所述第一标准特征点数据集中的数据按照x坐标从小到大的顺序排列；
[0016]所述第二标准特征点数据集包括针对待检测图像数据的各检测框的两个顶点数据，且所述第二标准特征点数据集中的数据按照x坐标从小到大的顺序排列。
[0017]进一步地，基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选，从而获取精准匹配数据集，包括：
[0018]将候选匹配数据集中的点对基于模板图像特征点的横轴坐标按升序排列后，基于待检测图像特征点次序的变化情况进行初次筛选；
[0019]将初筛后的候选匹配数据与标准匹配数据融合，将融合后的匹配数据中的模板图像特征点按横轴坐标按升序排列，基于待检测图像特征点次序的变化情况进行二次筛选，从而获取精准匹配数据集。
[0020]进一步地，所述第一特征提取模型为YOLO_V5模型。
[0021]进一步地，所述第二特征提取模型为基于surf算法的特征点检测模型。
[0022]本专利技术还提供了一种城轨车辆线阵相机图像校正系统，包括：
[0023]图像获取模块，用于获取模板图像数据和待检测图像数据；
[0024]第一提取模块，用于基于第一特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，从而获取在模板图像数据和待检测图像数据中相同固定部件的检测框；
[0025]标准匹配数据集获取模块，用于基于针对模板图像数据的各检测框获取模板图像的第一标准特征点数据集，基于针对待检测图像数据的各检测框获取待检测图像的第二标准特征点数据集，基于所述第一标准特征点数据集和第二标准特征点数据集生成标准匹配数据集；
[0026]第二提取模块，用于基于第二特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，采用RANSAC方法获得候选匹配数据集，所述候选匹配数据集包括一一对应的模板图像特征点和待检测图像特征点点对；
[0027]精准匹配数据集获取模块，用于基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选，从而获取精准匹配数据集；
[0028]校正矩阵构建模块，用于基于所述标准匹配数据集对待检测图像数据进行分段，对每段待检测图像数据分别采用三阶函数拟合离散的精准匹配数据，基于各段的拟合结果
构建校正矩阵；
[0029]输出模块，用于将待检测图像数据与校正矩阵相乘获得校正后的图像数据。
[0030]本专利技术还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时，执行上述任一项所述的方法。
[0031]较现有技术相比，本专利技术具有以下优点：
[0032]本专利技术克服了城轨列车线阵相机图像急变速造成拉伸压缩程度高的问题，在目标检测与特征点提取过程中分别采用YOLOV5和surf特征点检测算法，将目标检测的结果融入特征点匹配的运算，添加了小部件精细化定位、匹配数据筛选与分段非线性拟合算法，大幅提高校正精度，提升图像校正在急变速条件下的适应性。同时，本专利技术可克服光照、污浊等因素干扰。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城轨车辆线阵相机图像校正方法，其特征在于，包括：获取模板图像数据和待检测图像数据；基于第一特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，从而获取在模板图像数据和待检测图像数据中相同固定部件的检测框；基于针对模板图像数据的各检测框获取模板图像的第一标准特征点数据集，基于针对待检测图像数据的各检测框获取待检测图像的第二标准特征点数据集，基于所述第一标准特征点数据集和第二标准特征点数据集生成标准匹配数据集；基于第二特征提取模型对所述模板图像数据和待检测图像数据进行固定部件提取，采用RANSAC方法获得候选匹配数据集，所述候选匹配数据集包括一一对应的模板图像特征点和待检测图像特征点点对；基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选，从而获取精准匹配数据集；基于所述标准匹配数据集对待检测图像数据进行分段，对每段待检测图像数据分别采用三阶函数拟合离散的精准匹配数据，基于各段的拟合结果构建校正矩阵；将待检测图像数据与校正矩阵相乘获得校正后的图像数据。2.根据权利要求1所述的城轨车辆线阵相机图像校正方法，其特征在于，所述第一标准特征点数据包括针对模板图像数据的各检测框的两个顶点数据，且所述第一标准特征点数据集中的数据按照x坐标从小到大的顺序排列；所述第二标准特征点数据集包括针对待检测图像数据的各检测框的两个顶点数据，且所述第二标准特征点数据集中的数据按照x坐标从小到大的顺序排列。3.根据权利要求1所述的城轨车辆线阵相机图像校正方法，其特征在于，基于所述标准匹配数据集和候选匹配数据集对候选匹配数据集中的数据进行筛选，从而获取精准匹配数据集，包括：将候选匹配数据集中的点对基于模板图像特征点的横轴坐标按升序排列后，基于待检测图像特征点次序的变化情况进行初次筛选；将初筛后的候选匹配数据与标准匹配数据融合，将...

【专利技术属性】
技术研发人员：周纪武，李赞，李正倩，于新生，赫一光，陈兴来，于昳琳，王海峰，宋广浩，石磊，王野，王恩波，刘广波，刘书东，常明，
申请(专利权)人：大连地铁运营有限公司辽宁鼎汉奇辉电子系统工程有限公司，
类型：发明
国别省市：