一种列车线阵图像畸变校正方法及电子设备技术

本发明专利技术涉及轨道列车图像技术领域，特别是一种列车线阵图像畸变校正方法及电子设备。本发明专利技术通过对采集的列车线阵图像进行检测，利用检测结果将列车切分为多个图像区域；再筛选确定出模板图像，针对出现明显畸变的待校正图像和模板图像同时利用模型进行切分；对于每个切分的待校正图像将其按设定的步长截断和变化，再计算各变化后的图像与模板图像相同截断区域的相似度，相似度最大的变换区域即为相应截断区域的校正图像，经图块拼接后最终可实现线阵图像的畸变校正。避免了在进行畸变校正过程中特征点的提取，降低环境变化对图像质量的影响，并根据相似度指标自适应地实现图像的畸变校正，提升了图像校正的稳定性。提升了图像校正的稳定性。提升了图像校正的稳定性。

【技术实现步骤摘要】
一种列车线阵图像畸变校正方法及电子设备


[0001]本专利技术涉及轨道列车图像
，特别是一种列车线阵图像畸变校正方法及电子设备。

技术介绍

[0002]近年来，随着我国轨道交通行业的快速发展，列车的运行安全愈发受到重视，而其中关注的主要重点是对车辆外观和走行部件进行状态监测。由于货运列车车身长度远大于其高度，为了实现外观精细成像，当前常用的方式是在轨旁装配线阵相机采集列车运行过程中的图像和视频，再安排专业的人员通过目检的方式一一排查车辆是否发生异常，该方法效率低，人力成本高，且容易发生漏检而造成列车运行风险。为了降低该类风险，进而通过计算机视觉的方法对各检测项点进行在线识别，该方法能够提高检测的效率和精度，但依赖于高分辨率和清晰完整的图像大数据。在实际的图像采集中，由于线阵相机安装在轨旁的台架上且以固定频率拍摄，而列车过车中会难以避免地引起台架小幅震动，同时由于车辆是变速行进，从而会使得采集后的图像产生不同程度的畸变，影响后续的图像定位和识别。
[0003]目前在轨道交通领域针对线阵图像畸变的问题，最常考虑的解决方案是通过安装磁钢或雷达达到实时测速的目的，进而调整线阵相机的拍摄频率。但线阵相机的采样频率较高，磁钢和雷达的测速频率很难与相机匹配，采集到的图像仍然存在畸变误差。申请号为CN201910701436.6的专利公开了一种轨道列车线阵相机图像畸变校正方法，但该方法主要针对车底结构，不能很好适应对车厢图像的校正，所以如今还需要一种列车线阵图像畸变校正方法及电子设备。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中所存在的采集的列车线阵图像存在畸变的问题，提供一种列车线阵图像畸变校正方法及电子设备。
[0005]为了实现上述专利技术目的，本专利技术提供了以下技术方案：
[0006]一种列车线阵图像畸变校正方法，包括以下步骤：
[0007]S1：采集列车线阵图像，并进行预处理；所述预处理包括标注、数据增强以及多尺度变换；
[0008]S2：在预处理后的所述列车线阵图像中选出相同车型的模板图像和畸变的待校正图像；其中，所述模板图像为清晰完整，没有畸变的图像；
[0009]S3：通过车体检测模型和柱体检测模型分别检测所述模板图像和所述待校正图像的车体和车身柱体，并根据所述车身柱体的分布将所述模板图像和所述待校正图像中的车体切分成多个模板图块和多个待校正图块；其中，所述切分条件为：在检测的车体范围内，相邻柱体之间、两侧柱体与车侧之间，分别切分为一个区域(对车体进行预分割，以降低校正的累积误差，提高校正精度)；
[0010]S4：选择一个模板图块以及对应的待校正图块，以截断步长从图像第一列像素点开始，分别按列截取所述待校正图块和所述模板图块，对所述待校正图块的截取图像在水平方向乘以预设的变化系数做尺寸变化处理，得到模板截取图像以及待校正变化图像；其中，初始截断步长为预设值；所述变化系数为预设区间内以一定步长截取的各数值；
[0011]S5：分别计算不同变化系数下的所述待校正变化图像与所述模板截取图像之间的感知哈希值，并根据所述感知哈希值计算所述待校正变化图像与所述模板截取图像之间的汉明距离；
[0012]S6：将所述待校正图块的截断步长更新为：初始截断步长*变化系数；所述模板图块的截断步长保持为：初始截断步长；并分别按照所述待校正图块以及所述模板图块的截断步长滑动截断窗口；
[0013]S7：进入步骤S4直至所述待校正图像完整处理，将所述待校正图像的每个截取图像中汉明距离最小的待校正变化图像按顺序拼接，输出校正后的列车线阵图像。本专利技术通过车体检测模型和柱体检测模型对采集的列车线阵图像进行检测，利用检测结果将列车切分为多个图像区域；再筛选确定一批清晰完整、覆盖不同车型的模板图像，针对出现明显畸变的图像和模板图像同时利用模型进行切分；对于每个切分的待校正图像将其按设定的步长截断，并在一定的范围内对截断区域做压缩和拉伸，再计算各压缩或拉伸后的图像与模板图像相同截断区域的相似度，相似度最大的变换区域即为相应截断区域的校正图像。通过循环对待校正图像全图各截断区域做上述处理，经图块拼接后最终可实现线阵图像的畸变校正。避免了在进行畸变校正过程中特征点的提取，降低环境变化对图像质量的影响，并根据相似度指标自适应地实现图像的畸变校正，提升了图像校正的稳定性。
[0014]作为本专利技术的优选方案，所述步骤S3中所述车体检测模型和所述柱体检测模型是通过RetinaNet网络进行模型训练；
[0015]所述RetinaNet网络包括一个主干网络和两个子网络，所述主干网络用于通过卷积操作得到整张输入图像的特征图；两个所述子网络基于所述特征图分别用于进行目标分类和位置回归。本专利技术通过RetinaNet网络，能针对正负样本不均衡的情况更好地进行网络学习，提高了检测精度。
[0016]作为本专利技术的优选方案，所述步骤S3中所述车体检测模型和所述柱体检测模型为多尺度特征金字塔网络，采用ResNet
‑
101+FPN作为主干网络，损失函数为Focal Loss。
[0017]作为本专利技术的优选方案，所述损失函数的表达式为：
[0018]FL(p
t
)＝
‑
a
t
(1
‑
p
t
)
γ
log(p
t
)，
[0019]其中，p
t
是不同类别的分类概率，γ为大于0的预设值，a
t
为[0，1]间的预设值。
[0020]作为本专利技术的优选方案，所述步骤S4中所述尺寸变化操作采用4
×
4像素邻域的双三次插值。
[0021]作为本专利技术的优选方案，所述双三次插值包括以下步骤：
[0022]对待插值的像素点(x,y)，取其附近的4
×
4邻域点(x
i
,y
j
),i,j＝0,1,2,3，按下式进行插值计算：
[0023][0024]其中，W(x)为插值基函数，f(x,y)为插值后的坐标。
[0025]作为本专利技术的优选方案，所述插值基函数W(x)的表达式为：
[0026][0027]作为本专利技术的优选方案，所述感知哈希值的计算式为：
[0028][0029]其中，H(i,j)为像素点(i,j)的哈希值，n
×
n为缩小后的图像尺寸，g(i,j)为像素点(i,j)的灰度值。
[0030]作为本专利技术的优选方案，所述汉明距离的计算式为：
[0031][0032]其中，d(x,y)为x,y之间的汉明距离，i,j＝0,1,
…
,n
‑
1，H
x
(i,j),H
y
(i,j)分别是x,y中像素点(i,j)的哈希编码，表示异或计算。
[0033]一种电子设备，包括至少一个处理器，以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种列车线阵图像畸变校正方法，其特征在于，包括以下步骤：S1：采集列车线阵图像，并进行预处理；所述预处理包括标注、数据增强以及多尺度变换；S2：在预处理后的所述列车线阵图像中选出相同车型的模板图像和畸变的待校正图像；其中，所述模板图像为清晰完整，没有畸变的图像；S3：通过车体检测模型和柱体检测模型分别检测所述模板图像和所述待校正图像的车体和车身柱体，并根据所述车身柱体的分布将所述模板图像和所述待校正图像中的车体切分成多个模板图块和多个待校正图块；其中，所述切分条件为：在检测的车体范围内，相邻柱体之间、两侧柱体与车侧之间，分别切分为一个区域；S4：选择一个模板图块以及对应的待校正图块，以截断步长从图像第一列像素点开始，分别按列截取所述待校正图块和所述模板图块，对所述待校正图块的截取图像在水平方向乘以预设的变化系数做尺寸变化处理，得到模板截取图像以及待校正变化图像；其中，初始截断步长为预设值；所述变化系数为预设区间内以一定步长截取的各数值；S5：分别计算不同变化系数下的所述待校正变化图像与所述模板截取图像之间的感知哈希值，并根据所述感知哈希值计算所述待校正变化图像与所述模板截取图像之间的汉明距离；S6：将所述待校正图块的截断步长更新为：初始截断步长*变化系数，所述模板图块的截断步长保持为：初始截断步长；并分别按照所述待校正图块以及所述模板图块的截断步长滑动截断窗口；S7：进入步骤S4直至所述待校正图像完整处理，将所述待校正图像的每个截取图像中汉明距离最小的待校正变化图像按顺序拼接，输出校正后的列车线阵图像。2.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述步骤S3中所述车体检测模型和所述柱体检测模型是通过RetinaNet网络进行模型训练；所述RetinaNet网络包括一个主干网络和两个子网络，所述主干网络用于通过卷积操作得到整张输入图像的特征图；两个所述子网络基于所述特征图分别用于进行目标分类和位置回归。3.根据权利要求1所述的一种列车线阵图像畸变校正方法，其特征在于，所述步骤S3中所述车体检测模型和所述柱体检测模型为多尺度特征金字塔网络，采用ResNet
‑
101+FPN作为主干网络，损失函数为Focal Loss。4.根据权利要求3所述...

【专利技术属性】
技术研发人员：王炜，马保成，王坤，滕昭军，范俩彬，杨雷，王燕兵，李晖，邓雪，郭海涛，王筱野，彭恢全，赵旺，刘向东，吴梦迪，邓佳林，陈威，聂东林，
申请(专利权)人：成都货安计量技术中心有限公司，
类型：发明
国别省市：