一种图像处理方法、系统、计算机及存储介质技术方案

本发明专利技术属于图像处理技术领域，公开了一种图像处理方法、系统、计算机及存储介质，包括获取相机输出的连续图像，连续图像中包括多个沿图像延伸方向分布的目标对象；沿连续图像的延伸方向依次截取预设第一宽度的子图像，得到多帧第一子图像；对于每对相邻的第一子图像，从前一帧第一子图像的尾部截取预设第二宽度的子图像，并将预设第二宽度的子图像与后一帧第一子图像进行拼接，得到第一拼接图像；对每个第一拼接图像中包括的目标对象进行识别。保证了每个目标对象都能被拼成完整的图像，保证了每个目标对象都能被缺陷检测算法识别到。本发明专利技术避免了对图像进行剪裁，避免失去部分定位数据；扩大了定位算法的适用范围，提高了算法精度。度。度。

【技术实现步骤摘要】
一种图像处理方法、系统、计算机及存储介质


[0001]本专利技术属于图像处理
，尤其涉及一种图像处理方法、系统、计算机及存储介质。

技术介绍

[0002]目前，双目系统，可以实现里程计算、里程映射功能，确保搭载该系统的物体能知道自己的正确位置。传统的双目定位算法需要对双目相机同一时刻拍摄的左右图像进行极线校正，以得到两个平行的摄像头，从而可以使左相机的射线与右相机的射线相交，根据其交点求出左右图像中匹配特征点对应在真实世界中的点。但是，极线校正算法会对不在两个相机平行范围内的图像进行剪裁，这会对相机视野产生影响，失去图像中被剪裁区域的定位数据。
[0003]此外，传统的极线校正必须是在左右图像具有相同分辨率的情况下进行处理的，这就要求左右相机的分辨率必须一致。但是现实中两个相机的分辨率很难做到完全一致，这样一方面降低了双目定位算法的适用范围，另一方面，分辨率存在微小差别的两个相机也会对定位结果的精度产生影响。
[0004]因此，目前双目定位算法还存在易失去部分定位数据、适用范围较小、算法精度不高的问题。
[0005]解交通压力起着积极的促进作用。
[0006]轨道由钢轨、轨枕、联结零件、道床等组成，钢轨与轨枕之间由扣件联结，扣件的功用是阻止钢轨作相对于轨枕的纵横向移动，保持钢轨的稳固性。随着轨道长时间运行，扣件可能会发生松动、掉落等现象，轨枕可能会发生变形、掉块。对轨枕和扣件进行缺陷检测，在保证轨道交通运行安全方面起着重要作用。
[0007]目前，采用将线阵相机安装在检测车上，检测车在轨道上持续行进的过程中，线阵相机连续采集并存储检测图像，最终通过对检测图像的识别来进行轨枕和扣件的缺陷检测。
[0008]但是，线阵相机拍摄的检测图像是一张无间断的连续图像，而缺陷检测算法只能对一定尺寸的图像进行计算。因此，需要将连续图像按照一定的尺寸分段截取。然而，按照一定的尺寸分段截取连续图像，经常会发生一个完整的轨枕被截断的情况，这导致缺陷检测算法无法识别到该被截断的轨枕，进而无法检测到轨枕和扣件中存在的缺陷。
[0009]扩大到任何一个对连续图像中分布的目标对象的检测问题，均需要保证目标对象的完整性。因此，如何对连续图像中的目标对象进行截取，从而保证每个目标对象都能被缺陷检测算法识别到，是目标对象的缺陷检测中需要解决的一个问题。

技术实现思路

[0010]针对现有技术存在的问题，本专利技术提供了一种图像处理方法、系统、计算机及存储介质。
[0011]本专利技术是这样实现的，一种图像处理方法，所述图像处理方法包括：将左相机和右相机连接线的中点，确定为特征点对在世界坐标系中的真实点；根据最短垂线与左相机射线、右相机射线之间的垂直关系，确定真实点的三维坐标；根据当前帧图像的点云数据和预先获取的上一帧图像的点云数据，确定相机在拍摄上一帧图像和当前帧图像之间的时间段，所运动的里程信息；获取相机输出的连续图像，沿所述连续图像的延伸方向依次截取预设第一宽度的子图像，得到多帧第一子图像；从前一帧所述第一子图像的尾部截取预设第二宽度的子图像，并将预设第二宽度的子图像与后一帧所述第一子图像进行拼接，得到第一拼接图像；对每个所述第一拼接图像中包括的目标对象进行识别。
[0012]进一步，所述图像处理方法包括：
[0013]分别获取所述左相机和所述右相机拍摄左图像和右图像；
[0014]提取所述左图像和所述右图像中相互匹配的特征点对，所述特征点对包括左特征点和右特征点；
[0015]将左相机射线和右相机射线之间的最短垂线的中点，确定为所述特征点对应在世界坐标系中的真实点；所述左相机射线为所述左特征点与所述左相机的光心之间的连线，所述右相机射线为所述右特征点与所述右相机的光心之间的连线；
[0016]根据所述最短垂线与所述左相机射线、所述右相机射线之间的垂直关系，确定所述真实点的三维坐标；
[0017]根据所述三维坐标，确定所述当前帧图像的点云数据；
[0018]根据所述当前帧图像的点云数据和预先获取的上一帧图像的点云数据，确定所述相机在拍摄上一帧图像和当前帧图像之间的时间段，所运动的里程信息。
[0019]进一步，所述根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，确定所述真实点的三维坐标，包括：
[0020]根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，分别确定所述最短垂线与所述左相机射线的交点坐标、所述最短垂线与所述右相机射线的交点坐标，得到左交点坐标和右交点坐标；
[0021]根据所述左交点坐标和所述右交点坐标确定所述最短垂线的中点坐标；
[0022]将所述中点坐标作为所述真实点的三维坐标；
[0023]所述根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，分别确定所述最短垂线与所述左相机射线的交点坐标、所述最短垂线与所述右相机射线的交点坐标，包括：
[0024]分别确定所述左相机射线的方向向量和所述右相机射线的方向向量，得到左方向向量和右方向向量；
[0025]根据所述左方向向量和所述左相机的光心的世界坐标，确定所述左交点坐标的表达式，得到第一表达式；所述第一表达式中包括第一常量；根据所述右方向向量和所述右相机的光心的世界坐标，确定所述右交点坐标的表达式，得到第二表达式；所述第二表达式中包括第二常量；
[0026]根据所述最短垂线与所述左相机射线垂直的关系，确定所述最短垂线的方向向量与所述左方向向量的关系式，得到第一关系式；根据所述最短垂线与所述右相机射线垂直的关系，确定所述最短垂线的方向向量与所述右方向向量的关系式，得到第二关系式；
[0027]根据所述第一表达式、所述第二表达式、所述第一关系式、所述第二关系式，确定所述第一常量和所述第二常量的取值；
[0028]根据所述第一常量的取值、所述第二常量的取值，分别确定所述左交点坐标和所述右交点坐标；
[0029]所述分别确定所述左相机射线的方向向量和所述右相机射线的方向向量，包括：
[0030]分别获取所述左特征点、所述右特征点在像素坐标系下的坐标，得到左像素坐标和右像素坐标；
[0031]根据预先获取的左相机的内参、所述左像素坐标，确定所述左特征点对应在相机坐标系下的坐标，得到左相机坐标；根据预先获取的所述右相机的内参、所述右像素坐标，确定所述右特征点对应在相机坐标系下的坐标，得到右相机坐标；
[0032]根据预先获取的所述左相机的外参、所述左相机坐标，确定所述左特征点在世界坐标系下的坐标，得到左世界坐标；根据预先获取的所述右相机的外参、所述右相机坐标，确定所述右特征点在世界坐标系下的坐标，得到右世界坐标；
[0033]确定所述左相机的光心的世界坐标，并确定所述右相机的光心的世界坐标；
[0034]根据所述左世界坐标和所述左相机的光心的世界坐标，确定所述左相机射线的方向向量；根据所述右世界坐标和所述右相机的光心的世界坐标，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述图像处理方法包括：将左相机和右相机连接线的中点，确定为特征点对在世界坐标系中的真实点；根据最短垂线与左相机射线、右相机射线之间的垂直关系，确定真实点的三维坐标；根据当前帧图像的点云数据和预先获取的上一帧图像的点云数据，确定相机在拍摄上一帧图像和当前帧图像之间的时间段，所运动的里程信息；获取相机输出的连续图像，沿所述连续图像的延伸方向依次截取预设第一宽度的子图像，得到多帧第一子图像；从前一帧所述第一子图像的尾部截取预设第二宽度的子图像，并将预设第二宽度的子图像与后一帧所述第一子图像进行拼接，得到第一拼接图像；对每个所述第一拼接图像中包括的目标对象进行识别。2.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法包括：分别获取所述左相机和所述右相机拍摄的左图像和右图像；提取所述左图像和所述右图像中相互匹配的特征点对，所述特征点对包括左特征点和右特征点；将左相机射线和右相机射线之间的最短垂线的中点，确定为所述特征点对应在世界坐标系中的真实点；所述左相机射线为所述左特征点与所述左相机的光心之间的连线，所述右相机射线为所述右特征点与所述右相机的光心之间的连线；根据所述最短垂线与所述左相机射线、所述右相机射线之间的垂直关系，确定所述真实点的三维坐标；根据所述三维坐标，确定所述当前帧图像的点云数据；根据所述当前帧图像的点云数据和预先获取的上一帧图像的点云数据，确定所述相机在拍摄上一帧图像和当前帧图像之间的时间段，所运动的里程信息。3.如权利要求2所述的图像处理方法，其特征在于，所述根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，确定所述真实点的三维坐标，包括：根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，分别确定所述最短垂线与所述左相机射线的交点坐标、所述最短垂线与所述右相机射线的交点坐标，得到左交点坐标和右交点坐标；根据所述左交点坐标和所述右交点坐标确定所述最短垂线的中点坐标；将所述中点坐标作为所述真实点的三维坐标；所述根据所述最短垂线与所述左相机射线和所述右相机射线之间的垂直关系，分别确定所述最短垂线与所述左相机射线的交点坐标、所述最短垂线与所述右相机射线的交点坐标，包括：分别确定所述左相机射线的方向向量和所述右相机射线的方向向量，得到左方向向量和右方向向量；根据所述左方向向量和所述左相机的光心的世界坐标，确定所述左交点坐标的表达式，得到第一表达式；所述第一表达式中包括第一常量；根据所述右方向向量和所述右相机的光心的世界坐标，确定所述右交点坐标的表达式，得到第二表达式；所述第二表达式中包括第二常量；根据所述最短垂线与所述左相机射线垂直的关系，确定所述最短垂线的方向向量与所述左方向向量的关系式，得到第一关系式；根据所述最短垂线与所述右相机射线垂直的关系，确定所述最短垂线的方向向量与所述右方向向量的关系式，得到第二关系式；
根据所述第一表达式、所述第二表达式、所述第一关系式、所述第二关系式，确定所述第一常量和所述第二常量的取值；根据所述第一常量的取值、所述第二常量的取值，分别确定所述左交点坐标和所述右交点坐标；所述分别确定所述左相机射线的方向向量和所述右相机射线的方向向量，包括：分别获取所述左特征点、所述右特征点在像素坐标系下的坐标，得到左像素坐标和右像素坐标；根据预先获取的左相机的内参、所述左像素坐标，确定所述左特征点对应在相机坐标系下的坐标，得到左相机坐标；根据预先获取的所述右相机的内参、所述右像素坐标，确定所述右特征点对应在相机坐标系下的坐标，得到右相机坐标；根据预先获取的所述左相机的外参、所述左相机坐标，确定所述左特征点在世界坐标系下的坐标，得到左世界坐标；根据预先获取的所述右相机的外参、所述右相机坐标，确定所述右特征点在世界坐标系下的坐标，得到右世界坐标；确定所述左相机的光心的世界坐标，并确定所述右相机的光心的世界坐标；根据所述左世界坐标和所述左相机的光心的世界坐标，确定所述左相机射线的方向向量；根据所述右世界坐标和所述右相机的光心的世界坐标，确定所述右相机射线的方向向量；所述根据所述当前帧图像的点云数据和预先获取的上一帧图像的点云数据，确定所述相机在拍摄上一帧图像和当前帧图像之间的时间段，所运动的里程信息，包括：对所述当前帧图像的点云数据和预先获取的上一帧图像的点云数据进行点云配准，得到相机的运动参数；根据所述运动参数确定所述相机在拍摄所述当前帧图像和所述上一帧图像之间的时间段，所运动的里程信息；所述对所述当前帧图像的点云数据和预先获取的上一帧图像的点云数据进行点云配准，得到相机的运动参数，包括：确定所述当前帧图像与所述上一帧图像匹配的特征点对，得到前后特征点对，所述前后特征点对包括前特征点和后特征点；确定使所述前特征点和所述后特征点距离最小的刚体变换，得到运动参数，所述运动参数包括平移参数和旋转参数；对所述当前帧图像的点云数据使用所述运动参数，得到标准点云数据；若所述标准点云数据与所述当前帧图像的点云数据之间的平均距离小于预设第一阈值，则停止迭代计算；若否，则将所述标准点云数据作为新标准点云数据继续迭代，直到所述平均距离小于所述第一阈值；在分别获取所述左相机和所述右相机拍摄的当前帧图像之前，还包括：获取所述左相机的内参和外参...

【专利技术属性】
技术研发人员：樊晓东，孟俊华，樊晓莉，张宜霞，杨维，
申请(专利权)人：宽衍河北智能装备有限公司，
类型：发明
国别省市：