铁路调车动态视觉监控方法技术

本发明专利技术提供一种铁路调车动态视觉监控方法，通过毫米波雷达和坐标转换算法将毫米波雷达识别出的像素坐标与单目相机识别的车头位置进行对比，取距离车头位置基准点欧氏距离最近的点的像素坐标作为最终目标点，相对于单点的激光测距仪，中远距离测距可以通过毫米波雷达的辅助信息定位和算法辅助单目相机进行车头定位操作，使得车头定位更精准，精度缺失更少，且当车头距离低于30m时，将毫米波雷达关闭，转用激光测距仪作为测距设备，近距离测距激光测距仪更为精准，增加了近距离车头对接的间距测量精度。

【技术实现步骤摘要】
铁路调车动态视觉监控方法
本专利技术涉及视觉识别领域，尤其涉及一种铁路调车动态视觉监控方法。
技术介绍
铁路调车一般会涉及到火车车辆之间的对接，原始对接方法为工作人员观察车辆之间的间距进行估计，通过经验和直觉判断火车车头是否对接，随着视觉技术的发展，现有火车对接工作已经由视觉和测距系统代替，通过视觉获取目标物的图像信息，利用机器学习，深度学习等视觉图像处理算法获得目标的具体形状和位置信息，然后通过测距系统测出对接车头的间距，完成火车的对接，现有通常采用激光测距仪和单目相机来实现目标物的测距，此种测距方法的好处是可以充分发挥激光测距仪的距离测量能力以及单目相机的目标物识别能力。但这种方法的测距精度较低，由于激光测距仪为单点测距，无法结合算法与单目相机配合实现精确的车头位置定位，所以此种测距方法相对有一定的精度缺失，会对火车车头对接产生一定精度影响。
技术实现思路
根据以上技术问题，本专利技术提供一种铁路调车动态视觉监控方法，其特征在于：其具体操作方法为：步骤一：利用张正友标定法完成单目相机的标定：选取square为52mm，长宽为9×6大小的标定板，针对不同位置的标定板图像利用Matlab软件中的calibrator应用进行标定，获得4个基础倍率的标定结果。最终获得了单目相机的焦距、光轴偏移量等内部参数矩阵；步骤二：毫米波雷达的安装和标定：利用小尺寸的水平尺将毫米波雷达的俯仰角和滚转角校准为水平，偏航角的标定时利用角度尺来确定某特定地区的金属角反坐标在X方向上角反值为0，在Y方向上角反值为设定的目标值；步骤三：毫米波雷达和单目相机坐标系的转换：毫米波雷达和单目相机分别单独标定使得毫米波雷达探测面的法向量和单目相机光轴分别与火车车身纵向对称平面平行，在此基础上建立毫米波雷达投影坐标系Orw-xrwyrwzrw，此坐标系原点为毫米波雷达探测中心点在地面上的投影点，然后建立单目相机投影坐标系Ocw-xcwycwzcw，此坐标系的原点为单目相机光心在地面的投影点，毫米波雷达投影坐标系与单目相机投影坐标系是空间中相互平行的2个坐标系；建立图像坐标系op-xpyp；此坐标系的原点位于图像的左上角，建立单目相机坐标系Oc-xcyczc；此坐标系的原点为单目相机的镜头处，根据小孔成像模型，图像坐标系op-xpyp和单目相机坐标系Oc-xcyczc之间有如下关系：公式一：又根据单目相机坐标系Oc-xcyczc及单目相机投影坐标系Ocw-xcwycwzcw之间的平移和旋转关系，可以得到二者之间的坐标转换公式如下：公式二：地面为平面且目标在地面上，目标在单目相机投影坐标系Ocw-xcwycwzcw当中有zcw＝0，则联合公式一和公式二可以得到由图像坐标系op-xpyp到单目相机投影坐标系Ocw-xcwycwzcw之间的转换公式：公式三：在之前毫米波雷达与单目相机标定工作的基础上，毫米波雷达投影坐标系Orw-xrwyrwzrw和单目相机投影坐标系Ocw-xcwycwzcw的相互转换只需要平移即可实现，转换公式如下：公式四：根据公式一、公式三和公式四可以得到毫米波雷达投影坐标系Orw-xrwyrwzrw中任意一点转换到图像坐标系op-xpyp中的转换关系：公式五：其中，公式一到公式五中的a、b为变量，cx、cy为光轴偏移量，fx、fy为焦距，Lx、Ly分别为毫米波雷达投影坐标系Orw-xrwyrwzrw和单目相机投影坐标系Ocw-xcwycwzcwX轴之间的间距和y轴之间的间距；利用上式可以最终得出单目相机坐标系和毫米波雷达坐标系之间的转换关系，并最终将毫米波雷达坐标转换到像素坐标；步骤四：中远距离测距过程：利用单目相机识别目标车头，单目相机的识别方式采用YOLO深度神经网络算法来实现，利用网上开源的火车车头数据库来进行神经网络的车头识别，然后利用轨道检测方式选择本列车对应的行驶轨道，选取轨道内的目标作为目标车头，并用矩形框标出；将毫米波雷达识别出的报文信息转化为实际的物理信息，将报文信息数据进行十六进制向二进制的类型转换，并通过毫米波雷达对应的通讯协议列表找出所需的位置信息，最终将其转换为十进制的物理信号输出；将毫米波雷达坐标系内检测出的全部位置的物理信号通过公式五全部转换到相机的像素坐标系中显示。以单目相机检测出的矩形框底边中点为基准点，选取全部转换的相机像素坐标中与单目相机基准点之间的欧氏距离最近的点的像素坐标作为最终目标点，然后让毫米波雷达测出与该最终目标点的位移数据作为最终的车头位置信息；进一步的：所述毫米波雷达的型号为ARS408；进一步的：所述毫米波雷达设置为两个,两个毫米波雷达的数据处理采用加权平均算法，选取两个毫米波雷达的横向距离和纵向距离数据的加权平均值作为最终的目标距离，若某一雷达出现故障或因环境问题未检测出目标点，则选取另一雷达的检测数据作为最终目标；进一步的：在30m近距离测距时：关闭毫米波雷达的测距功能，开启激光测距仪作为测距设备，并利用单目相机作为辅助视觉工具，对目标车头位置进行图像显示，并将激光测距仪获得的距离信息作为最终的位置信息，在像素坐标系中显示。本专利技术的有益效果为：本专利技术通过毫米波雷达和坐标转换算法将毫米波雷达识别出的像素坐标与单目相机识别的车头位置进行对比，取距离车头位置基准点欧氏距离最近的点的像素坐标作为最终目标点，相对于单点的激光测距仪，中远距离测距可以通过毫米波雷达的辅助信息定位和算法辅助单目相机进行车头定位操作，使得车头定位更精准，精度缺失更少，且当车头距离低于30m时，将毫米波雷达关闭，转用激光测距仪作为测距设备，近距离测距激光测距仪更为精准，增加了近距离车头对接的间距测量精度。本专利技术通过使用两个毫米波雷达作为测距设备，中远距离测距的数据采用两个毫米波雷达的加权平均值，避免了单一设备出现故障或因车辆抖动出现某雷达无法识别的问题，提高了距离测量的精准度。同时两雷达的检测视角也扩大了目标物的检测范围，更好地避免了目标物的丢失问题。附图说明图1为本专利技术Metlad软件内的单目相机内部参数矩阵图；图2为本专利技术毫米波雷达和单目相机坐标系转换关系图；图3为本专利技术毫米波雷达报文数据十六进制转二进制的数据类型转换通讯协议列表；图4为本专利技术毫米波雷达报文数据二进制转十进制的数据类型转换通讯协议列表；图5为本专利技术的软件应用界面。具体实施方式实施例1本专利技术提供一种铁路调车动态视觉监控方法，其特征在于：其具体操作方法为：步骤一：利用张正友标定法完成单目相机的标定：选取square为52mm，长宽为9×6大小的标定板，针对不同位置的标定板图像利用Matlab软件中的calibrator应用进行标定，获得4个基础倍率的标定结果。最终获得了单目相机的焦距、光轴偏移量等内部参数矩阵；步骤二：毫米波雷达的安装本文档来自技高网...

【技术保护点】
1.一种铁路调车动态视觉监控方法，其特征在于：其具体操作方法为：/n步骤一：利用张正友标定法完成单目相机的标定：/n选取square为52mm，长宽为9×6大小的标定板，针对不同位置的标定板图像利用Matlab软件中的calibrator应用进行标定，获得4个基础倍率的标定结果。最终获得了单目相机的焦距、光轴偏移量等内部参数矩阵；/n步骤二：毫米波雷达的安装和标定：/n利用小尺寸的水平尺将毫米波雷达的俯仰角和滚转角校准为水平，偏航角的标定时利用角度尺来确定某特定地区的金属角反坐标在X方向上角反值为0，在Y方向上角反值为设定的目标值；/n步骤三：毫米波雷达和单目相机坐标系的转换：/n毫米波雷达和单目相机分别单独标定使得毫米波雷达探测面的法向量和单目相机光轴分别与火车车身纵向对称平面平行，在此基础上建立毫米波雷达投影坐标系O

【技术特征摘要】
1.一种铁路调车动态视觉监控方法，其特征在于：其具体操作方法为：
步骤一：利用张正友标定法完成单目相机的标定：
选取square为52mm，长宽为9×6大小的标定板，针对不同位置的标定板图像利用Matlab软件中的calibrator应用进行标定，获得4个基础倍率的标定结果。最终获得了单目相机的焦距、光轴偏移量等内部参数矩阵；
步骤二：毫米波雷达的安装和标定：
利用小尺寸的水平尺将毫米波雷达的俯仰角和滚转角校准为水平，偏航角的标定时利用角度尺来确定某特定地区的金属角反坐标在X方向上角反值为0，在Y方向上角反值为设定的目标值；
步骤三：毫米波雷达和单目相机坐标系的转换：
毫米波雷达和单目相机分别单独标定使得毫米波雷达探测面的法向量和单目相机光轴分别与火车车身纵向对称平面平行，在此基础上建立毫米波雷达投影坐标系Orw-xrwyrwzrw，此坐标系原点为毫米波雷达探测中心点在地面上的投影点，然后建立单目相机投影坐标系Ocw-xcwycwzcw，此坐标系的原点为单目相机光心在地面的投影点，毫米波雷达投影坐标系与单目相机投影坐标系是空间中相互平行的2个坐标系；
建立图像坐标系op-xpyp；此坐标系的原点位于图像的左上角，建立单目相机坐标系Oc-xcyczc；此坐标系的原点为单目相机的镜头处，根据小孔成像模型，图像坐标系op-xpyp和单目相机坐标系Oc-xcyczc之间有如下关系：
公式一：
又根据单目相机坐标系Oc-xcyczc及单目相机投影坐标系Ocw-xcwycwzcw之间的平移和旋转关系，可以得到二者之间的坐标转换公式如下：
公式二：
地面为平面且目标在地面上，目标在单目相机投影坐标系Ocw-xcwycwzcw当中有zcw＝0，则联合公式一和公式二可以得到由图像坐标系op-xpyp到单目相机投影坐标系Ocw-xcwycwzcw之间的转换公式：
公式三：
在之前毫米波雷达与单目相机标定工作的基础上，毫米波雷达投影坐标系Orw-xrwyrwzrw和单目相机投影坐标系Ocw-xcwycwzcw的相互转换只需要平移即可实现，转换公式如下：
公式四：
根据公式一、公式三和公式四可以得到毫米波雷达投影坐标系Orw-xrwyrwzrw...

【专利技术属性】
技术研发人员：纪书利，
申请(专利权)人：天津开发区文博电子有限公司，
类型：发明
国别省市：天津;12