用于高铁白车身转运机器人的环境感知方法、装置及系统制造方法及图纸

本发明专利技术涉及工业机器人技术领域，具体公开了一种用于高铁白车身转运机器人的环境感知方法、装置及系统，包括：获取转运机器人行驶过程中实时点云数据和实时图像数据；根据实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息；将实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，轨道线识别模型为根据障碍物图像训练集以及所有障碍物信息输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；根据轨道线区域中心点进行拟合确定轨道线坐标信息。本发明专利技术提供的用于高铁白车身转运机器人的环境感知方法能够实现高铁白车身转运过程中的环境感知。环境感知。环境感知。

【技术实现步骤摘要】
用于高铁白车身转运机器人的环境感知方法、装置及系统


[0001]本专利技术涉及工业机器人
，尤其涉及一种用于高铁白车身转运机器人的环境感知方法、用于高铁白车身转运机器人的环境感知装置以及用于高铁白车身转运机器人的环境感知系统。

技术介绍

[0002]智能化装备通常大规模应用于场景单一、工况简单的生产作业中，存在智能化程度低、无人化率低、故障率高等问题，故在作业效率和安全性等方面仍存在较大提升空间。特别在高铁白车身转运设备方面，目前该类型设备的智能化作业流程较为繁琐，仍需人工重复操作，且在作业过程中需要多名安全员确保白车身的安全通过性，对工作人员的数量、体力及专业性要求较高。现有转运设备在转运高铁白车身时，需要将转运设备上的轨道与迁车台上的轨道准确对齐，以保证白车身能安全转运到下一工位，但现有设备没有轨道自动对齐功能，需要安全员通过肉眼观察迁车台轨道与工位轨道是否对齐。同时，现有转运设备作业过程中两侧均需要安全员观察设备周边环境以保证作业安全性，易出现视野盲区。上述作业流程均导致现有转运设备作业效率和安全性较低的同时故障率较高。
[0003]目前，针对大尺寸的高铁车厢，在不同作业流程间转运车身时工作量和工作难度较大，目前主要以机器辅助人工作业模式，尚未完全实现全自动化作业。这种作业模式存在工人位置随机性大、转运轨道与工位轨道对接精度低等缺点，而且人工作业存在操作流程复杂、转运流程效率较低、转运设备周围环境安全性不能有效保证，作业成本高等问题。
[0004]因此，如何能够在高铁白车身等大型工件的转运过程中进行环境感知成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]本专利技术提供了一种用于高铁白车身转运机器人的环境感知方法、用于高铁白车身转运机器人的环境感知装置以及用于高铁白车身转运机器人的环境感知系统，解决相关技术中存在的无法对高铁白车身等转运进行环境感知的问题。
[0006]作为本专利技术的第一个方面，提供一种用于高铁白车身转运机器人的环境感知方法，其中，包括：
[0007]获取转运机器人行驶过程中实时点云数据和实时图像数据；
[0008]根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
[0009]将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
[0010]根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
[0011]进一步地，根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行
驶起点至行驶终点的所有障碍物信息，包括：
[0012]将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据；
[0013]解析同步后点云数据，并确定雷达坐标系下点云中障碍物点坐标和相机坐标系下图像中障碍物点坐标；
[0014]根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据；
[0015]将机器人坐标系下的图像数据输入至障碍物识别模型，以获得图像中障碍物识别信息，其中所述障碍物图像识别信息包括障碍物在图像中的坐标以及障碍物在图像中的识别类别，所述障碍物识别模型为根据标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得，所述标注后的障碍物图像训练集包括围绕机器人周围的障碍物图像以及标注在障碍物图像上的障碍物ID信息和障碍物尺寸信息；
[0016]将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息。
[0017]进一步地，所述实时点云数据包括第一实时点云数据和第二实时点云数据，所述实时图像数据包括第一实时图像数据和第二实时图像数据，将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据，包括：
[0018]将实时点云数据和实时图像数据分别进行解析，获得点云第一帧数据时间戳和图像第一帧数据时间戳；
[0019]根据第一实时点云数据中的点云第一帧数据时间戳与第二实时点云数据中的点云第一帧数据时间戳的大小关系确定点云新时间戳；
[0020]根据所述点云新时间戳同步第一实时图像数据中的图像第一帧数据时间戳和第二实时图像数据的图像第一帧数据时间戳以确定图像新时间戳。
[0021]进一步地，根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据，包括：
[0022]获取转运机器人上的雷达安装位置，其中所述转运机器人的两侧分别各安装一个雷达；
[0023]根据雷达安装位置对两个雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，确定雷达坐标系到机器人坐标系的转换关系；
[0024]对转运机器人上的相机内部参数进行标定，其中所述转运机器人的两侧分别各安装一个相机；
[0025]对位于同侧的相机与雷达分别进行标定确定相机坐标系与雷达坐标系的转换关系；
[0026]根据雷达坐标系到机器人坐标系的转换关系以及相机坐标系与雷达坐标系的转换关系确定相机坐标系到机器人坐标系的转换关系；
[0027]根据雷达坐标系到机器人坐标系的转换关系将雷达坐标系下点云中障碍物点坐标投影到机器人坐标系下，确定雷达坐标系下点云中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的点云数据；
[0028]根据相机坐标系到机器人坐标系的转换关系将相机坐标系下图像中障碍物点坐标投影到机器人坐标系下，确定相机坐标系下图像中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的图像数据。
[0029]进一步地，将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：
[0030]判断机器人坐标系下两侧的点云数据中障碍物点的横纵坐标的差值是否均同时满足预设条件；
[0031]若满足，则判定两侧的两个点云数据中障碍物点为重合点，并将该参与比较的两个点云数据中障碍物点的坐标取平均值后确定为融合后点云数据障碍物点坐标值；
[0032]若不满足，则判定两侧的两个点云数据中障碍物点为非重合点，并分别保存该两个点云数据障本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于高铁白车身转运机器人的环境感知方法，其特征在于，包括：获取转运机器人行驶过程中实时点云数据和实时图像数据；根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。2.根据权利要求1所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据；解析同步后点云数据，并确定雷达坐标系下点云中障碍物点坐标和相机坐标系下图像中障碍物点坐标；根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据；将机器人坐标系下的图像数据输入至障碍物识别模型，以获得图像中障碍物识别信息，其中所述障碍物图像识别信息包括障碍物在图像中的坐标以及障碍物在图像中的识别类别，所述障碍物识别模型为根据标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得，所述标注后的障碍物图像训练集包括围绕机器人周围的障碍物图像以及标注在障碍物图像上的障碍物ID信息和障碍物尺寸信息；将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息。3.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，所述实时点云数据包括第一实时点云数据和第二实时点云数据，所述实时图像数据包括第一实时图像数据和第二实时图像数据，将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据，包括：将实时点云数据和实时图像数据分别进行解析，获得点云第一帧数据时间戳和图像第一帧数据时间戳；根据第一实时点云数据中的点云第一帧数据时间戳与第二实时点云数据中的点云第一帧数据时间戳的大小关系确定点云新时间戳；根据所述点云新时间戳同步第一实时图像数据中的图像第一帧数据时间戳和第二实时图像数据的图像第一帧数据时间戳以确定图像新时间戳。4.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，根
据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据，包括：获取转运机器人上的雷达安装位置，其中所述转运机器人的两侧分别各安装一个雷达；根据雷达安装位置对两个雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，确定雷达坐标系到机器人坐标系的转换关系；对转运机器人上的相机内部参数进行标定，其中所述转运机器人的两侧分别各安装一个相机；对位于同侧的相机与雷达分别进行标定确定相机坐标系与雷达坐标系的转换关系；根据雷达坐标系到机器人坐标系的转换关系以及相机坐标系与雷达坐标系的转换关系确定相机坐标系到机器人坐标系的转换关系；根据雷达坐标系到机器人坐标系的转换关系将雷达坐标系下点云中障碍物点坐标投影到机器人坐标系下，确定雷达坐标系下点云中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的点云数据；根据相机坐标系到机器人坐标系的转换关系将相机坐标系下图像中障碍物点坐标投影到机器人坐标系下，确定相机坐标系下图像中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的图像数据。5.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述...

【专利技术属性】
技术研发人员：秦晓辉，王哲文，谢国涛，秦洪懋，徐彪，秦兆博，王晓伟，丁荣军，
申请(专利权)人：湖南大学无锡智能控制研究院，
类型：发明
国别省市：