一种基于煤矿辅助运输机器人的人员跟踪方法技术

本发明专利技术一种基于煤矿辅助运输机器人的人员跟踪方法，包括如下步骤：步骤S1：利用红外相机和可见光相机分别采集人员的RGB图像和红外图像，通过处理得到融合图像；步骤S2：利用人体姿态识别算法对融合图像进行特征提取，预测人员的人体关键点，并选择其中的若干个人体关键点作为人员位置的参考点；步骤S3：对人体关键点的有效性进行验证，并计算参考点之间的平均距离；步骤S4：根据参考点的平均距离计算人员的实际距离，将实际距离与跟随距离进行比对，以此来调整煤矿辅助运输机器人的速度；步骤S5：根据参考点计算人体中心点的位置，通过判断人体中心点的位置是否在预设范围内，以此来调整煤矿辅助运输机器人的角度。调整煤矿辅助运输机器人的角度。调整煤矿辅助运输机器人的角度。

【技术实现步骤摘要】
一种基于煤矿辅助运输机器人的人员跟踪方法


[0001]本专利技术属于计算机视觉、图像处理
，具体来说是一种基于煤矿辅助运输机器人的人员跟踪方法。

技术介绍

[0002]目前，煤矿的辅助运输发展较为缓慢，辅助运输系统主要靠固定的轨道车辆，或人工驱动车辆前进，然而这种运输方式降低了材料运输过程中的灵活性。专利号为CN112319503A的一种基于煤矿无轨辅助运输机器人的车辆控制方法，通过接收感知系统数据控制辅助运输机器人的行驶速度和启停。论文“煤矿辅助运输机器人关键技术研究”(袁晓明，郝明锐.工矿自动化，2020，46(08)：8
‑
14)利用最短路径搜索算法和动态窗口算法分别实现该机器人的全局路径规划和局部路径规划功能。以上方法虽然可以让机器人感知周围环境，但是没有考虑根据人员位置动态调节辅助运输机器人功能。随着目标检测技术的发展，可以通过识别人体姿态和周围目标增加煤矿辅助运输机器人的感知能力，从而提高煤矿辅助运输机器人的使用范围。

技术实现思路

[0003]为克服现有技术的不足，本专利技术提出一种灵活性高、适应性强的基于煤矿辅助运输机器人的人员跟踪方法。该方法能够在不同光线环境下对人体姿态进行实时识别，动态调整机器人姿态，解决了煤矿辅助运输机器人弱光条件下人员跟踪的不可靠的问题，提高了煤矿辅助运输机器人的智能化水平。
[0004]本专利技术一种基于煤矿辅助运输机器人的人员跟踪方法，包括如下步骤：步骤S0：配置初始化；预先设定人员在一预先距离处的标定比例；预先设定煤矿辅助运输机器人与人员之间的跟随距离；预先设定一煤矿辅助运输机器人与人员之间的预设范围；
[0005]步骤S1：利用红外相机和可见光相机分别采集人员的RGB图像和红外图像，通过处理得到融合图像；
[0006]步骤S2：利用人体姿态识别算法对融合图像进行特征提取，预测人员的人体关键点，并选择其中的若干个人体关键点作为人员位置的参考点；
[0007]步骤S3：对人体关键点的有效性进行验证，并计算参考点之间的平均距离；
[0008]步骤S4：根据参考点的平均距离计算人员的实际距离，将实际距离与跟随距离进行比对，以此来调整煤矿辅助运输机器人的速度；
[0009]步骤S5：根据参考点计算人体中心点的位置，通过判断人体中心点的位置是否在预设范围内，以此来调整煤矿辅助运输机器人的角度。
[0010]进一步的，步骤S1包括如下步骤：
[0011]步骤S11：通过可见光相机采集人员的RGB图像；通过红外相机采集人员的红外图像；RGB图像与红外图像相对应；
[0012]步骤S12：计算RGB图像和红外图像的ORB特征点，通过特征匹配计算RGB图像、红外
图像的单应矩阵；
[0013]步骤S13：通过红外图像和单应矩阵得到与RGB图像对齐的待融合图像；
[0014]步骤S14：通过计算RGB图像与待融合图像的平均值得到融合图像。
[0015]进一步的，人体姿态识别算法是基于yolov5框架的单阶段目标检测人体关键点算法；
[0016]步骤S2包括如下步骤：
[0017]步骤S21：使用基于yolov5框架的单阶段目标检测人体关键点算法采用以3个不同尺度的预测头结构，
[0018]步骤S22：预测头会以融合图像的每个像素点为中心，生成三个不同尺度的先验框，每个先验框可以预测3次人体以及人体关键点，3个不同尺度的预测头会预测9次人体以及人体关键点，保留分数最大的人体和人体关键点作为预测结果输出；
[0019]步骤S23：对先验框的位置、大小、置信度、人体关键点的相似度进行补偿计算，确保先验框准确预测；
[0020]步骤S24：选择其中的颈部关键点、左臀部关键点、右臀部关键点作为计算人员的位置的参考点；
[0021]进一步的，步骤S22中，作为预测结果输出的人体关键点的数量为18个；
[0022]步骤S23中，采用CIOU函数对先验框的位置及大小进行补偿计算；采用二进制交叉熵BCELoss函数，对先验框的置信度进行补偿计算；采用OKS函数对人体关键点的相似度进行补偿计算,得到基于OKS的人体关键点补偿函数总和。
[0023]进一步的，步骤S3包括如下步骤：
[0024]步骤S31：逐个验证预测到的18个人体关键点是否有效；如果该人体关键点的坐标均不为0，则该人体关键点有效；如果18个人体关键点均无效，则返回步骤S1；
[0025]步骤S32：通过第一计算公式计算颈部关键点、左臀部关键点、右臀部关键点的平均距离；
[0026]第一计算公式为：
[0027]其中，平均距离为d，颈部关键点在融合图像中的坐标为(x1，y1)，左臀部关键点在融合图像中的坐标为(x2，y2)，右臀部关键点在融合图像中的坐标为(x3，y3)。
[0028]进一步的，步骤S4包括如下步骤：
[0029]步骤S41：根据平均距离、预先距离处的标定比例，通过第二计算公式得到人员的距离信息；
[0030]第二计算公式为：
[0031]其中：b为预先距离，k为标定比例，d为平均距离；
[0032]步骤S42：使用滑动窗口方法对距离信息进行滤波，去除滑动窗口中差异最大的值，将滑动窗口的平均值作为人员的实际距离；
[0033]步骤S43：将人员的实际距离与预选设定的跟随距离进行比对来控制煤矿辅助运输机器人的速度；
[0034]如果实际距离大于跟随距离，则进行加速值计算；
[0035]如果实际距离小于跟随距离，则进行减速值计算；
[0036]进一步的，步骤S5包括如下步骤：
[0037]步骤S51：确定人体中心点；
[0038]选定臀部中心为人体中心点，根据左臀部关键点的位置和右臀部关键点的位置，计算得到的人体中心点(臀部中心)的位置信息；
[0039]步骤S52：使用滑动窗口方法对人体中心点的位置信息进行多帧滤波，去除滑动窗口中差异最大的值，将滑动窗口的平均值作为人体中心点的位置；
[0040]步骤S53：将人体中心点的位置与预设范围进行比对，根据比对结果来调整煤矿辅助运输机器人的角度；
[0041]如果人体中心点的位置位于预设范围内，则不用进行角度调整；
[0042]如果人体中心点的位置超出预设范围，则判断人体中心点与融合图像的位置关系，如果人体中心点位于融合图像的左侧，则进行左转角度计算，如果人体中心点没有处于融合图像的左侧，则进行右转角度计算。
[0043]与现有技术相比，本专利技术具有如下优点：
[0044]1)本专利技术使用可见光相机和红外相机融合方式，可以在弱光条件下对人体姿态进行跟踪，提高了煤矿辅助运输机器人的智能化水平。
[0045]2)本专利技术基于单阶段目标检测器yolov5，引入人体关键点预测分支，具有较高的精度和较快的检测速度。
[0046]3)本专利技术采用了多帧滤波和图像去抖本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于煤矿辅助运输机器人的人员跟踪方法，其特征在于，包括如下步骤：步骤S0：配置初始化；预先设定人员在一预先距离处的标定比例；预先设定煤矿辅助运输机器人与人员之间的跟随距离；预先设定一煤矿辅助运输机器人与人员之间的预设范围；步骤S1：利用红外相机和可见光相机分别采集人员的RGB图像和红外图像，处理得到融合图像；步骤S2：利用人体姿态识别算法对融合图像进行特征提取，预测人员的人体关键点，并选择其中的若干个人体关键点作为人员的位置的参考点；步骤S3：对人体关键点的有效性进行验证，并计算参考点之间的平均距离；步骤S4：根据参考点的平均距离计算人员的实际距离，将实际距离与跟随距离进行比对，以此来调整煤矿辅助运输机器人的速度；步骤S5：根据参考点计算人体中心点的位置，通过判断人体中心点的位置是否在预设范围内，以此来调整煤矿辅助运输机器人的角度。2.根据权利要求1所述的一种基于煤矿辅助运输机器人的人员跟踪方法，其特征在于，步骤S1包括如下步骤：步骤S11：通过可见光相机采集人员的RGB图像；通过红外相机采集人员的红外图像；RGB图像与红外图像相对应；步骤S12：计算RGB图像和红外图像的ORB特征点，通过特征匹配计算RGB图像、红外图像的单应矩阵；步骤S13：通过红外图像和单应矩阵得到与RGB图像对齐的待融合图像；步骤S14：通过计算RGB图像与待融合图像的平均值得到融合图像。3.根据权利要求1所述的一种基于煤矿辅助运输机器人的人员跟踪方法，其特征在于，人体姿态识别算法是基于yolov5框架的单阶段目标检测人体关键点算法；步骤S2包括如下步骤：步骤S21：使用基于yolov5框架的单阶段目标检测人体关键点算法采用以3个不同尺度的预测头结构，步骤S22：预测头会以融合图像的每个像素点为中心，生成三个不同尺度的先验框，每个先验框可以预测3次人体以及人体关键点，3个不同尺度的预测头会预测9次人体以及人体关键点，保留分数最大的人体和人体关键点作为预测结果输出；步骤S23：对先验框的位置、大小、置信度、人体关键点的相似度进行补偿计算，确保先验框准确预测；步骤S24：选择其中的颈部关键点、左臀部关键点、右臀部关键点作为计算人员的位置的参考点。4.根据权利要求3所述的一种基于煤矿辅助运输机器人的人员跟踪方法，其特征在于，步骤S22中，作为预测结果输出的人体关键点的数量为18个；步骤S23中，采用CIOU函...

【专利技术属性】
技术研发人员：裴文良，申龙，胡云雷，单浩然，王永利，孙宁，马铭洋，马振龙，张树生，
申请(专利权)人：中信重工开诚智能装备有限公司，
类型：发明
国别省市：