【技术实现步骤摘要】
本专利技术涉及无人驾驶领域，尤其涉及一种无人环卫车实时清扫测距方法和系统。
技术介绍
1、近年来，无人驾驶技术取得了飞速的发展，已经成功应用至人们日常生活中的方方面面。例如，无人外卖车，避免了人员接触，更加安全。生产车间，利用无人车进行物流配送，大大提高了生产效率，同时降低了错误率。此外，在采矿业中，采用无人移动设备进行采集和运输，不仅保证了工人的人身安全，同时，降低了人工成本，给企业带来更多的收益等。无人环卫车，则是在没有环卫工人驾驶的情况下，沿一定路线，对路面进行垃圾清扫。
2、这些场景的应用，都是无人驾驶在发挥着巨大作用。感知和规划控制是无人驾驶的重要组成部分。感知相当于人的眼睛，告诉系统环境中都有什么，而规划控制则根据从感知获取的信息，进行决策。
3、无人环卫车在作业的过程中，需要紧贴路沿，才能彻底清扫干净。因此，准确无误的路沿位置，路沿与扫刷的相对位置关系的正确判断，都是至关重要的，也是必须的。
4、在专利cn116071729a中，借助激光雷达，获取三维点云数据。对点云数据进行扇形栅格化，基于光束法，提取出可行驶区域的边界点和路沿点。对可行驶区域去除噪声点，同时对路沿进行霍夫变换。利用优化后的点，进行多项式曲线拟合，从而获得可行驶区域的范围。只采用激光雷达，虽然简单，但雷达易受天气变化的影响，可能会出现分层，弥散等现象。且在较近的距离内，可能会有盲区。同时，激光雷达的造价较为昂贵。
5、在专利cn110942024a中，采用图像分割的方法，先初步提取路牙roi(regi
技术实现思路
1、本专利技术为针对现有技术的问题，结合实际应用场景，提出了一种新的实时路沿测距方法和系统，其能够快速且准确地检测路沿区域，从而计算出扫盘到路沿的距离，使无人清扫更加有效，同时只利用了相机硬件，在保证效果的同时，降低了系统成本，为广泛应用打下基础。
2、为达到上述目的，本专利技术的技术方案提供了一种无人环卫车实时清扫测距方法，其包括如下步骤：s1：通过相机采集场景图片，并将采集的场景图片送入卷积神经网络，以进行特征提取；s2：将提取的浅层特征与深层特征进行多次融合；s3：回归提取路沿的关键点以及扫刷的关键点；s4：利用相机内、外参数，将预测出的关键点转换到世界坐标系下；s5：通过世界坐标系下的点坐标进行清扫规划。
3、进一步地，在步骤s3中，所使用的损失函数如下：
4、
5、其中，n表示含有关键点的网格总数，n表示n次幂，对于含有关键点的网格，δx表示网格的x坐标的预测值与真实值的偏差，δy表示网格的y坐标的预测值与真实值的偏差。
6、进一步地，在步骤s4中，世界坐标系到图像坐标系的变换如下：
7、
8、其中，zc为相机坐标系下的深度，u,v为图像坐标下的x,y坐标，(xw,yw,zw)为世界坐标系的三维坐标，r，t分别为相机坐标系相对于世界坐标系的旋转矩阵、平移向量，k为相机的内矩阵，
9、通过推导得到：
10、
11、
12、其中，mat1和mat2为两个中间结果；
13、由此得到：
14、xw＝zc*mat1(0,0)-mat2(0,0)
15、yw＝zc*mat1(1,0)-mat2(1,0)
16、zw＝zc*mat1(2,0)-mat2(2,0)。
17、进一步地，在步骤s5中，通过世界坐标系下的点坐标，计算扫刷到路沿的最小距离，由此动态调整扫刷的位置，并判断是否已贴边清扫。
18、本专利技术的技术方案还提供了一种无人环卫车实时清扫测距系统，其包括如下模块：特征提取模块，用于通过相机采集场景图片，并将采集的场景图片送入卷积神经网络，以进行特征提取；融合模块：用于将提取的浅层特征与深层特征进行多次融合；关键点提取模块，用于回归提取路沿的关键点以及扫刷的关键点；坐标系转换模块，用于利用相机内、外参数，将预测出的关键点转换到世界坐标系下；清扫规划模块，用于通过世界坐标系下的点坐标进行清扫规划。
19、进一步地，在关键点提取模块中使用的损失函数如下：
20、
21、其中，n表示含有关键点的网格总数，n表示n次幂，对于含有关键点的网格，δx表示网格的x坐标的预测值与真实值的偏差，δy表示网格的y坐标的预测值与真实值的偏差。
22、进一步地，在坐标系转换模块中，世界坐标系到图像坐标系的变换如下：
23、
24、其中，zc为相机坐标系下的深度，u,v为图像坐标下的x,y坐标，(xw,yw,zw)为世界坐标系的三维坐标，r，t分别为相机坐标系相对于世界坐标系的旋转矩阵、平移向量，k为相机的内矩阵，
25、通过推导得到：
26、
27、
28、其中，mat1和mat2为两个中间结果；
29、由此得到：
30、xw＝zc*mat1(0,0)-mat2(0,0)
31、yw＝zc*mat1(1,0)-mat2(1,0)
32、zw＝zc*mat1(2,0)-mat2(2,0)。
33、进一步地，在清扫规划模块中，通过世界坐标系下的点坐标，计算扫刷到路沿的最小距离，由此动态调整扫刷的位置，并判断是否已贴边清扫。
34、本专利技术提出的方案，硬件上没有引入激光雷达，一定程度上降低的成本；同时采用关键点的方法，去掉了冗余的后处理，提升了计算速度；将计算结果投影到世界坐标系，方便计算真实的物理距离。经实际应用验证，与原有方法相比，没有增加更多耗时，提高了准确度，同时节约了硬件资源的开销，可以进行广泛推广应用。
本文档来自技高网...【技术保护点】
1.一种无人环卫车实时清扫测距方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤S3中，所使用的损失函数如下：
3.根据权利要求2所述的方法，其特征在于，在步骤S4中，世界坐标系到图像坐标系的变换如下：
4.根据权利要求3所述的方法，其特征在于，在步骤S5中，通过世界坐标系下的点坐标，计算扫刷到路沿的最小距离，由此动态调整扫刷的位置，并判断是否已贴边清扫。
5.一种无人环卫车实时清扫测距系统，其特征在于，包括如下模块：
6.根据权利要求5所述的系统，其特征在于，在关键点提取模块中使用的损失函数如下：
7.根据权利要求6所述的系统，其特征在于，在坐标系转换模块中，世界坐标系到图像坐标系的变换如下：
8.根据权利要求7所述的系统，其特征在于，在清扫规划模块中，通过世界坐标系下的点坐标，计算扫刷到路沿的最小距离，由此动态调整扫刷的位置，并判断是否已贴边清扫。
【技术特征摘要】
1.一种无人环卫车实时清扫测距方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤s3中，所使用的损失函数如下：
3.根据权利要求2所述的方法，其特征在于，在步骤s4中，世界坐标系到图像坐标系的变换如下：
4.根据权利要求3所述的方法，其特征在于，在步骤s5中，通过世界坐标系下的点坐标，计算扫刷到路沿的最小距离，由此动态调整扫刷的位置，并判断是否已贴边清扫。
...
【专利技术属性】
技术研发人员：何弢，郭鑫，廖文龙，彭湃，
申请(专利权)人：酷哇科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。