一种基于机器学习和SLAM的路径规划方法及系统技术方案

本发明专利技术提供一种基于机器学习和SLAM的路径规划方法及系统，属于无人机技术领域，该方法包括：使用FlowNetS对采集的图像中的路径点进行光流估计；根据路径点的光流筛选出候选路径点；判断候选路径点是否满足决策指标，若满足则将候选路径点设为最终路径点，若不满足则重新生成候选路径点；根据最终路径点生成可行路径。本发明专利技术解决了视觉SLAM直接法预测光流所需关键帧数过多的问题，克服了参考帧候选点选取的准确性以提高图像的跟踪性能问题，提高了系统实时性能，避免了传统SLAM系统的边云协同中通讯要求高、计算负载大的问题。计算负载大的问题。计算负载大的问题。

【技术实现步骤摘要】
一种基于机器学习和SLAM的路径规划方法及系统


[0001]本专利技术涉及无人机
，具体涉及一种基于机器学习和SLAM的路径规划方法及系统。

技术介绍

[0002]同步定位和绘图（SLAM）是一项艰巨的任务，其目标是在未知环境中构建地图并定位自身在该地图中的位置。这种方法是许多现代新兴技术的重要组成部分，例如室内机器人、室外自主车辆和无人机等。随着计算机视觉和机器学习领域的快速发展，光流估计和视觉SLAM系统在计算机视觉、机器人技术和自动驾驶等领域具有广泛的应用前景。光流估计是一项关键技术，用于估计相邻图像帧之间的像素位移，可以帮助我们理解场景中物体的运动和深度信息。视觉SLAM系统则是在未知环境中构建地图并定位自身的关键技术，对于机器人导航、三维重建和增强现实等应用至关重要。
[0003]一种常见的SLAM方法是直接对准图像，通过一组选定的像素点并最小化各点间的光度误差，以完成帧到帧的跟踪，这被称为直接法。这种方法的性能取决于光度测量信息的质量和图像匹配的准确性。直接和基于关键帧的方法依靠光流来进行跟踪，因此，对帧与帧之间的位移有严格的限制。为了保持良好的跟踪性能，直接法通常需要较多的关键帧，导致地图尺寸较大，由此带来的大型地图维护问题是机器人项目和长期协作应用中的一大瓶颈。现有工作主要集中在SLAM地图稀疏化的冗余检测方面，但对于环境的结构考虑较少。其他方法则通过保留对地点识别有用的数据和舍弃不影响SLAM性能的信息来处理地图压缩，但修剪过程所需的计算量大，我们希望选择更好的数据进行初步处理。还有一些工作在全球定位系统和模型学习的光流系统方面进行了探索，但这种方法在机器人快速移动的环境中可能并不可靠。进一步地，由于传统的视觉定位与建图方法通常在机器人本地进行计算，但随着机器人任务的复杂性和数据量的增加，局部设备的计算资源限制了系统的性能和扩展性。为了解决这一问题，边云协同（Edge
‑
Cloud Collaboration）的概念被提出，旨在将计算任务分布到边缘设备和云端资源之间，实现计算的协同与优化。然而，在视觉定位与建图中，直接应用传统的边云协同方法存在一些挑战。比如，传统方法通常基于特征点的匹配和描述符进行定位和建图，但对于一些直接法（如LDSO）来说，它们不具备明确的特征点和描述符，导致无法直接应用传统的边云协同方法。

技术实现思路

[0004]本专利技术的目的是提供一种基于机器学习和SLAM的路径规划方法及系统，该方法解决了视觉SLAM直接法预测光流所需关键帧数过多的问题，克服了参考帧候选点选取的准确性以提高图像的跟踪性能问题，提高了系统实时性能，避免了传统SLAM系统的边云协同中通讯要求高、计算负载大的问题。
[0005]一种基于机器学习和SLAM的路径规划方法，包括：使用FlowNetS对采集的图像中的路径点进行光流估计；
根据路径点的光流筛选出候选路径点；判断候选路径点是否满足决策指标，若满足则将候选路径点设为最终路径点，若不满足则重新生成候选路径点；根据最终路径点生成可行路径。
[0006]优选地，还包括：当边端计算机无法判断候选路径点是否满足决策指标时，将候选路径点发送给云端计算机；采用云端计算机辅助判断候选路径点是否满足决策指标；云端计算机将判断后的结果发送至边端计算机。
[0007]优选地，所述使用FlowNetS对采集的图像中的路径点进行光流估计包括：将参考图像和目标图像输入FlowNetS，采用流动矢量估计参考图像和目标图像中像素点的位置，公式如下：其中，是参考图像中的像素位置，对应的坐标为，为的横坐标，为纵坐标；是目标图像中的估计位置，对应的坐标为，为的横坐标，为纵坐标；表示光流向量在水平方向上的分量，即像素点在X轴上的位移量；v表示光流向量在垂直方向上的分量，即像素点在Y轴上的位移量；使用点到点投影来计算运动估计的光度误差，将参考系中的点与目标系中观测到的点的光度误差定义为：其中，表示像素点的权重，用于调整不同像素点对误差的贡献；表示图像的光度仿射变换参数；表示图像的光度仿射变换参数；表示图像的曝光时间；表示图像的曝光时间；表示图像的相机响应函数；表示图像的相机响应函数；：表示在图像中，通过光流场计算得到的处的像素值；：表示在图像中像素点的像素值；通过最小化光度误差得到光流和像素点在目标图像中的位置的估计。
[0008]优选地，最小化光度误差包括：初始化相机位姿估计，设定初始的相机位姿估计值：旋转矩阵R和平移向量t；根据当前相机位姿估计，计算光度误差对相机位姿的雅可比矩阵J，雅可比矩阵J的计算公式为：其中，E表示光度误差，T表示相机位姿，表示光度误差E对相机位姿T的偏
导数；根据雅可比矩阵J和光度误差E，构建增量方程，增量方程的形式为：其中，表示雅可比矩阵J的转置，表示相机位姿的增量；使用数值优化方法求解增量方程，得到相机位姿的增量；将增量应用于当前的相机位姿估计，更新相机位姿：判断相机位姿的变化是否小于设定的阈值，如果满足收敛条件，则停止迭代；否则继续迭代至收敛。
[0009]优选地，根据路径点的光流筛选出候选路径点包括：采用LDSO通过图像梯度来筛选候选路径点。
[0010]优选地，判断候选路径点是否满足决策指标，若满足则将候选路径点设为最终路径点，若不满足则重新生成候选路径点包括：引入决策指标α，其中1<α<2，如果当前帧的光度误差超过前一帧的α倍：则图像对齐失败，采用FlowNetS处理对齐失败的图像，其中表示当前帧的光度误差，表示前一帧的光度误差；如果则通过一组选定的像素点并最小化各个像素点间的光度误差，采用点到点投影方法直接对齐图像。
[0011]优选地，采用云端计算机辅助判断候选路径点是否满足决策指标包括：利用决策指标α进行边端粗跟踪性能的评估，如果图像对齐失败，启动云端计算机进行图像跟踪对齐的同时，边端并行地执行实时图像的跟踪建图；基于相机视角划分子图，其中每个相机视角的帧被划分到一个子图中；构建云端所构建子图与边端所构建子图的数据关联，实现子图对齐，并实现全局跟踪建模；云端计算机接收来自边端计算机的数据后，并行执行FlowNetS光流估计、描述符提取，将优化后的位姿返回给边端计算机，进行边云融合；云端计算机接收到边端计算机传输过来的候选路径点数据后，与云端计算机光流估计得到的像素点进行特征匹配，若匹配成功，则将匹配成功后得到的最终路径点进行压缩后发送给边端计算机。
[0012]一种基于机器学习和SLAM的路径规划系统，包括：路径点处理模块，用于使用FlowNetS对采集的图像中的路径点进行光流估计；路径点筛选模块，用于根据路径点的光流筛选出候选路径点；
判断模块，用于判断候选路径点是否满足决策指标，若满足则将候选路径点设为最终路径点，若不满足则重新生成候选路径点；路径生成模块，用于根据最终路径点生成可行路径。
[0013]本专利技术所提出的基于FlowNetS的光流预测方法，可以得到更精确的光流和像素点位置估计，因而可以减少所选关键帧的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习和SLAM的路径规划方法，其特征在于，包括：使用FlowNetS对采集的图像中的路径点进行光流估计；根据路径点的光流筛选出候选路径点；判断候选路径点是否满足决策指标，若满足则将候选路径点设为最终路径点，若不满足则重新生成候选路径点；根据最终路径点生成可行路径。2.根据权利要求1所述的一种基于机器学习和SLAM的路径规划方法，其特征在于，还包括：当边端计算机无法判断候选路径点是否满足决策指标时，将候选路径点发送给云端计算机；采用云端计算机辅助判断候选路径点是否满足决策指标；云端计算机将判断后的结果发送至边端计算机。3.根据权利要求1所述的一种基于机器学习和SLAM的路径规划方法，其特征在于，所述使用FlowNetS对采集的图像中的路径点进行光流估计包括：将参考图像和目标图像输入FlowNetS，采用流动矢量估计参考图像和目标图像中像素点的位置，公式如下：其中，是参考图像中的像素位置，对应的坐标为，为的横坐标，为纵坐标；是目标图像中的估计位置，对应的坐标为，为的横坐标，为纵坐标；表示光流向量在水平方向上的分量，即像素点在X轴上的位移量；表示光流向量在垂直方向上的分量，即像素点在Y轴上的位移量；使用点到点投影来计算运动估计的光度误差，将参考系中的点与目标系中观测到的点的光度误差定义为：其中，表示像素点的权重，用于调整不同像素点对误差的贡献；表示图像的光度仿射变换参数；表示图像的光度仿射变换参数；表示图像的曝光时间；表示图像的曝光时间；表示图像的相机响应函数；表示图像的相机响应函数；表示在图像中，通过光流场计算得到的处的像素值；表示在图像中像素点的像素值；通过最小化光度误差得到光流和像素点在目标图像中的位置的估计。4.根据权利要求3所述的一种基于机器学习和SLAM的路径规划方法，其特征在于，所述最小化光度误差包括：初始化相机位姿估计，设定初始的相机位姿估计值：旋转矩阵R和平移向量t；
根据当前相机位姿估计，计算光度误差对相机位姿的雅可比矩阵J，雅可比矩阵J的计算公式为：其中，E表示光度误差，T表示相机位姿，表示光度误差E对相机位姿T的偏导数；根据雅可比矩阵J和光度误差E，构建增量方程，增量方程的形式为：其中，表示雅可比矩阵J的转置，表示相机位姿的增量；使...

【专利技术属性】
技术研发人员：陈洪佳，陈炜楠，管贻生，朱蕾，陈世浪，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：