基于深度学习的智能机器人控制方法及系统技术方案

本发明专利技术涉及智能机器人控制分析技术领域，具体公开了基于深度学习的智能机器人控制方法及系统，包括图像数据特征分析模块、视频数据特征分析模块、视觉特征向量分析模块、内部传感器数据分析模块、外部定位数据分析模块和位姿状态控制分析模块。通过激光雷达点云数据，经体素滤波、特征点提取和匹配、位姿图构建与优化等操作，可实现高精度定位和地图构建；基于卡尔曼滤波融合内外部传感器数据，综合考虑位置、姿态和速度信息，能充分发挥各传感器优势，有效处理噪声和不确定性，不断优化机器人的位置和姿态估计，实现高精度的定位、姿态控制和运动规划，提高机器人在复杂环境下的自主性、适应性和任务执行能力。

【技术实现步骤摘要】

本专利技术涉及智能机器人控制分析，具体是指基于深度学习的智能机器人控制方法及系统。

技术介绍

1、随着科技的不断发展，智能机器人在众多领域得到了广泛应用，如工业生产、物流配送、医疗服务等。在这些应用场景中，机器人需要具备高精度的环境感知、准确的目标识别与追踪以及精确的操作控制能力。然而，复杂多变的现实环境给智能机器人的控制带来了巨大挑战。传统的机器人控制方法往往依赖于单一类型的传感器数据，难以满足在复杂环境下对机器人自主性和适应性的要求。例如，仅依靠内部传感器可能会因累积误差导致定位和姿态估计不准确，而仅依赖外部传感器可能存在数据处理延迟和对环境变化适应性不足的问题。因此，开发一种能够综合多源数据进行有效控制的方法成为智能机器人发展的关键需求。

2、目前，在智能机器人的视觉感知方面，虽然已有基于深度学习的目标检测算法如yolo和fasterr-cnn被应用，但这些算法大多仅关注于图像层面的目标识别，对于如何充分利用视频数据中的动态信息以及如何将图像和视频数据有效融合以提升机器人对环境的综合感知能力，还存在一定的改进空间。在机器人的定位和姿态估计本文档来自技高网...

【技术保护点】

1.基于深度学习的智能机器人控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的智能机器人控制方法，其特征在于：所述步骤一具体为：通过采用基于深度学习的目标检测算法对图像中目标物体进行图像识别，接着将识别的图像输入到视觉特征分析模块中，将输入图像划分成若干个区域，同时计算每个区域内像素的平均值、最大值和最小值，由每个区域内像素的平均值、最大值和最小值组成每个区域的特征向量，最后将若干个区域的特征向量进行拼接，得到一个图像特征向量，目标检测算法可以选用YOLO或FasterR-CNN。

3.根据权利要求1所述的基于深度学习的智能机器人控制方法...

【技术特征摘要】

1.基于深度学习的智能机器人控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的智能机器人控制方法，其特征在于：所述步骤一具体为：通过采用基于深度学习的目标检测算法对图像中目标物体进行图像识别，接着将识别的图像输入到视觉特征分析模块中，将输入图像划分成若干个区域，同时计算每个区域内像素的平均值、最大值和最小值，由每个区域内像素的平均值、最大值和最小值组成每个区域的特征向量，最后将若干个区域的特征向量进行拼接，得到一个图像特征向量，目标检测算法可以选用yolo或fasterr-cnn。

3.根据权利要求1所述的基于深度学习的智能机器人控制方法，其特征在于：所述步骤二具体为：通过采用光流算法对视频数据中的每一帧对进行光流场的计算，再将光流场划分成若干个区域，在每个区域内计算光流向量的均值和标准差，得到一个区域光流特征向量，最后对视频数据中的若干个帧的区域光流特征向量进行时间池化，得到一个视频特征向量；光流场是一个二维向量场，表示图像中每个像素点的运动速度和方向，对视频数据中的若干个帧的区域光流特征向量进行时间池化可以是最大池化或平均池化。

4.根据权利要求1所述的基于深度学习的智能机器人控制方法，其特征在于：所述步骤三具体为：通过构建一个注意力机制模块，向注意力机制模块中输入图像特征向量和视频特征向量，通过一个共享的全连接层将图像特征向量和视频特征向量映射到一个中间表示空间，得到图像特征映射向量和视频特征映射向量，分别记为fi和fv，最后通过公式st＝w1*fi+w2*fv计算出综合视觉特征向量st，其中w1和w2分别表示图像特征映射向量和视频特征映射向量对应的权重系数，w1和w2均通过使用soft-max函数进行计算，具体为其中s(·)表示...

【专利技术属性】
技术研发人员：朱雪枫，张聿博，王黎明，王洪江，代钦，戢帅，
申请(专利权)人：沈阳工程学院，
类型：发明
国别省市：