视觉识别障碍物检测方法、装置、设备及存储介质制造方法及图纸

技术编号:44001882 阅读:23 留言:0更新日期:2025-01-10 20:18
本申请涉及视觉识别技术领域,公开了一种视觉识别障碍物检测方法、装置、设备及存储介质,该方法包括:对代步机器人中视觉摄像头采集的图像数据和激光雷达采集的点云数据进行时间对齐和空间配准,得到多模态数据流;将多模态数据流输入递归门控深度卷积神经网络进行特征提取,得到时序多模态融合特征;计算模态间相关性矩阵,并构建三维体素网格,得到三维环境表示;对三维环境表示进行两阶段检测,得到综合障碍物表示;根据综合障碍物表示进行环境复杂度评估,并生成自适应实时避障控制策略;将自适应实时避障控制策略转化为最优控制问题,并进行滚动时域优化,得到最优避障控制序列,进而提高了障碍物检测的准确性。

【技术实现步骤摘要】

本申请涉及视觉识别,尤其涉及一种视觉识别障碍物检测方法、装置、设备及存储介质


技术介绍

1、代步机器人需要具备精确的环境感知和障碍物检测能力,以确保的安全使用。传统的单一传感器障碍物检测方法在复杂的室内外环境中面临诸多挑战,难以满足高精度、实时性的需求。

2、在动态环境中,如何准确区分静态和动态障碍物,并预测其运动轨迹,对于实现安全可靠的避障控制至关重要。考虑到辅助代步机器人的特殊使用场景,如何在保证检测精度的同时,兼顾计算效率和能源消耗,实现自适应的实时控制,是亟需解决的问题。


技术实现思路

1、本申请提供了一种视觉识别障碍物检测方法、装置、设备及存储介质,进而提高了障碍物检测的准确性。

2、本申请第一方面提供了一种视觉识别障碍物检测方法,所述视觉识别障碍物检测方法包括:

3、对代步机器人中视觉摄像头采集的图像数据和激光雷达采集的点云数据进行时间对齐和空间配准,得到多模态数据流;

4、将所述多模态数据流输入递归门控深度卷积神经网络进行特征提取,得到时序多模态本文档来自技高网...

【技术保护点】

1.一种视觉识别障碍物检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视觉识别障碍物检测方法,其特征在于,所述对代步机器人中视觉摄像头采集的图像数据和激光雷达采集的点云数据进行时间对齐和空间配准,得到多模态数据流,包括:

3.根据权利要求2所述的视觉识别障碍物检测方法,其特征在于,所述将所述多模态数据流输入递归门控深度卷积神经网络进行特征提取,得到时序多模态融合特征,包括:

4.根据权利要求3所述的视觉识别障碍物检测方法,其特征在于,所述基于所述时序多模态融合特征,计算模态间相关性矩阵,并构建三维体素网格,得到三维环境表示,包括:

...

【技术特征摘要】

1.一种视觉识别障碍物检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视觉识别障碍物检测方法,其特征在于,所述对代步机器人中视觉摄像头采集的图像数据和激光雷达采集的点云数据进行时间对齐和空间配准,得到多模态数据流,包括:

3.根据权利要求2所述的视觉识别障碍物检测方法,其特征在于,所述将所述多模态数据流输入递归门控深度卷积神经网络进行特征提取,得到时序多模态融合特征,包括:

4.根据权利要求3所述的视觉识别障碍物检测方法,其特征在于,所述基于所述时序多模态融合特征,计算模态间相关性矩阵,并构建三维体素网格,得到三维环境表示,包括:

5.根据权利要求4所述的视觉识别障碍物检测方法,其特征在于,所述对所述三维环境表示进行两阶段检测,得到综合障碍物表示,包括:

6.根...

【专利技术属性】
技术研发人员:邹元华邹佳轩于明韩彰秀汪智勇胡琴尹楷然
申请(专利权)人:深圳市万德昌创新智能有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1