可进行二维动态检测和三维重建的环境感知方法与系统技术方案

本发明专利技术涉及可进行二维动态检测和三维重建的环境感知方法与系统，将双目相机采集的图像分别输入增加树形特征融合模块的改进YOLOv3网络与加入带色彩恢复的多尺度视网膜增强算法和关键帧筛选机制的优化RTAB

【技术实现步骤摘要】
可进行二维动态检测和三维重建的环境感知方法与系统


[0001]本专利技术专利属于环境感知
，具体涉及可进行二维动态检测和三维重建的环境感知方法与系统。

技术介绍

[0002]近年来，随着我国社会经济的逐步转型，以智能移动机器人为代表的现代智能制造行业依托国家红利得到了深远的布局和快速的发展。智能移动机器人在制造业、服务业、食品医药业、特种行业等均已逐步取代传统人工，节省了大量费用成本并提高了产品的现代化生产能力。当前在制造业中，移动机器人可以对生产物料、下线产品等进行搬送运输，尤其面对高温、高腐蚀性、高危险性等特殊制造环境，移动机器人往往可以承担人工无法完成的工作。如何保证移动机器人对工作环境高精度理解与感知是其能在制造业中应用的前提和难点，并且目前机器人对复杂环境的理解与感知能力相对不足，无法获得更丰富的环境信息去完成更精准的任务。其中运动目标检测与场景重建是环境感知任务中最重要的子问题，不仅是视频监控和三维地图构建的关键技术，同时也是实时导航避障与路径规划的基础，对扩展移动机器人的工作领域、提高工作效率具有重要意义。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.可进行二维动态检测和三维重建的环境感知方法，其特征在于，具体包括一下步骤：S1、先进行图像采集，以繁杂室内背景下，不同远近、姿态和重叠遮挡的各状态的人为检测目标进行图像采集；S2、将图像分别输入运动目标检测模块与vSLAM前后端优化模块中；S201、所述的运动目标检测模块，以繁杂室内背景下，不同远近、姿态和重叠遮挡的各状态的人为检测目标，将YOLOv3网络作为基本框架，针对原网络对运动目标不敏感、感受野较小、小目标检测精度低等问题，在其骨干网络添加以不同大小卷积核为构成的TFA结构与之前预测层结果融合得到不同细致程度的网格目标检测层来提高不同尺度动态行人的检测准确率，为后续滤除场景中的先验动态对象，构建无动态对象干扰的静态稠密点云地图打下基础；S202、所述的vSLAM前后端优化模块，可使用带色彩恢复的多尺度视网膜增强算法MSRCR和基于特征相关性的关键帧筛选机制分别对RTAB
‑
MAP算法前后端改进，通过增强输入图像的质量与优化筛选机制来获得结构清晰、全局一致的高精度三维场景地图；S3、运行结果在机器人可视化平台实时显示，从而进行多维度环境感知。2.根据权利要求1所述的可进行二维动态检测和三维重建的环境感知方法，其特征在于：所述的S201中的YOLOv3网络改进方法具体包括：改进算法将原主干网络获取的特征图输入TFA，通过提取多尺度目标进行叠加扩展来扩大感受野，提高对场景中小目标检测的准确度；首先复制特征图作为两分支输入，其中一个分支保持原特征，另一分支用1
×
1、3
×
3及5
×
5卷积核获得不同特征尺度，在每层卷积运算后分别经过批处理标准化与ReLU层处理，层层获取不同尺度的特征图，然后通过级联将输出特征图与前级输出叠加，其展开式与叠加规则为：O
n
＝f
n
(O
n
‑
1)
ꢀꢀꢀꢀ
(1)R
n
(t)＝z(R
n
‑1(t),O
n
)
ꢀꢀꢀꢀ
(2)式中：o
n
为第n步操作输出；f
n
为第n步卷积；R
n
为第n步后TFA的结果；t为输入特征；z为特征融合；优化后的网络结构分别在原网络52
×
52、26
×
26输出特征图前引入TFA，三层不同大小卷积核构成的树状结构层层递进学习前层提取的特征，通过提取更多的语义特征，会比原网络独立多分支并行结构的检测效果更优，有利于复杂室内环境下多尺度动态目标的检测；改进后的网络会分析每个预测层的特征生成不同大小的预测框，在训练时不断获取不同尺寸的细节特征图，将各特征图叠加融合，最终输出恰当的预测结果；运动目标定位依据双目系统测距原理，两针孔相机水平放置且光心均在X轴，基线b为相机光心距离，空间点P的成像点为PL、PR，两光圈左右两侧坐标点为WL，
‑
WR；根据三角形相似原理
△
PPLPR∽
△
POLOR：整理得：
式中：d＝WL
‑
WR为视差；l为相机与物体的距离；通过改进的目标检测算法得到行人在图像的位置，结合对应SDK工具包与API在OpenCV中获取动态目标像素点位置，利用欧氏测距公式计算行人对于相机的距离。3.根据权利要求1所述...

【专利技术属性】
技术研发人员：米曾真，赵珊珊，居本祥，丛超，高严，黄崇华，徐星元，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：