一种全天候未知环境无人自主工作平台制造技术

本发明专利技术公开了一种基于全天候未知环境无人自主工作平台，属于人工智能和视觉导航领域；包括立体视觉定位、红外可见光融合、图像识别、地图构建和回环与返程检测五个模块，视觉定位与图像识别模块共用图卷积神经网络框架，视觉定位选取关键帧进行特征匹配与视觉定位，图像识别针对点云局部地图进行语义分类，地图构建模块进行点云拼接形成全局深度稠密语义地图。本发明专利技术引入深度神经网络提高特征提取效果节省提取时间；采用单目视觉测距，节省多目视差配准时间；进行多光谱融合关键帧图像，实现全天候高效工作，提高被遮目标检出率。

An all-weather unknown environment unmanned autonomous working platform

【技术实现步骤摘要】
一种全天候未知环境无人自主工作平台
本专利技术涉及人工智能和视觉导航
，特别涉及一种基于V-SLAM(立体视觉实时定位与建图)与多光谱图像融合技术的全天候未知环境无人自主工作平台。
技术介绍
针对震后灾区、火灾现场等地理环境短时间内发生极大变化的复杂未知环境，目前并没有高效的搜救和地图构建设备。针对上述情形，当前地图构建工作主要采用直升机和卫星定位系统协调进行。其中，直升机方案机动性较差、搜索成本高，并且需要地面基站实时规划路径；而卫星建图方式数据量庞大，计算成本高，更适合灾后重建工作。因此，地图未完善前往往需要人力操控无人机进行地形测绘，而人力操控方式受限于于自主性水平和反应速度，只能低空飞行；另外人工操控需要投入大量人力资源，难以满足应急需求。除建图问题外，受灾群众及重要物资搜救工作也很难有效开展。直升机受外形限制和未知环境复杂度影响，很难在震区及火灾现场发挥有效的搜救作用；而卫星地图有效分辨距离在5米左右，无法定位较小目标。现有无人机设备很难实现有效避障和实时路径规划，只能在中低空巡航测绘，难以实现搜救功能。为应对上述情况，国内无人机公司研制了多种半自主甚至全自主式无人机；按传感器类型在市场上主要分为两类：一类是纯立体视觉方案，前端用视觉传感器结合IMU惯性导航单元进行位置和姿态推算，后端利用“加强卡尔曼滤波器”等非线性优化公式或G2O等图优化方式进行位姿推算结果优化。视觉方案依据图像传感器数目又可分为单目立体视觉、双目立体视觉和多目立体视觉方案；另一类是通过立体视觉获取纹理、轮廓图像和深度估计，激光传感器获得图像更精确深度信息，将两者结合得到深度视觉图像，建立3D环境模型实现路径规划与地图构建。上述两种方案均利用视觉传感器进行信息位置与姿态(以下称“位姿”)计算，后端进行位姿信息的非线性优化或图优化；方案优点在于用简单的结构达到较好功能值得肯定，缺点在于：纯视觉方案中单目视觉往往丢失深度信息，双目及多目视觉方案花费过多时间和计算成本在镜头配准；而激光方案成本过高，很难实现设备小型化；同时现存方案在夜间及大雾、烟幕下成像质量差，环境适应能力低下。最重要的是，现有产品无法实现机器学习与场景记忆，每次工作过程需要大量重复的位姿解算步骤，且不具备物体识别与语义地图构建功能。
技术实现思路
本专利技术为解决上述
技术介绍
中，未知环境探测和灾区搜救工具存在精度差、自主性不足、环境适应性差这些缺陷，提供一种基于V-SLAM技术与多光谱图像融合技术的全天候未知环境无人自主工作平台，具体形式可以为无人机、无人探测车或探测机器人。一种全天候未知环境无人自主工作平台，包括视觉定位模块、多光谱图像融模块、图像识别模块、地图构建模块和回环与返程检测模块；所述视觉定位模块利用图卷积神经网络在视频流中选取关键帧，生成二进制特征描述符并进行位姿计算；所述地图绘制模块接收来自视觉定位模块稀疏特征点云数据并进行局部地图绘制；所述多光谱图像对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制；所述地图构建模块不断进行点云拼接，并将地图进行反向回环推算；所述回环与返程检测模块保证无人机按原路返程。进一步地，所述多光谱图像融合模块中采用基于仿生学原理的多孔径镜头，包括：可见光主镜头，用于日间单目视觉定位；近红外主镜头，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头，用于日间扩展可见光主镜头视场；近红外副镜头，用于夜间扩展近红外主镜头视场信息；远红外镜头，用于探测热源中心和寻找被遮盖目标。进一步地，所述视觉定位模块，基于V-SLAM框架，其前端部分由图卷积神经网络进行图像序列关键帧的选择和标记；所述图卷积神经网络含有全卷积神经网络和一个双向卷积网络；图卷积神经网络采用自适应阈值方法将图卷积神经网络每个特征映射构建为二进制数据，关键帧选取可以看作二进制分类问题，所述自适应阈值Tre的取值公式为：上述公式中阈值记作Tre，s为映射个数，f(x)为二维点坐标x＝(u,v)在卷积层的特征映射，Fs(x)是s个坐标映射值的总和，t为自定参数；关键帧首先用于位姿结算，其次输入图像深度神经网络用于恢复单目视觉深度，构造深度稠密局部点云地图。进一步地，所述视觉定位模块针对普通环境仅使用第一图卷积通道；针对有遮盖物环境，设置孪生卷积神经网络：第一通道为普通可见光或普通红外通道，日间只接受来自可见光主镜头、夜间只接收近红外主镜头的信息，进行单目立体视觉位姿推算并构建全卷积神经网络，获取单目深度恢复图像；同时第二通道接受来自图像融合模块传递的多光谱图像无视遮盖物影响，寻找目标物体；所述多光谱图像日间为可见光副镜头、远红外镜头、近红外主镜头的融合图像，夜间为远红外镜头、近红外主镜头、近红外副镜头的融合图像，且第二通道在发现目标物体前不用于定位、不设置depth神经网络进行单目图像深度恢复，只进行图像识别以寻找被遮盖目标；发现被遮盖目标后，第一通道关闭，开启第二通道，利用多光谱图像进行多目视觉位姿计算，无人平台停止探测围绕目标四周进行运动，提高该关键区域地图稠密程度；所述视觉定位模块开始工作后，回环检测即开始路径闭环推算。进一步地，所述地图构建模块接收来自视觉定位模块的特征点云，利用点云拼接技术构建稠密点云地图并利用束调整实现重投影误差最小化；所述图像识别模块接收局部稠密点云地图，利用半监督式图卷积神经网络进行周围环境的多目标聚类分析，进一步进行语义分割并构造稠密深度语义地图，并从当前位姿结合稠密地图反向推算验证回环闭合性。进一步地，所述地图构建模块采用分层抽取特征的方法进行点云拼接，抽取结构分为三部分：采样层、分组层、特征提取层；采样层采用最远点采样法：先在点云数据流中抽取N个随机点云，接着在其中任意选取一点Ni，将该点作为起点，寻找其最远点Ni+1，依次进行迭代；按遗传算法将迭代进行变异处理；分组层在采样层提取出的中心点的自定范围内寻找最近个S近邻点组成补丁；特征提取层将这S个点通过小型点云卷积网络进行卷积和池化得到的特征作为此中心点的特征，再送入下一个分层继续。进一步地，所述回环与返程检测模块将地图提取描述符按时间戳与当前环境进行相似性计算；保证未知环境下无人平台完成巡航任务后快速原路返程。进一步地，所述多光谱图像融合模块应用于日间无遮挡、日间有遮挡及夜间环境，机动采取不同融合方式。基于Resnet-50模型设计深度卷积神经网络进行多光谱图像融合。同时训练人类与动物体温数据集和目标设备温度峰值数据集，通过多光谱图像建立温度映射，计算当前目标的温度信息，判断是否值得营救。本专利技术的有益效果：本专利技术通过改进图卷积神经网络结构生成视频流中关键帧的特征描述符，将描述符取自适应阈值进行二值化处理，加快特征提取速度并改善提取质量本文档来自技高网...

【技术保护点】
1.一种全天候未知环境无人自主工作平台，其特征在于，包括视觉定位模块、多光谱图像融合模块、图像识别模块、地图构建模块和回环与返程检测模块；所述视觉定位模块利用图卷积神经网络在视频流中选取关键帧，生成二进制特征描述符并进行位姿计算；所述地图绘制模块接收来自视觉定位模块稀疏特征点云数据并进行局部地图绘制；所述多光谱图像融合模块对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制；所述地图构建模块不断进行点云拼接，并将地图进行反向回环推算；所述回环与返程检测模块保证无人机按原路返程。/n

【技术特征摘要】
1.一种全天候未知环境无人自主工作平台，其特征在于，包括视觉定位模块、多光谱图像融合模块、图像识别模块、地图构建模块和回环与返程检测模块；所述视觉定位模块利用图卷积神经网络在视频流中选取关键帧，生成二进制特征描述符并进行位姿计算；所述地图绘制模块接收来自视觉定位模块稀疏特征点云数据并进行局部地图绘制；所述多光谱图像融合模块对关键帧进行图像融合传送给图像识别模块，所述的图像识别模块对多光谱融合图像进行分类，寻找目标对象并进行语义地图构建；找到目标对象后，所述图像识别模块发送信息给视觉定位模块，对目标对象周边环境进行多目立体视觉测距和更稠密的点云地图绘制；所述地图构建模块不断进行点云拼接，并将地图进行反向回环推算；所述回环与返程检测模块保证无人机按原路返程。


2.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述多光谱图像融合模块中采用基于仿生学原理的多孔径镜头，包括：可见光主镜头，用于日间单目视觉定位；近红外主镜头，用于夜间单目视觉定位和日间寻找被遮盖目标；可见光副镜头，用于日间扩展可见光主镜头视场；近红外副镜头，用于夜间扩展近红外主镜头视场信息；远红外镜头，用于探测热源中心和寻找被遮盖目标。


3.如权利要求1所述的一种全天候未知环境无人自主工作平台，其特征在于，所述视觉定位模块，基于V-SLAM框架，其前端部分由图卷积神经网络进行图像序列关键帧的选择和标记；
所述图卷积神经网络含有全卷积神经网络和一个双向卷积网络；
图卷积神经网络采用自适应阈值方法将图卷积神经网络每个特征映射构建为二进制数据，关键帧选取可以看作二进制分类问题，所述自适应阈值Tre的取值公式为：



上述公式中阈值记作Tre，s为映射个数，f(x)为二维点坐标x＝(u,v)在卷积层的特征映射，Fs(x)是s个坐标映射值的总和，t为自定参数；
关键帧首先用于位姿结算，其次输入图像深度神经网络用于恢复单目视觉深度，构造深度稠密局部点云地图。


4.如权利要求2所述的一种全天候未知环境无人自主工作平台，其特征在于，所述视觉定位模块，针对普通环境仅使用第一图卷积通道；...

【专利技术属性】
技术研发人员：张旺，黄康，齐昊罡，蔡炜烔，赵风尚，夏希林，郭相坤，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22