一种移动机器人视觉-雷达图像跨模态检索方法技术

本发明专利技术属于机器学习、智能控制领域，提出一种移动机器人视觉‑雷达图像跨模态检索方法。该方法首先让移动机器人获取包含有点云文件和对应图像的训练集和测试集；分别获取训练集的点云特征矩阵和图像特征矩阵，利用聚类典型相关分析对两个特征矩阵降维得到对应的投影向量矩阵；检索时，根据投影向量矩阵获取测试点云降维后的特征向量和降维后的测试集图像特征矩阵，计算两者之间的欧氏距离从而得到与测试点云最相似的图片即为检索结果。本发明专利技术能够实现移动机器人在无法获取图像信息或者采集图像信息受到极大干扰时，通过点云信息检索到与之最相近的图像，弥补了点云在可视化效果上的不足之处。

【技术实现步骤摘要】
一种移动机器人视觉-雷达图像跨模态检索方法
本专利技术属于机器学习、智能控制领域，特别涉及一种移动机器人视觉-雷达图像跨模态检索方法。
技术介绍
近年来，随着传感器技术，控制系统，人工智能的不断发展，移动机器人的发展取得了很大的进步。在军事上，可以将移动机器人作为侦查机器人，它能够自主导航、智能避障，独立完成各种侦查和战斗任务；在科技领域，可以将移动机器人设计为月球无人车，用来完成月球探测、收集、考察和分析样品等复杂任务；在民用上，移动机器人可以应用在无人自主驾驶领域，在自动驾驶和辅助驾驶系统等方面帮助减少交通事故、减少尾气排放等。因此，对于移动机器人的研究具有广泛的科学意义和现实价值；同时，智能化也是新一代汽车技术发展的前沿，已引起国际上的极大关注。移动机器人的感知功能一直是人们所研究关注的重点，而感知功能主要是通过传感器来获取数据然后实现的。传感器是移动机器人不可或缺的重要组成部分，常用的传感器包括摄像头、激光雷达、超声波雷达、GPS和陀螺仪等，其中摄像头和激光雷达是最主要的两种传感器。目前，通过摄像头拍摄图像或视频，再对拍摄的图像或视频进行识别以确定周围环境，是移动机器人的主要感知途径；而通过激光雷达可以获得移动机器人周围物体轮廓边沿与移动机器人的相对距离，这些由激光雷达采集得到的移动机器人周围物体的轮廓信息组成了点云信息，根据点云信息可绘制出3D环境地图，精度最高可达到厘米级别。激光雷达不依赖光照，它的观测视角可以是360°；并且由激光雷达采集得到的点云数据具有由摄像头拍摄的图像所不具备的3D立体信息。在某些极端天气或者夜晚的情况下，摄像头所采集的图像信息会受到极大的干扰，此时雷达的存在便显得十分重要。目前视觉雷达图像跨模态检索领域还无相关成熟技术。聚类典型相关分析(cluster-CCA)是利用综合变量簇之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两簇综合变量，利用这两簇综合变量之间的相关性来反映两组指标之间的整体相关性。它是在典型相关分析(CCA)的基础上演变而来的，目的就是为了解决CCA所不能解决的两组指标之间非一一对应时的一对多或者多对多的子集间的相关关系。目前典型相关分析用的最多的还是文本和图像检索领域，但是随着科学技术的发展和媒体信息的不断增多，典型相关分析必然会在更多模态信息间发挥作用，实现更多领域的跨模态检索。
技术实现思路
本专利技术的目的是为了解决在夜晚或者极端天气的情况下，移动机器人通过摄像头获取图像会受到干扰而无法准确获取周围环境信息的不足之处，提出一种移动机器人视觉-雷达图像跨模态检索方法。本专利技术能够实现在无法获取图像信息或者采集图像信息受到极大干扰时，通过点云信息检索到与之最相近的图像，弥补了点云在可视化效果上的不足之处，可应用在移动机器人领域，使移动机器人获得更加丰富的对环境信息。本专利技术提出一种移动机器人视觉-雷达图像跨模态检索方法，其特征在于，包括以下步骤：(1)移动机器人获取不同场景下包含有点云文件和对应图像的轨迹集合，从轨迹集合中分别选取训练集和测试集，分别将训练集和测试集中的点云文件和图像进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1-1)获取不同场景下包含有点云文件和对应图像信息的轨迹集合；具体方法如下：在移动机器人上分别安装激光雷达、摄像机和GPS；设定A种不同场景，在每种场景下，令移动机器人以设定时速在该场景中行进，激光雷达持续360度扫描周围环境采集行进过程中每个地点对应的点云文件，摄像机实时拍摄采集行进过程中每个地点相应的图像，GPS记录点云文件和图像采集的地点和时间信息，每次采集时长为5-10分钟，得到该场景下的一条轨迹；在每种场景下获取5-10条不同轨迹，将所有场景下获取的轨迹组成轨迹集合；(1-2)从步骤(1-1)的轨迹集合中分别选取训练集和测试集，将训练集和测试集中的点云和图像信息进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1-2-1)从步骤(1-1)获取的轨迹集合中随机选择同一场景下的两条轨迹，将其中一条轨迹作为训练集，另一条轨迹作为测试集；(1-2-2)对训练集中的点云文件和图像根据该轨迹采集时获取的GPS信息的对应关系进行配对，并把配对后的点云文件和图像创建对应标签；(1-2-3)重复步骤(1-2-2)，对测试集中的点云文件和图像进行配对并创建对应标签，并将测试集中的所有图像作为检索库；(2)对训练集点云文件中的点云数据进行预处理，然后建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2-1)对训练集中的每个点云文件的点云数据进行降采样，然后使用正态标准化方法将降采样后的点云数据归一化；(2-2)建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2-2-1)构建点云深度学习网络；(2-2-2)利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；点云深度学习网络的输入为单个点云文件，输出为输入点云文件对应的一个1024维特征向量；令训练集包含N个点云文件，将N个点云文件依次输入点云深度学习网络，网络输出每个点云文件对应的1024维特征向量，共得到N个1024维特征向量；将训练集每个点云文件对应的1024维特征向量，按照对应点云文件采集的先后顺序组合，最终得到一个Nx1024维的点云特征矩阵，记为训练集的点云特征矩阵X；(3)对训练集中的图像进行预处理，然后建立图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下；(3-1)对训练集的所有图像进行预处理，将训练集每张图像下采样至227x227；(3-2)构建图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下：(3-2-1)构建图像卷积神经网络；(3-2-2)利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的点云特征矩阵；图像卷积神经网络的输入是大小为227x227x3的一张训练集的图像，输出为输入图像对应的一个4096维的特征向量；令训练集包含M张图像，依次将M张图像输入图像卷积神经网络，网络输出每张图像对应的4096维特征向量，共得到M个4096维特征向量；将训练集每张图像对应的4096维特征向量，按照和步骤(2-2-3)的点云特征矩阵中点云数据对应的顺序进行组合，最终得到一个Mx4096维的图像特征矩阵，记为训练集的图像特征矩阵Y；(4)利用聚类典型相关分析对步骤(2)得到的训练集的点云特征矩阵和步骤(3)得到的训练集的图像特征矩阵进行降维处理，分别得到两个矩阵对应的投影向量矩阵；具体方法如下：将X和Y表示为各自特征的线性组合：U＝XaV＝Yb其中，U为降维后的训练集的点云特征矩阵，V为降维后的训练集的图像特征矩阵；a为训练集的点云特征矩阵对应的投影向量矩阵；b为训练集的图像特征矩阵对应的投影向量矩阵；X和Y的协方差矩阵为：其中表示成对对应的总数，C表示的是训练集点云文件和图像配对本文档来自技高网...

【技术保护点】
1.一种移动机器人视觉‑雷达图像跨模态检索方法，其特征在于，包括以下步骤：(1)移动机器人获取不同场景下包含有点云文件和对应图像的轨迹集合，从轨迹集合中分别选取训练集和测试集，分别将训练集和测试集中的点云文件和图像进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1‑1)获取不同场景下包含有点云文件和对应图像信息的轨迹集合；具体方法如下：在移动机器人上分别安装激光雷达、摄像机和GPS；设定A种不同场景，在每种场景下，令移动机器人以设定时速在该场景中行进，激光雷达持续360度扫描周围环境采集行进过程中每个地点对应的点云文件，摄像机实时拍摄采集行进过程中每个地点相应的图像，GPS记录点云文件和图像采集的地点和时间信息，每次采集时长为5‑10分钟，得到该场景下的一条轨迹；在每种场景下获取5‑10条不同轨迹，将所有场景下获取的轨迹组成轨迹集合；(1‑2)从步骤(1‑1)的轨迹集合中分别选取训练集和测试集，将训练集和测试集中的点云和图像信息进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1‑2‑1)从步骤(1‑1)获取的轨迹集合中随机选择同一场景下的两条轨迹，将其中一条轨迹作为训练集，另一条轨迹作为测试集；(1‑2‑2)对训练集中的点云文件和图像根据该轨迹采集时获取的GPS信息的对应关系进行配对，并把配对后的点云文件和图像创建对应标签；(1‑2‑3)重复步骤(1‑2‑2)，对测试集中的点云文件和图像进行配对并创建对应标签，并将测试集中的所有图像作为检索库；(2)对训练集点云文件中的点云数据进行预处理，然后建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2‑1)对训练集中的每个点云文件的点云数据进行降采样，然后使用正态标准化方法将降采样后的点云数据归一化；(2‑2)建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2‑2‑1)构建点云深度学习网络；(2‑2‑2)利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；点云深度学习网络的输入为单个点云文件，输出为输入点云文件对应的一个1024维特征向量；令训练集包含N个点云文件，将N个点云文件依次输入点云深度学习网络，网络输出每个点云文件对应的1024维特征向量，共得到N个1024维特征向量；将训练集每个点云文件对应的1024维特征向量，按照对应点云文件采集的先后顺序组合，最终得到一个N x1024维的点云特征矩阵，记为训练集的点云特征矩阵X；(3)对训练集中的图像进行预处理，然后建立图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下；(3‑1)对训练集的所有图像进行预处理，将训练集每张图像下采样至227x 227；(3‑2)构建图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下：(3‑2‑1)构建图像卷积神经网络；(3‑2‑2)利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的点云特征矩阵；图像卷积神经网络的输入是大小为227x 227x 3的一张训练集的图像，输出为输入图像对应的一个4096维的特征向量；令训练集包含M张图像，依次将M张图像输入图像卷积神经网络，网络输出每张图像对应的4096维特征向量，共得到M个4096维特征向量；将训练集每张图像对应的4096维特征向量，按照和步骤(2‑2‑3)的点云特征矩阵中点云数据对应的顺序进行组合，最终得到一个M x4096维的图像特征矩阵，记为训练集的图像特征矩阵Y；(4)利用聚类典型相关分析对步骤(2)得到的训练集的点云特征矩阵和步骤(3)得到的训练集的图像特征矩阵进行降维处理，分别得到两个矩阵对应的投影向量矩阵；具体方法如下：将X和Y表示为各自特征的线性组合：U＝XaV＝Yb其中，U为降维后的训练集的点云特征矩阵，V为降维后的训练集的图像特征矩阵；a为训练集的点云特征矩阵对应的投影向量矩阵；b为训练集的图像特征矩阵对应的投影向量矩阵；X和Y的协方差矩阵为：...

【技术特征摘要】
1.一种移动机器人视觉-雷达图像跨模态检索方法，其特征在于，包括以下步骤：(1)移动机器人获取不同场景下包含有点云文件和对应图像的轨迹集合，从轨迹集合中分别选取训练集和测试集，分别将训练集和测试集中的点云文件和图像进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1-1)获取不同场景下包含有点云文件和对应图像信息的轨迹集合；具体方法如下：在移动机器人上分别安装激光雷达、摄像机和GPS；设定A种不同场景，在每种场景下，令移动机器人以设定时速在该场景中行进，激光雷达持续360度扫描周围环境采集行进过程中每个地点对应的点云文件，摄像机实时拍摄采集行进过程中每个地点相应的图像，GPS记录点云文件和图像采集的地点和时间信息，每次采集时长为5-10分钟，得到该场景下的一条轨迹；在每种场景下获取5-10条不同轨迹，将所有场景下获取的轨迹组成轨迹集合；(1-2)从步骤(1-1)的轨迹集合中分别选取训练集和测试集，将训练集和测试集中的点云和图像信息进行配对并创建标签，并将测试集中的所有图像作为检索库；具体步骤如下：(1-2-1)从步骤(1-1)获取的轨迹集合中随机选择同一场景下的两条轨迹，将其中一条轨迹作为训练集，另一条轨迹作为测试集；(1-2-2)对训练集中的点云文件和图像根据该轨迹采集时获取的GPS信息的对应关系进行配对，并把配对后的点云文件和图像创建对应标签；(1-2-3)重复步骤(1-2-2)，对测试集中的点云文件和图像进行配对并创建对应标签，并将测试集中的所有图像作为检索库；(2)对训练集点云文件中的点云数据进行预处理，然后建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2-1)对训练集中的每个点云文件的点云数据进行降采样，然后使用正态标准化方法将降采样后的点云数据归一化；(2-2)建立点云深度学习网络，利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；具体步骤如下：(2-2-1)构建点云深度学习网络；(2-2-2)利用点云深度学习网络提取训练集点云数据的特征，得到训练集的点云特征矩阵；点云深度学习网络的输入为单个点云文件，输出为输入点云文件对应的一个1024维特征向量；令训练集包含N个点云文件，将N个点云文件依次输入点云深度学习网络，网络输出每个点云文件对应的1024维特征向量，共得到N个1024维特征向量；将训练集每个点云文件对应的1024维特征向量，按照对应点云文件采集的先后顺序组合，最终得到一个Nx1024维的点云特征矩阵，记为训练集的点云特征矩阵X；(3)对训练集中的图像进行预处理，然后建立图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下；(3-1)对训练集的所有图像进行预处理，将训练集每张图像下采样至227x227；(3-2)构建图像卷积神经网络，利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的图像特征矩阵；具体步骤如下：(3-2-1)构建图像卷积神经网络；(3-2-2)利用图像卷积神经网络提取训练集每张图像的特征，得到训练集的点云特征矩阵；图像卷积神经网络的输入是大小为227x227x3的一张训练集的图像，输出为输入图像对应的一个4096维的特征...

【专利技术属性】
技术研发人员：刘华平，张凯，邓晓燕，孙富春，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11