一种数据处理方法、装置制造方法及图纸

本申请提供一种数据处理方法、装置，采用深度神经网络预先构建地点数据库，地点数据库中的关键帧图像的全部特征和局部特征都是利用深度神经网络深度学习得到的，由于在深度神经网络学习中，假设关键帧图像局部特征的描述子存在一定程度光线的变化性，因此，当光线变化较大时，尽管第一图像局部特征的描述子有发生较大变化，也能在地点数据库中准确匹配到关键帧图像。

【技术实现步骤摘要】
一种数据处理方法、装置
本专利技术涉及神经网络
，尤其涉及一种数据处理方法、装置。
技术介绍
对于小型智能机器人来说，视觉重定位技术有着重要作用，重定位是指：在机器人定位失效时，机器人根据离线建立的运行环境的三维地图，进行比对，重新找回当前机器人的位置和姿态，从而保证机器人的正常运行。通常，造成机器人定位失效的原因，一般是在实际运行过程中，由于人为或环境的干扰因素导致。例如：机器人的摄像头被人暂时遮挡造成没有有效视觉信息，机器人被人诱拐或强制移动位置，机器人经过室内外光线强烈变化的场所等。在干扰因素解除后，机器人需要重新计算当前的位置和姿态，并沿着规定的任务路线继续运行。现有的视觉重定位技术多采用传统的局部特征，例如，尺度不变特征转换(Scale-invariantfeaturetransform,SIFT)，但是，当离线地图和真实运行场景的光线差异较大时，使用传统局部特征进行特征匹配和搜索容易引入错误的特征匹配，或正确匹配数量较少，从而降低重定位的精度。
技术实现思路
为了解决上述问题，本专利技术提供一种数据处理方法、装置，利用深度神经网络生成的全局特征进行图像检索，对光线变化具有较好的鲁棒性，同时利用深度神经网络生成局部特征，利用深度学习局部特征，在光线变化情况下获取更多特征点匹配，从而完成对机器人位置和姿态的较精确的估计。本专利技术实施例提供一种数据处理方法，包括：获取第一图像；基于机器学习，对所述第一图像进行处理，得到所述第一图像的全局特征和局部特征；根据所述第一图像的全局特征，查询地点数据库，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像；根据所述关键帧图像和所述第一图像的局部特征，确定所述第一图像对应的定位信息。可选地，所述方法还包括：在采集的运行轨迹周围环境的图像中确定多个关键帧图像以及每个关键帧图像的定位信息；利用机器学习对所述多个关键帧图像进行深度学习，得到每个关键帧图像的全局特征和局部特征；根据每个关键帧图像的局部特征以及定位信息，确定每个关键帧图像上的关键点以及所述关键点的三维点坐标；建立每个关键帧图像的全局特征、局部特征、定位信息、关键点、以及关键点的三维点坐标之间的映射关系；将所述映射关系保存到地点数据库中。可选地，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像，包括：将所述第一图像的全局特征和所述地点数据库中所有的关键帧图像的全局特征进行相似度比较，确定最大相似度的关键帧图像，且所述最大相似度大于预设的相似度阈值，则确定所述最大相似度的关键帧图像为匹配的关键帧图像。可选地，所述方法还包括：根据所述匹配的关键帧图像，在所述地点数据库中，确定其他关键帧图像，所述其他关键帧图像与所述匹配的关键帧图像之间的距离小于预设距离阈值。可选地，根据所述关键帧图像和所述第一图像的局部特征确定所述第一图像的定位信息，包括：将所述第一图像的局部特征中的每个关键点分别与所述其他关键帧图像与所述匹配的关键帧图像的局部特征中的所有关键点进行匹配；在所述其他关键帧图像与所述匹配的关键帧图像的局部特征的所有关键点中确定与所述第一图像的局部特征中的每个关键点匹配的关键点；根据所述匹配的关键点，查询所述地点数据库，获取所述匹配的关键点的三维点坐标；根据所述匹配的关键点的三维点坐标确定所述第一图像的定位信息。可选地，在所述其他关键帧图像与所述匹配的关键帧图像的局部特征的所有关键点中确定与所述第一图像的局部特征中的每个关键点匹配的关键点，包括：确定所述第一图像的局部特征中的每个关键点对应的描述子，以及确定所述其他关键帧图像与所述匹配的关键帧图像的局部特征中每个关键点对应的描述子；分别计算所述第一图像的局部特征中的每个描述子与所述其他关键帧图像与所述匹配的关键帧图像的局部特征中所有描述子之间的距离；在所述其他关键帧图像与所述匹配的关键帧图像的局部特征中所有的描述子中，确定与所述第一图像的局部特征中的每个描述子距离最近的描述子；将每个距离最近的描述子对应的关键点确定为与所述第一图像的局部特征中的对应描述子的关键点匹配的关键点。可选地，所述机器学习包括深度学习；所述定位信息包括位置和/或姿态信息；所述第一图像包括当前拍摄图像；所述局部特征包括深度学习局部特征，表示通过深度学习算法确定的图像中与定位信息相关的关键点和描述子；所述全局特征包括深度学习全局特征，是指通过深度学习算法生成的代表图像定位信息的向量。本申请还提供一种数据处理装置，包括：获取模块，获取第一图像；学习模块，用于基于机器学习，对所述第一图像进行处理，得到所述第一图像的全局特征和局部特征；确定模块，用于根据所述第一图像的全局特征，查询地点数据库，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像；所述确定模块，还用于根据所述关键帧图像和所述第一图像的局部特征确定所述第一图像的定位信息。本申请还提供一种服务器，包括：存储器、处理器以及通信组件；所述存储器，用于存储计算机程序；所述处理器，与所述存储器和所述通信组件耦合，用于执行计算机程序，以用于执行上述数据处理方法所述的步骤或操作。本申请还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时能够实现上述数据处理方法所述的步骤或操作。本专利技术实施例采用深度神经网络预先构建地点数据库，地点数据库中的关键帧图像的全部特征和局部特征都是利用深度神经网络深度学习得到的，由于在深度神经网络学习中，假设关键帧图像局部特征的描述子存在一定程度光线的变化性，因此，当光线变化较大时，尽管第一图像局部特征的描述子有发生较大变化，也能在地点数据库中准确匹配到关键帧图像(也就是说，能准确的重定位地点)，因此，本申请的关键点匹配时不容易受到光照影响，大大提高了第一图像的姿态信息(相机的姿态信息)。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有技术视觉重定位技术方法示意图；图2为本专利技术一实施例提供的数据处理方法的流程示意图；图3为本专利技术实施例中地点数据库建立方法的流程示意图；图4为本专利技术图2所示实施例中步骤203具体实现方法的流程示意图；图5本专利技术一实施例提供的重定位方法的流程框图；图6本专利技术一实施例提供重定位方法的原理框图；图7展示了测试结果K从1到100的结果对比图；图8为传统局部特征SIFT和本申请定位方法在光照变化场景下匹配的鲁棒性的对比示意图；图9本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取第一图像；/n基于机器学习，对所述第一图像进行处理，得到所述第一图像的全局特征和局部特征；/n根据所述第一图像的全局特征，查询地点数据库，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像；/n根据所述关键帧图像和所述第一图像的局部特征，确定所述第一图像对应的定位信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取第一图像；
基于机器学习，对所述第一图像进行处理，得到所述第一图像的全局特征和局部特征；
根据所述第一图像的全局特征，查询地点数据库，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像；
根据所述关键帧图像和所述第一图像的局部特征，确定所述第一图像对应的定位信息。


2.根据权利要求1所述的方法，其特征在于，还包括：
在采集的运行轨迹周围环境的图像中确定多个关键帧图像以及每个关键帧图像的定位信息；
利用机器学习对所述多个关键帧图像进行深度学习，得到每个关键帧图像的全局特征和局部特征；
根据每个关键帧图像的局部特征以及定位信息，确定每个关键帧图像上的关键点以及所述关键点的三维点坐标；
建立每个关键帧图像的全局特征、局部特征、定位信息、关键点、以及关键点的三维点坐标之间的映射关系；
将所述映射关系保存到地点数据库中。


3.根据权利要求2所述的方法，其特征在于，在所述地点数据库中确定与所述第一图像的全局特征匹配的关键帧图像，包括：
将所述第一图像的全局特征和所述地点数据库中所有的关键帧图像的全局特征进行相似度比较，确定最大相似度的关键帧图像，且所述最大相似度大于预设的相似度阈值，则确定所述最大相似度的关键帧图像为匹配的关键帧图像。


4.根据权利要求3所述的方法，其特征在于，还包括：
根据所述匹配的关键帧图像，在所述地点数据库中，确定其他关键帧图像，所述其他关键帧图像与所述匹配的关键帧图像之间的距离小于预设距离阈值。


5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述关键帧图像和所述第一图像的局部特征确定所述第一图像的定位信息，包括：
将所述第一图像的局部特征中的每个关键点分别与所述其他关键帧图像与所述匹配的关键帧图像的局部特征中的所有关键点进行匹配；
在所述其他关键帧图像与所述匹配的关键帧图像的局部特征的所有关键点中确定与所述第一图像的局部特征中的每个关键点匹配的关键点；
根据所述匹配的关键点，查询所述地点数据库，获取所述匹配的关键点的三维点坐标；
根据所述匹配的关键点的三维点坐标确定所述...

【专利技术属性】
技术研发人员：韩煦深，梅佳，胡超，杜承垚，刘宝龙，孙凯，李名杨，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY