一种可变场景下多设备的视觉导航方法及系统技术方案

本发明专利技术的一种可变场景下多设备的视觉导航方法及系统，一方面通过多台设备连续拍摄场景图像，获取图像的数据化特征信息，并从中提取关键帧的数据化特征信息发送给服务器端(或云端)，另一方面服务器端(或云端)将最新获取的关键帧数据化特征信息填补场景的空白空间，以完成场景的导航数据的扩充；或者在加入最新获取的数据化特征信息后，替换区域内已有数据中最不相似的数据化特征信息以完成场景的导航数据的更新，最后服务器将校准更新过的数据化特征信息分发给每台终端设备，保证了导航数据的实时更新，实现集群化的自主导航。

A multi device vision navigation method and system in variable scenarios

The present invention is a visual navigation method and system for multi device under variable scene. On the one hand, the data feature information is obtained by continuous shooting of scene images through multiple devices, and the data feature information of key frames is sent to the server end (or cloud end) from the key frame. On the other hand, the server end (or cloud) will be most recently obtained. The feature information of the key frame data is taken to fill the blank space of the scene to complete the expansion of the navigation data of the scene, or to replace the most dissimilar data feature information in the existing data in the region to complete the update of the navigation data of the scene after adding the latest acquired data. Finally the server will be calibrated. The updated data feature information is distributed to each terminal device, which ensures real-time update of navigation data and realizes cluster autonomous navigation.

【技术实现步骤摘要】
一种可变场景下多设备的视觉导航方法及系统
本专利技术涉及机器人导航
，具体涉及一种可变场景下多设备的视觉导航方法及系统。
技术介绍
目前自动导航机器人在仓库自动化中得到了广泛的应用，尤其是基于自动导航机器人的货到人系统。目前较先进的自动导航机器人在仓库中的定位方法主要有以下几种：1.基于激动反射的激光定位系统a)价格昂贵b)安装反射板的地方不能遮挡，使用时需要在行走路径上预留较大空间，浪费仓库较大空间c)受温度影响d)只能室内使用。2.基于室内场景重建的视觉定位a)精度较低，使用时需要在行走路径上预留较大空间，浪费仓库较大空间b)无法应对重复场景c)无法应对经常变化的场景。尤其是在货到人仓储领域，货架不停移动，造成场景不断变化d)设备之间是独立运行的，不同设备之间的重建场景存在偏差，无法做到精确定位和重建场景的统一。所以基于室内场景重建的视觉定位系统都只有少数设备在运行。3.基于地面识别码的定位系统a)虽然精度高，但是有赖于地面标识物，容易磨损b)进入场景需要耗费大量人力用于测量，和铺设c)一旦设备大幅度偏离正常线路，无法通过标识物纠正。
技术实现思路
本专利技术的目的是提供一种，以便于解决现有技术中存在的上述问题。为了达到上述目的，本专利技术的具体解决方案是提供一种可变场景下多设备的视觉导航方法，包括以下步骤：第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息；第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备；第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。进一步的，其特征在于，所述数据化特征信息的获取过程包括：第一设备采集场景地面的图像；识别所述图像中的特征点，并从特征点中提取特征点的特征信息；将图像中特征点的特征信息格式化和数据化以形成所述图像的数据化特征信息。更进一步的，所述图像的数据化特征信息为格式化排列形成的数组数据，所述数据化特征信息包括图像位置、特征点的坐标、特征点的方向、特征点的大小和特征点的描述因子。更进一步的，所述关键帧的提取过程包括：将新获取图像的数据化特征信息与数据库中存储的关键帧的数据化特征信息进行检索对比；基于新获取图像和数据库中存储的关键帧的数据化特征信息比对结果给出一个相似度评价值；当相似度评价值小于设定阈值时，则该图像帧为关键帧。更进一步的，通过特征点的几何位置和特征点的描述因子对所述数据化特征信息进行检索比对，所述特征点的几何位置通过特征点的位置、大小和方向计算得出。更进一步的，所述相似度评价值为图像的数据化特征信息比对结果中描述因子和几何位置相符的特征点的个数。更进一步的，所述第二设备对数据化特征信息的筛选和构建过程包括：接收并存储数据化特征信息形成数据化特征信息的数据集合；当数据集合中的数据化特征信息达到数量上限时，保留最新接收的数据化特征信息，对其余数据化特征信息进行优先级排序，并删除优先级最低的数据化特征信息；将数据集合中所有的数据化特征信息进行校准和闭环检测以构建场景的导航数据。进一步的，设定数据集合中数据化特征信息的数量上限，所述数量上限为每个图像位置上的数据化特征信息的数量上限。更进一步的，所述数据化特征信息的优先级排序包括：将新接收的数据化特征信息与其图像位置上及其邻近范围内所有的数据化特征信息进行两两的相似度对比；通过空间转化模型，检测数据化特征信息之间特征点位置、特征点方向、特征点大小和特征性描述因子相符的特征点个数；通过相符的特征点个数进行数据化特征信息的优先级排序。更进一步的，所述空间转化模型通过对比数据集合中数据化特征信息的特征点位置、特征点方向、特征点大小和特征点的描述因子而生成。另一方面，本专利技术还提供一种可变场景下多设备的视觉导航系统，包括：第一设备，所述第一设备用以拍摄场景地面的视频序列，并获取视频序列中每一帧图像的数据化特征信息，根据数据化特征信息进行对比，提取视频序列中的关键帧并将该关键帧的数据化特征信息上传至第二设备；第二设备，对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新和分发。更进一步的，所述第一设备为自主导航设备或配置于AGV搬运车上的自主导航设备，所述第二设备为与第一设备通讯连接的服务器端。更进一步的，所述自主导航设备与服务器端的数量比为n:m，其中n为大于1的自然数，其中m为大于等于1的自然数。更进一步的，所述第一设备包括：视频采集单元，用以采集场景地面的图像帧；图像信息识别单元，用以识别所述图像帧中的特征点，形成图像帧的数据化特征信息；关键帧提取单元，所述关键帧将获取的图像帧的数据化特征信息与之前提取的所述关键帧的数据化特征信息进行检索对比以提取关键帧。通信单元，所述通信单元用以将所述关键帧提取单元提取的关键帧的数据化特征信息发送至第二设备。更进一步的，所述第二设备包括：数据化特征信息筛选单元，所述数据化特征信息筛选单元将最新获取的数据化特征信息与之前获取的数据化特征信息进行相似度对比，并在筛选时根据对比结果进行优先级排序，导航数据构建单元，所述导航数据构建单元根据数据化特征信息构建场景的导航数据。本专利技术同现有技术相比，具有以下优点和有益效果：本专利技术的一种可变场景下多设备的视觉导航方法及系统，一方面通过多台设备连续拍摄场景地面图像，提取地面图像的特征信息，以及基于该特征信息形成的图像数据化特征信息，并通过网络将关键帧的格式化数据发送给服务器端(或云端)，这样由于仅需要发送格式化数据，从而提高了网络传输的实时性，并节约了网络带宽和资源，而且通过拍摄地面视频，避免了多变场景下识别精度和可靠性的问题，另一方面服务器端(或云端)基于该关键帧的数据化特征信息与之前获取的数据化特征信息进行对比、校准和筛选。最新获取的数据化特征信息填补场景的空白空间，以完成场景的导航数据的扩充；或者在加入最新获取的数据化特征信息后，替换区域内已有数据中最不相似的数据化特征信息以完成场景的导航数据的更新。最后，服务器将校准更新过的数据化特征信息发送给每台终端设备。这样保证了导航数据的实时更新，同时可分发到多台设备上实现集群化的自主导航。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一种多变场景下的多设备视频导航方法的方法流程图；图2为本专利技术获取数据化特征信息的方法流程图；图3为本专利技术关键帧提取的方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供的一种多变场景下的多设备视频导航方法及系统，其主要应用于诸如仓储自动化等多变、复杂场景中。仓储自动化环境主要包括移动货架和自动导航机器人，其本文档来自技高网...

【技术保护点】
1.一种可变场景下多设备的视觉导航方法，其特征在于，包括以下步骤：第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息；第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备；第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新并分发到第一设备实现导航。

【技术特征摘要】
1.一种可变场景下多设备的视觉导航方法，其特征在于，包括以下步骤：第一设备拍摄场景的视频序列，并获取视频序列中每一帧图像的数据化特征信息；第一设备根据数据化特征信息进行对比，提取视频序列中的关键帧并将所述关键帧的数据化特征信息上传至第二设备；第二设备对比和筛选第一设备上传的数据化特征信息，并将筛选后的数据化特征信息重组以完成场景的导航数据的构建、更新并分发到第一设备实现导航。2.根据权利要求1所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述数据化特征信息的获取过程包括：第一设备采集场景地面的图像；识别所述图像中的特征点，并从特征点中提取特征点的特征信息；将图像中特征点的特征信息格式化和数据化以形成所述图像的数据化特征信息。3.根据权利要求2所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述图像的数据化特征信息为格式化排列形成的数组数据，所述数据化特征信息包括图像位置、特征点的坐标、特征点的方向、特征点的大小和特征点的描述因子。4.根据权利要求3所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述关键帧的提取过程包括：将新获取图像的数据化特征信息与数据库中存储的关键帧的数据化特征信息进行检索对比；基于新获取图像和数据库中存储的关键帧的数据化特征信息比对结果给出一个相似度评价值；当相似度评价值小于设定阈值时，则该图像帧为关键帧。5.根据权利要求4所述的一种可变场景下多设备的视觉导航方法，其特征在于，通过特征点的几何位置和特征点的描述因子对所述数据化特征信息进行检索比对，所述特征点的几何位置通过特征点的位置、大小和方向计算得出。6.根据权利要求5所述的一种可变场景下多设备的视觉导航方法，其特征在于，所述相似度评价值为图像的数据化特征信息比对结果中描述因子和几何位置相符的特征点的个数。7.根据权利要求1到6所述的任一种可变场景下多设备的视觉导航方法，其特征在于，所述第二设备对数据化特征信息的筛选和构建过程包括：接收并存储数据化特征信息形成数据化特征信息的数据集合；当数据集合中的数据化特征信息达到数量上限时，保留最新接收的数据化特征信息，对其余数据化特征信息进行优先级排序，并删除优先级最低的数据化特征信息；将数据集合中所有的数据化特征信息进行校准和闭环检测以构建场景的导航数据。8.根据权利要求7所述的一种可变场景下多设备的视觉导航方法，其特征在于，设定数据集合中数据化特征信息的数量上限，所述数量上...

【专利技术属性】
技术研发人员：刘哲，
申请(专利权)人：锥能机器人上海有限公司，
类型：发明
国别省市：上海,31