一种基于视觉导航的微型无人机仓库盘点系统及方法技术方案

本发明专利技术公开了一种基于视觉导航的微型无人机仓库盘点系统，包括三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；上位机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点，有效提升仓库的盘点效率降低人工工作量。

An inventory system and method of UAV warehouse based on visual navigation

【技术实现步骤摘要】
一种基于视觉导航的微型无人机仓库盘点系统及方法
本专利技术涉及机器视觉
，具体的说，是一种基于视觉导航的微型无人机仓库盘点系统。
技术介绍
传统的仓库库存盘点工作主要是基于人工检视，盘点工作耗时长、人力投入成本大、效率低下且难以保障盘点准确率，无法作为日常业务开展。微型无人机具有成本低、体积小、适应性强、安全性好、操作简单等特点，被广泛应用于军事和民用领域。但在室内环境中，无人机无法使用GPS信号进行定位，而视觉导航由于其灵活性、可靠性、廉价性等优点成为导航领域研究热点。因此，可利用视觉导航的灵活性、可靠性、廉价性等优点来解决仓库库存盘点效率低下的问题。
技术实现思路
本专利技术的目的在于提供一种基于视觉导航的微型无人机仓库盘点系统及方法，用于解决现有技术中人工进行仓库盘点工作效率低下的问题。本专利技术通过下述技术方案解决上述问题：一种基于视觉导航的微型无人机仓库盘点系统，包括三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。优选地，所述无人机机身上设有定位标志，根据该定位标志将无人机与仓库的空间三维坐标系相关联。优选地，所述固定摄像头布置在仓库的天花板上，包括货架上方天花板和通道上方天花板。优选地，所述三维场景建模模块建立仓库的空间三维坐标系时以仓库地面的某一墙角为原点。优选地，所述无人机机身带有红外传感器可探测离地高度，当无人机的Z轴坐标偏离导引线坐标，可结合红外传感器数据进行修正。还包括一种基于视觉导航的微型无人机仓库盘点方法，所述方法包括如下步骤：步骤1：建立仓库三维场景模型，并对模型建立坐空间三维标系，标注仓库和货架的长宽高和货架位置信息，然后建立无人机与坐标系的映射关系；步骤2：采集货物摆放图像，对每件货物的图像进行分割并提取分割后图像的特征点，记录相关信息后分类存放，等待与实时图像进行匹配；步骤3：控制无人机进行实时的图像采集，然后提取实时图像中的特征点与步骤2所提取分割后图像的特征点进行比对，得到实时的仓库信息；步骤4：将实时仓库信息与历史仓库数据进行对比，更新仓库的库存信息。优选地，所述步骤2中图像分割时，先提取货物堆放的上下左右边缘线，然后利用识别出的货物边缘线定位货物区域，然后剔除图像中的无关区域后再进行图像分割。优选地，所述步骤3中，无人机进行实时的图像采集时根据所建立的空间三维坐标系进行导航定位，X轴和Y轴的由货架天花板顶部固定摄像头采集到的货架X轴方向边缘线确定；Z轴由机载摄像头采集的每层货架上下边缘线和货架层号确定。优选地，所述步骤1中无人机与坐标系的映射关系通过成像传感器标定建立，由CCD摄像机成像模型利用张正友标定法建立成像的几何模型确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。本专利技术与现有技术相比，具有以下优点及有益效果：(1)本专利技术通过无人机对仓库的存储货物进行盘点有效的提升了仓库管理的效率，缩短货物盘点的时间，减少人工工作量。(2)本专利技术利用视觉导航的微型无人机进行仓库货物盘点，很好的解决了在室内环境中，无人机无法使用GPS信号进行定位的问题，很好的利用了视觉导航的灵活性、可靠性等优点。附图说明图1为本专利技术的基于视觉导航的微型无人机仓库盘点系统组成结构示意图；图2为本专利技术的基于视觉导航的微型无人机仓库盘点系统所建立坐标系示意图。图3为本专利技术的基于视觉导航的微型无人机仓库盘点系统固定摄像头安装位置示意图。具体实施方式下面结合实施例对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例1：结合附图1-3所示，一种基于视觉导航的微型无人机B02仓库盘点系统，包括三维场景建模模块，对仓库进行三维场景建模并以建立空间三维坐标系，标注货架B01的位置信息，仓库和货架B01的长宽高信息；无人机B02及其飞行控制模块，控制系统对无人机B02进行操控，无人机B02与仓库的空间三维坐标系建立映射关系；无人机B02机身上设有定位标志，即在无人机B02机身背部，离机载摄像头5mm的中心位置，设置一个直径为10mm的实心黑色圆点，以此定位标志对图像传感器进行标定，建立标志点在图像中的位置信息与在实际环境中的位置信息的映射关系，即完成世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的坐标转换；无人机控制模块即在上位机端安装的微型无人机SDK，可将航参数转换成控制无人机B02飞行的指令，包括前进、后退、上升、下降和转向，通过Wi-FiUDP协议发送无人机飞控系统执行，从而实现对无人机B02自动飞行的控制。图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头B03、B04，固定摄像头B03、B04安装在货架B01天花板处和通道天花板处；图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头B03、B04相连，接收端与上位机相连，本实施例采用多对一的方式，包含多个；上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。还包括一种基于视觉导航的微型无人机仓库盘点方法，即上述系统的工作盘点方法，所述方法包括如下步骤：首先，建立仓库三维场景模型，并以仓库底面某一墙角为原点对模型建立坐空间三维标系，标注仓库和货架B01的长宽高和货架B01位置信息，然后建立无人机B02与坐标系的映射关系，由CCD摄像机成像模型，利用张正友标定法，建立相机成像的几何模型，确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。世界坐标通过刚体变换转换为摄像机坐标，摄像机坐标经透视投影转换为图像坐标，图像坐标又经二次转换后转变为像素坐标；其次，通过图像采集模块采集货物摆放图像，提取图像中货架B01各层格内货物堆放的上下左右边缘线，利用识别出的边缘线快速定位货物区域，然后提出图像中的无关区域对每件货物的图像进行分割，提取分割后图像的特征点，记录相应的名称、数量等信息后分类存放，建立图像预处理数据库，等待与实时图像进行匹配；然后，控制无人机B02进行实时的图像采集，然后重复步骤2中的提取过程，提取实时图像中的特征点记录相应的名称、数量信息后与步骤2所提取分割后图像的特征点进行比对，增加原始图像中没有但实时图像中有本文档来自技高网...

【技术保护点】
1.一种基于视觉导航的微型无人机仓库盘点系统，其特征在于：包括/n三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；/n无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；/n图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；/n图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；/n上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。/n

【技术特征摘要】
1.一种基于视觉导航的微型无人机仓库盘点系统，其特征在于：包括
三维场景建模模块，对仓库进行三维场景建模并建立空间三维坐标系，标注货架的位置信息，仓库和货架的长宽高信息；
无人机及其飞行控制模块，控制系统对无人机进行操控，无人机与仓库的空间三维坐标系建立映射关系；
图像采集系统，包括机载摄像头和布置在仓库内的固定摄像头；
图像传输模块，包括发送模块和接收模块，发送模块数量与摄像头数量相对应，并且分别与各个机载摄像头和固定摄像头相连，接收端与上位机相连；
上位机，即整个系统的控制主机，包含图像处理系统，搭载三维场景建模系统和无人机控制系统，对图像数据进行处理后对仓储货物进行盘点。


2.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述无人机机身上设有定位标志，根据该定位标志将无人机与仓库的空间三维坐标系相关联。


3.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述固定摄像头布置在仓库的天花板上，包括货架上方天花板和通道上方天花板。


4.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于：所述三维场景建模模块建立仓库的空间三维坐标系时以仓库地面的某一墙角为原点。


5.根据权利要求1所述的基于视觉导航的微型无人机仓库盘点系统，其特征在于，所述无人机机身带有红外传感器可探测离地高度。


6.一种基于视觉导航的微型无人机仓库盘...

【专利技术属性】
技术研发人员：张宝，魏东梅，杨涛，庞毅飞，张婧，黄锐，李有松，
申请(专利权)人：四川中烟工业有限责任公司，西南科技大学，
类型：发明
国别省市：四川;51