一种基于环境感知的无人仓库货品智能盘点方法及系统技术方案

本发明专利技术属于仓储盘点领域，提供了一种基于环境感知的无人仓库货品智能盘点方法及系统。其中，该方法包括获取巡视仓库内所有货架的视频流；基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；根据识别出的货品的种类及数目创建盘点数据库；将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。能盘点。能盘点。

【技术实现步骤摘要】
一种基于环境感知的无人仓库货品智能盘点方法及系统


[0001]本专利技术属于仓储盘点领域，尤其涉及一种基于环境感知的无人仓库货品智能盘点方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着行业应用的不断升级，传统基于人工进行仓库货品盘点的局限性也日益突出，国内很多城市虽然开始施行规范化的仓库货架管理方式，但能没有很好的解决仓库货品智能盘点的问题，在盘点的过程中不仅需要花费大量的人力，还要耗费大量的时间反复核算，对于整个仓库货品的自动化管理有很大局限性。专利技术人发现，即使现有的仓库也存在利用机器人进行盘点货品的方法，但是均针对单一货品仓库，仅需要盘点数量，并不能识别货品种类，也未与盘点数据库关联，无法达到每日复盘的要求。

技术实现思路

[0004]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于环境感知的无人仓库货品智能盘点方法及系统，其基于深度学习的货品结构化信息提取技术，能够实现智慧物流中货品自动化智能盘点，每日复盘对数据库内容进行实时更新核对。
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]本专利技术的第一个方面提供一种基于环境感知的无人仓库货品智能盘点方法，其包括：
[0007]获取巡视仓库内所有货架的视频流；
[0008]基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；
[0009]根据识别出的货品的种类及数目创建盘点数据库；
[0010]将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。
[0011]本专利技术的第二个方面提供一种基于环境感知的无人仓库货品智能盘点系统，其包括：
[0012]视频流获取模块，其用于获取巡视仓库内所有货架的视频流；
[0013]货品种类及数目识别模块，其用于基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；
[0014]盘点数据库创建模块，其用于根据识别出的货品的种类及数目创建盘点数据库；
[0015]数据比对模块，其用于将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。
[0016]本专利技术的第三个方面提供一种基于环境感知的无人仓库货品智能盘点系统，其包括：
[0017]视频流采集设备，其用于采集巡视仓库内所有货架的视频流；
[0018]处理器，其被配置为：
[0019]基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；
[0020]根据识别出的货品的种类及数目创建盘点数据库；
[0021]将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。
[0022]本专利技术的第四个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于环境感知的无人仓库货品智能盘点方法中的步骤。
[0023]本专利技术的第五个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于环境感知的无人仓库货品智能盘点方法中的步骤。
[0024]与现有技术相比，本专利技术的有益效果是：
[0025]本专利技术基于环境感知获取巡视仓库内所有货架的视频流，基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；根据识别出的货品的种类及数目创建盘点数据库；将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点，基于深度学习的货品结构化信息提取技术，实现了智慧物流中货品自动化智能盘点，每日复盘对数据库内容进行实时更新核对，为智慧物流、工业自动化等业务提供重要支持。
[0026]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0027]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0028]图1是本专利技术实施例的基于环境感知的无人仓库货品智能盘点方法流程图；
[0029]图2是本专利技术实施例的巷道堆垛机数据流传输流程图；
[0030]图3是本专利技术实施例的文本信息识别神经网络图；
[0031]图4是本专利技术实施例的目标检测神经网络图；
[0032]图5是本专利技术实施例的盘点数据库更新流程图。
具体实施方式
[0033]下面结合附图与实施例对本专利技术作进一步说明。
[0034]应该指出，以下详细说明都是例示性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0035]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0036]实施例一
[0037]如图1所示，本实施例提供了一种基于环境感知的无人仓库货品智能盘点方法，其具体包括如下步骤：
[0038]步骤1：获取巡视仓库内所有货架的视频流。
[0039]在具体实施中，可利用多目全景摄像头等设备对仓库内的货架进行全域拍摄，获取巡视货架的视频流。
[0040]步骤2：基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目。
[0041]在具体实施中，本实施例的文本信息识别神经网络如图3所示，可以有效的识别出货品包装上的结构化信息。首先通过巷道堆垛机搭载多目全景摄像头所获取到的视频流作为输入，输入到目标检测神经网络中。文本信息识别神经网络由两部分组成，首先通过改进的目标检测神经网络来检测出各类结构化信息的区域，再通过目标识别神经网络来识别结构化信息。
[0042]视频流输入到卷积神经网络获取区域提议位置，进一步对区域提议位置使用卷积神经网络进行优化拟合，修正候选框的位置和方向。再对每个修正的候选框进行非极大值抑制，进一步得到精确的目标检测信息。将检测出的文本区域进一步输入到卷积神经网络进行特征提取，通过全连接层神经网络识别出各类结构化信息。
[0043]需要说明的是，本实施例的文本信息识别网络结构除了图3所示的三维神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于环境感知的无人仓库货品智能盘点方法，其特征在于，包括：获取巡视仓库内所有货架的视频流；基于文本信息识别神经网络对视频流处理，识别货品包装箱上的结构化信息，得到货品的种类；基于目标检测网络对视频流处理，识别货品的数目；根据识别出的货品的种类及数目创建盘点数据库；将盘点数据库与出入库数据库中的数据进行比对，最终实现对无人仓库货品的智能盘点。2.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述基于文本信息识别神经网络为三维神经网络。3.如权利要求2所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，基于文本信息识别神经网络对视频流处理的过程为：利用第一卷积神经网络提取视频流的区域提议位置；利用第二卷积神经网络对区域提议位置进行优化拟合，修正区域提议候选框的位置和方向；对每个修正的候选框进行非极大值抑制，得到精确的目标检测信息；将检测出的目标检测信息输入到第三卷积神经网络进行特征提取，通过全连接层神经网络识别出相应结构化信息。4.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述目标检测网络为二维神经网络。5.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，根据盘点数据库与出入库数据库中的数据的比对结果，更新盘点数据库。6.如权利要求1所述的基于环境感知的无人仓库货品智能盘点方法，其特征在于，所述基于环境感知的无人仓库货品智能盘点方法，还包括：若识别货品的种类及数目的信息出现异常时，发生报警信息以提示管理员...

【专利技术属性】
技术研发人员：王聪，陈小忠，袁晓颖，
申请(专利权)人：山东产研信息与人工智能融合研究院有限公司，
类型：发明
国别省市：