一种对仓储空间中货物进行远程智能检测的方法及系统技术方案

一种对仓储空间中货物进行远程智能检测的方法，包括：构建远程智能检测系统，其包括云端控制平台和至少一仓储空间智能点，每一仓储空间智能点至少包括设置在所述仓储空间现场的一货物盘点小车和边缘算力设备，所述云端控制平台与所述仓储空间智能点进行通信连接；货物盘点小车完成仓储空间内当前目标货物的视频采集并回传至所述边缘算力设备；所述边缘算力设备对所述视频分割成以帧为单位的帧图像信息，并利用已训练好的YOLO检测识别模型进行检测，检测出所述帧图像中的当前货物类别及数量。本发明专利技术结合货物盘点小车实时采集的货物视频边缘算力设备就能利用该模型和算法检测出当前仓库目标货物的数量从而实现远程盘库的功能。功能。功能。

【技术实现步骤摘要】
一种对仓储空间中货物进行远程智能检测的方法及系统


[0001]本专利技术涉及一种智能算法在检测领域的应用，特别是一种对仓储空间中货物进行远程智能检测的方法及系统。

技术介绍

[0002]产业数字金融、供应链金融等场景，经常需要基于仓库的监管，提供库存质押融资服务。为确保仓库存货安全，资金方需要对货物入库、出库和在库情况进行监管。行业内现有的做法是，会通过定期(每月)和不定期派人去仓库进行抽盘，进行库存数量确认。这种依靠人工操作为主的模式下成本高(需安排大量人员，去现场进行实地盘库)，效率低(抽查频率不会很高，无法做到每天抽查)，而且操作风险规避也存在困难。
[0003]上海品览数据科技有限公司在202011014178.3公开了一种基于深度学习的多目标跟踪视频巡店方法，涉及深度学习的多目标跟踪
本专利技术包括如下步骤：P1、用工业相机采集高清视频；P2、将采集完成的视频上传至库存盘点系统；P3、将巡店视频输入训练好的YOLO V3+DeepSort模型中；P4、根据预测结果进行货物盘点和后续操作；步骤P3中YOLO V3+DeepSort模型包括Detection跟踪步骤以及track跟踪步骤。该专利技术应用非图像特征，提升了商品规格分类的识别准确率，同样适用于同种商品不同规格的识别。对于视频盘点货物的目标跟踪算法，利用YOLO V3/Faster RCNN/SSD等目标检测框架加上Deep SORT多目标跟踪算法可以有效提高检测精度。但是，本申请人仔细研读并没有看到采集完成的视频如何通过Detection跟踪步骤以及track跟踪步骤具体实现识别准确率，其仅给出一个很初的概念，而且该方案也不能具体实现远程仓库中的货物数量等的智能检测。另外，将采集完成的视频上传至库存盘点系统再处理，即回传至平台，视频上传的数据量是非常大的，若都放在平台来处理，不仅占用大量的传输资源而且整个智能处理效率非常低，无法做到完成多个仓储空间内的货物智能检测。
[0004]产业数字金融、供应链金融等场景，经常需要基于仓库的监管，提供库存质押融资服务。而且监管存在对多个仓库的情况，若都需要去现场采集视频，成本高且效率低，且不能实时监测某一仓库当前的实时货物数量。还有，这种仓库很多时候是租的，经常会搬，这种情况下更需要远程完成监测且实时检测出当前货物数据。

技术实现思路

[0005]本专利技术提供一种基于机器视觉的传送带货品智能监控方法和系统，以解决现有技术中无法解决多种不同货品在传送带上需要智能统计其分类和对应的个数，处理效率慢且精度不高的技术问题。
[0006]一种对仓储空间中货物进行远程智能检测的方法，其特征在于，包括：
[0007]构建远程智能检测系统，其包括云端控制平台和至少一仓储空间智能点，每一仓储空间智能点至少包括设置在所述仓储空间现场的一货物盘点小车和边缘算力设备，所述云端控制平台与所述仓储空间智能点进行通信连接；
[0008]货物盘点小车完成仓储空间内当前目标货物的视频采集并回传至所述边缘算力设备；
[0009]所述边缘算力设备对所述视频分割成以帧为单位的帧图像信息，并利用已训练好的YOLO检测识别模型进行检测，检测出所述帧图像中的当前货物类别及数量，再经包括去重、加合在内的数据处理后，获得所述仓储空间目标货物的实时库存数据；
[0010]所述云端控制平台通过边缘算力设备获得所述仓储空间目标货物的当前库存数据。
[0011]本专利技术的创新点在于解决了产业数字金融、供应链金融等场景下盘库需求日益增加的情况下盘库效率低、频率低、成本高的痛点；亦在于本专利技术的操作简易性
‑
在需要盘点的仓库添加本专利技术所述边缘算力箱和货物盘点小车即可，本装置可控性高能够远程控制货物盘点小车进行视频录制即使应对复杂的仓库环境也能通过远程控制完成视频采集，随后由算法完成货物数量统计。
[0012]创新点一：本专利技术还有很高的拓展性除实例所述目标货品盘点外还能很容易的盘点其它货物；通过下发待检测货物的的算法与模型可完成任意可由算法检测的货物数量统计。所述实例中示出了货物盘点小车完成目标货品的源视频采集工作并将视频回传到边缘算力设备上进行目标货品的物体检测和计数工作；显而易见本专利技术不仅仅可以用于目标货品的货物盘点工作，对于其它货物如造纸业加工成常用A4纸前的圆筒纸统计、仓库的车辆检测统计等。其工作原理都是一样的通过货物盘点小车采集货物的完整视频，借助边缘算力箱将视频回传到云端控制平台，人工对需要检测统计的目标货物进行标注并通过YOLO算法学习货物特征完成目标货物的模型训练，云端控制平台再将对应的算法和训练得到的模型下发到边缘算力设备上从而使边缘算力设备具备了检测识别目标货物的能力。结合货物盘点小车实时采集的货物视频边缘算力设备就能利用该模型和算法检测出当前仓库目标货物的数量从而实现远程盘库的功能。
[0013]创新点二：具备再学习的能力；众所周知目标检测算法的准确率取决于训练数据集的有效数据量，通过大量学习训练数据集提供的目标物特征得到检测识别模型，根据该模型推断一个未学习过的货物是否是目标货物。本专利技术支持货物盘点小车回传采集的目标货物视频回传到云端控制平台，利用人工标注的形式可以在原有的目标货物检测模型基础上用新标注的信息继续训练学习进而得到检测目标货物更准确的模型，该模型可利用云端控制平台更新到边缘算力设备上从而完成边缘设备的再学习能力。
附图说明
[0014]图1是一种仓储空间中货物进行远程智能检测的远程智能检测系统的原理框图；
[0015]图2是仓储空间中货物进行远程智能检测的远程智能检测的原理流程图；
[0016]图3是YOLO检测识别模型的训练过程图。
具体实施方式
[0017]以下结合附图，具体说明本专利技术。
[0018]请参阅图1，其为仓储空间中货物进行远程智能检测的远程智能检测系统的原理框图。它包括云端控制平台1和至少一仓储空间智能点2，每一仓储空间智能点2至少包括设
置在所述仓储空间现场的一货物盘点小车21和边缘算力设备22，所述云端控制平台1与所述仓储空间智能点2进行通信连接。
[0019]本专利技术中可以包括一云端控制平台1和一个或多个的仓储空间智能点2。可以是一个仓库设置一个仓储空间智能点2，当仓库非常大时，比如有几层时，也可以设置多个仓储空间智能点2。当然，仓储空间智能点2可以是一个货物盘点小车21和一边缘算力设备22，也可以是多台货物盘点小车21和一边缘算力设备22，也可以是一台货物盘点小车21和多台边缘算力设备22。本专利技术，以一个货物盘点小车21和一边缘算力设备22来说明本实例。
[0020]当仓库需要设置成仓储空间智能点2时，需要在该仓库中配置至少一台货物盘点小车21和一边缘算力设备22，并且需要把仓库所在的平台示意图等相关信息发送至云端控制平台1。云端控制平台1方便后续进行小车21的路径规划。
[0021]边缘算力设备22可以做一箱式结构，其至少包括处理器、供电设备和容置货物盘点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对仓储空间中货物进行远程智能检测的方法，其特征在于，包括：构建远程智能检测系统，其包括云端控制平台和至少一仓储空间智能点，每一仓储空间智能点至少包括设置在所述仓储空间现场的一货物盘点小车和边缘算力设备，所述云端控制平台与所述仓储空间智能点进行通信连接；货物盘点小车完成仓储空间内当前目标货物的视频采集并回传至所述边缘算力设备；所述边缘算力设备对所述视频分割成以帧为单位的帧图像信息，结合仓库建模后设定的仓位点，边缘算力设备得到盘库视频并分割成帧图像后只取预设仓位点的帧图像为YOLO识别图像，从左到右的视频同一仓位点只取一帧图片用于YOLO检测识别；若仓位点需要上下拍摄才能获取完整货物视频，具体做法是取当前仓位点的上下拍摄所有图片帧，然后利用OpenCV库提供的全景拼接算cv2.createStitcher将上下拍摄的多张图片合并成一张待检测图片，并利用已训练好的YOLO检测识别模型进行检测，检测出所述帧图像中的当前货物类别及数量，再经加合数据处理后，获得所述仓储空间目标货物的实时库存数据；所述云端控制平台通过边缘算力设备获得所述仓储空间目标货物的当前库存数据。2.如权利要求1所述方法，其特征在于，包括：全景拼接算法进一步包括：拼接算法基本原理是检测两张图片的关键点特征(DoG，Harris等)，SIFT，SURF在内计算不变特征描述符，根据关键点特征和描述符对两张图像进行匹配得到若干匹配点，使用Ransac算法和匹配的特征来估计单应矩阵，通过单应矩阵来对图像进行仿射变换，两图像拼接，重叠部分融合得到完整的全景图；利用已训练好的YOLO检测识别模型进行检测进一步包括：YOLO的CNN网络将输入的图片分割成S*S的网格，每个单元格负责去检测中心点落在该格子内的目标，每个单元格会预测B个边界框以及边界框的执行度，边界框记为Pr(object)，当边界框包含目标时Pr(object)＝1不包含时Pr(object)＝0，边界框的准确度可以用预测框与实际框(ground truth)的I0U(intersection over union，交并比)来表征，记为IOUtruthpred，由此得到置信度：边界框的大小与位置可以用4个值来表征：(x，y，w，h)，其中(x，y)是边界框的中心坐标，而w和h是边界框的宽与高，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度，每一个单元格需要给出预测出的C个类别概率值表示的是有该单元格负责预测的边界框其目标属于各个类别的概率Pr(classi|object)。因此可以计算出各个边界框的类别置信度：YOLO使用24个卷积层来提取货物特征，然后使用2个全连接层来得到预测值，以此识别出当前帧图像中所在所有的类别货品和对应的位置信息，通过统计类别为目标货品的个数为当前帧图像中所述目标货品的实际库存信息。3.如权利要求1或2所述方法，其特征在于，还包括：所述边缘算力设备可将这些采集的视频传回云端控制平台；云端控制平台接收所述货物视频并根据随视频一起传回来的参数信息将视频存至对
应的监管仓库训练用目录下；由所述云端控制平台完成所述目标货物的人工标注；云端控制平台使用标注的货物信息结合YOLO算法训练学习标注货物特征得到所述货物的YOLO检测识别模型；完成目标货物的YOLO检测识别模型训练，云端控制平台再将对应的算法和训练得到的模型下发到需要进行目标货物检测的对应边缘算力设备上，从而使对应的所述边缘算力设备具备检测识别目标货物的能力；当训练新的目标货物时，将训练好的YOLO检测识别模型更新至对应的边缘算力设备上。4.如权利要求1或2所述方法，其特征在于，货物盘点小车完成仓储空间内当前目标货物的视频采集之前还包括：所述小车上方装有可伸缩...

【专利技术属性】
技术研发人员：王义山，吴小闯，丁雯，邓曦曦，
申请(专利权)人：上海聚均科技有限公司，
类型：发明
国别省市：