一种基于深度学习的智能仓库巡检方法及系统技术方案

本发明专利技术涉及一种基于深度学习的智能仓库巡检方法及系统，利用智能小车进行仓库巡检，利用多线程技术采集图像数据，将采集的数据通过http协议发送到服务器；服务器通过多线程和共享内存进行实时接收图像数据；将接收到的图像通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别；并计算得到二维码中心偏离图片中心的角度，将角度信息传输给智能小车；小车得到此角度数据之后，调整轮子的转向，不断向二维码靠近，通过连续的读每一帧并修正，使小车能够不断的靠近二维码，并读取二维码的内容信息，将二维码的内容信息发送到数据库；数据库根据接收到的数据，归纳出仓库中危险化学品的种类和数量。本发明专利技术利用图像方式对仓库进行管理，相比于RFID技术成本较低。

【技术实现步骤摘要】
一种基于深度学习的智能仓库巡检方法及系统
本专利技术涉及人工智能领域，特别是一种基于深度学习的智能仓库巡检方法及系统。
技术介绍
在我国工业快速发展的浪潮下，危险化学品的使用量与存放量急剧增加，加之危险化学品自身所具有的易爆、易燃、毒害、腐蚀、放射等性质，导致其在生产、经营、存储、运输、使用、废弃处置的过程中安全事故频发。随着科技的发展，利用信息化先进技术提升危险化学品全生命周期监管的手段和工具已成为促成危险品行业健康发展的大趋势。目前，大多数仓库是基于RFID技术对危险化学品进行智能仓储管理，该系统结合无线传感网络技术和无线射频识别技术，实时获取仓库中化学品存储状态，代替人力，提高安全性。但是，对于大型的仓库中的每一件货物采用RFID技术，成本较高。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于深度学习的智能仓库巡检方法及系统，利用图像方式对仓库进行管理，相比于RFID技术成本较低。本专利技术采用以下方案实现：一种基于深度学习的智能仓库巡检方法，包括以下步骤：步骤S1：在智能小车端上使用多线程技术进行图像采集和传输图像数据；步骤S2：服务器通过多线程和共享内存进行实时接收图像数据；步骤S3：利用步骤S2获得图像数据，通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别；步骤S4：利用步骤S3得到二维码在图像中的位置信息，通过像素大小和摄像头视角的关系，计算得到二维码中心偏离图片中心的角度，将角度信息传输给所述智能小车；步骤S5：所述智能小车得到角度信息之后，调整自身的位置信息，使二维码处于图像的中央位置，并读取二维码内容信息，将其发送到数据库；步骤S6：数据库根据接收到的数据，归纳出仓库中危险化学品的种类和数量。本专利技术只需要在仓库的货物贴上带有货物信息的二维码，智能小车定时的巡检整个仓库，通过摄像头读取二维码信息，并将读取的信息发送到数据库中进行管理。本专利技术定时自动获取化学品仓库中每个化学品的存储状态，大大减少了人工劳动，降低了运营成本，提高了管理效率。进一步地，所述步骤S1中具体包括以下步骤：步骤S11：智能小车创建图像数据采集和图像传输两个线程；步骤S12：在图像数据采集线程中，使用V4L2视频底层接口直接读取图像数据，当数据采集完成时，发送同步信号通知另一个线程数据采集完成信号；在图像传输线程中，当接收到同步信号时，将采集的图像数据通过http协议发送到服务器。进一步地，步骤S2具体包括以下步骤：步骤S21：服务器创建图像数据接收线程和图像数据处理线程，两者通过生产者信号量和消息者信号量以及数据接收完成同步信号进行通信；步骤S22：在图像数据接收线程中，先解析接收到的数据，判断是否图像帧头部信息；如果是图像头部信息，通过解析头部信息得到当前帧图像的长度L，将之后的长度为L的信息进行组包，得到当前帧的图像数据，取出生产者信号量，即将其减1；步骤S23：将当前帧的图像数据放入共享内存中，并把消费者信号量加1，同时发出同步信号；步骤S24：在图像数据处理线程中，当得到同步信号到来时，将消费者信号量减1，然后处理图像数据，最后将生产者信号量加1。进一步地，步骤S3中，所述通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别具体包括以下步骤：步骤S31：在百度图库中，下载N(800)张有关二维码的图片作为样本；对下载到的样本进行数据清洗，去除相似样本以及模糊和格式损坏的样本，得到处理后的样本(400张)，并在处理后的样本中随机选择一部分(300张)作为训练样本，剩余部分(100张)作为测试样本；步骤S32：采用ImageNet数据集，对特征提取网络Vgg进行预训练，使得Vgg得到初始化权值；步骤S33：将步骤S32预训练的Vgg网络加上多尺度输出，形成SSD网络结构；在二维码训练集上对SSD网络进行训练，使得SSD网络能够输出为二维码的概率以及二维码的位置信息。其中，对SSD网络进行训练具体为：将初始的学习率设置为0.01，在迭代40k后将学习率下降10倍，在随后的10k又将学习率下降10倍。在训练65k后，SSD能够输出较高精度的是否为二维码的概率以及二维码的位置信息。进一步地，步骤S4中，所述计算得到二维码中心偏离图片中心的角度具体为：将角度坐标设计成一个极坐标系，初始的角度设为90°，假设摄像头的广角是60°，图像的信息采集是以摄像头正前方为中心，左右各30°的图像；图像数据大小是640×480，通过识别出的二维码的位置计算出其质心的坐标α，由以上条件根据以下公式，获得该图像的质心与中央角度的偏离角度θ：进一步地，步骤S5中，所述智能小车得到角度信息之后，调整自身的位置信息具体为：将智能小车其中一个轮子速度设为0，根据需要的角度信息在另一个轮子上施加一定的速度，使得小车的位置得到调整。进一步地，步骤S6中，所述数据库采用两个线程，其中一个线程为数据接收线程，用以进行实时数据接收，在接收完成之后把数据放进缓冲区中；另一线程为数据处理线程，用以取出缓冲区的数据进行处理；所述数据处理线程中，接收到化学品入库信息时，将数据库中对应药品的数量相应增加，当接收到化学品出库的信息时，数据库中对应药品的数量相应减少。较佳的，本专利技术还提供了一种基于上文所述方法的系统，包括用以进行图像采集与图像传输的智能小车、用以执行步骤S2至步骤S4的服务器图像处理模块、以及用以执行步骤S6的数据库；所述智能小车包括树莓派3B+主控模块、L298N电机驱动模块、直流减速电机模块、以及摄像头模块。与现有技术相比，本专利技术有以下有益效果：本专利技术采用智能小车代替传统人工进行巡检，效率高，能够防止人员发生各种意外。同时，采用小车定时巡检能够减少人力劳动，降低运营成本，提高管理效率。附图说明图1为本专利技术实施例的系统结构示意图。图2为本专利技术实施例的采集流程示意图。图3(a)与图3(b)为本专利技术实施例图像传输流程图。图4为本专利技术实施例图像接收流程图。图5为本专利技术实施例图像处理流程图。图6为本专利技术实施例目标检测算法SSD网络结构图。图7为本专利技术实施例角度计算示意图。图8为本专利技术实施例模拟危险化学品仓库巡检测试图。图9为本专利技术实施例二维码标定测试图。图10为本专利技术实施例数据库管理与显示示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。本实施例提供了一种基于深度学习的智能仓库巡检方法，包括以下步骤：步骤S1：在智能小车端上使用多线程技术进行图像采集和传输图像数据；步骤S2：服务器通过多线程和共享内存进行实时接收图像数据；步骤S3：利用步骤S2获得图像数据，通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别；步骤S4：利用步骤本文档来自技高网...

【技术保护点】
1.一种基于深度学习的智能仓库巡检方法，其特征在于：包括以下步骤：步骤S1：在智能小车端上使用多线程技术进行图像采集和传输图像数据；步骤S2：服务器通过多线程和共享内存进行实时接收图像数据；步骤S3：利用步骤S2获得图像数据，通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别；步骤S4：利用步骤S3得到二维码在图像中的位置信息，通过像素大小和摄像头视角的关系，计算得到二维码中心偏离图片中心的角度，将角度信息传输给所述智能小车；步骤S5：所述智能小车得到角度信息之后，调整自身的位置信息，使二维码处于图像的中央位置，并读取二维码内容信息，将其发送到数据库；步骤S6：数据库根据接收到的数据，归纳出仓库中危险化学品的种类和数量。

【技术特征摘要】
1.一种基于深度学习的智能仓库巡检方法，其特征在于：包括以下步骤：步骤S1：在智能小车端上使用多线程技术进行图像采集和传输图像数据；步骤S2：服务器通过多线程和共享内存进行实时接收图像数据；步骤S3：利用步骤S2获得图像数据，通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别；步骤S4：利用步骤S3得到二维码在图像中的位置信息，通过像素大小和摄像头视角的关系，计算得到二维码中心偏离图片中心的角度，将角度信息传输给所述智能小车；步骤S5：所述智能小车得到角度信息之后，调整自身的位置信息，使二维码处于图像的中央位置，并读取二维码内容信息，将其发送到数据库；步骤S6：数据库根据接收到的数据，归纳出仓库中危险化学品的种类和数量。2.根据权利要求1所述的一种基于深度学习的智能仓库巡检方法，其特征在于：所述步骤S1中具体包括以下步骤：步骤S11：智能小车创建图像数据采集和图像传输两个线程；步骤S12：在图像数据采集线程中，使用V4L2视频底层接口直接读取图像数据，当数据采集完成时，发送同步信号通知另一个线程数据采集完成信号；在图像传输线程中，当接收到同步信号时，将采集的图像数据通过http协议发送到服务器。3.根据权利要求1所述的一种基于深度学习的智能仓库巡检方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：服务器创建图像数据接收线程和图像数据处理线程，两者通过生产者信号量和消息者信号量以及数据接收完成同步信号进行通信；步骤S22：在图像数据接收线程中，先解析接收到的数据，判断是否图像帧头部信息；如果是图像头部信息，通过解析头部信息得到当前帧图像的长度L，将之后的长度为L的信息进行组包，得到当前帧的图像数据，取出生产者信号量，即将其减1；步骤S23：将当前帧的图像数据放入共享内存中，并把消费者信号量加1，同时发出同步信号；步骤S24：在图像数据处理线程中，当得到同步信号到来时，将消费者信号量减1，然后处理图像数据，最后将生产者信号量加1。4.根据权利要求1所述的一种基于深度学习的智能仓库巡检方法，其特征在于：步骤S3中，所述通过基于深度学习的SSD目标检测算法对标有化学用品信息的二维码进行识别具...

【专利技术属性】
技术研发人员：郑茜颖，吴建耀，程树英，杨炳坤，罗征，翁道臣，戴龙云，曾超，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35