一种基于深度学习的智能工具管理方法技术

一种基于深度学习的智能工具管理方法，属于机器视觉技术领域。本发明专利技术解决了现有工具管理存在效率低，人力资源浪费的问题。本发明专利技术针对多个工具箱及工具箱内的工具进行标号，所述多个工具箱内均设置有多个类型相同或不同的工具，所述工具箱内每个工具均有固定的位置；且每个工具箱内的所有工具的标号均与工具箱的标号相同；采集待检测的工具箱的内部图像，利用图像识别的方法对待检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置；将获取的待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置信息存储至MySQL数据库中，利用MySQL数据库对工具进行智能管理。本发明专利技术适用于工具管理。

An intelligent tool management method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的智能工具管理方法
本专利技术属于机器视觉
，具体涉及一种智能工具管理方法。
技术介绍
工具管理是一种组织管理，是指对工具在出库、入库、使用、存储以及维护等方面所进行的管理。传统的工具管理通常依赖于非自动化的且基于纸张文件的系统来记录工具的当前使用状态，工具仓库内的管理全部由人工实现，故而仓库管理的效率极低，可管理的仓库规模也较小，不适用大规模，这样不但浪费了大量的人力资源，还会因人为影响造成数据录入的速度慢以及准确率较低。随着生产生活水平的提高，工具的种类和数量也在快速增加，出入库的频率猛增。基于传统的人工纸张管理越来越无法适应管理规模的扩大。
技术实现思路
本专利技术的目的是为了解决现有工具管理存在效率低，人力资源浪费的问题，提出了一种基于深度学习的智能工具管理方法。本专利技术所述的一种基于深度学习的智能工具管理方法，该方法的具体步骤为：步骤一、针对多个工具箱及工具箱内的工具进行标号，所述多个工具箱内均设置有多个类型相同或不同的工具，所述工具箱内每个工具均有固定的位置；且每个工具箱内的所有工具的标号均与工具箱的标号相同；步骤二、采集待检测的工具箱的内部图像，利用图像识别的方法对待检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置；步骤三、将获取的待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置信息存储至MySQL数据库中，利用MySQL数据库对工具进行智能管理。>进一步地，步骤二所述采集检测的工具箱的内部图像，利用图像识别的方法对检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置的具体方法为：步骤S1、获取工具图像并进行标注，建立工具图像训练集，对FasterR-CNN模型进行训练；同时获取二值化的工具图像，并对二值化的工具图像进行标号，建立二值化标号图像训练集，利用训练集对LeNet网络模型进行训练；步骤S2、获取待检测的工具箱的内部图像；，步骤S3、利用训练后的LeNet网络模型对待检测的工具箱的内部图像中缺失工具的标号的进行识别，获取缺失工具的标号；同时，利用训练后的FasterR-CNN模型对待检测的工具箱的内部图像中缺失的工具在工具箱内的位置及缺失工具类的型进行识别。进一步地，步骤S3中所述获取缺失工具的标号的具体步骤为：步骤A1、利用字符区域检测算法与字符区域分割算法对待检测的工具箱的内部图像进行字符区域检测和字符区域分割，获取缺失工具的标号的二值化图像；A2、利用训练后的LeNet网络模型对缺失工具的标号的二值化图像进行标号识别，获取缺失工具的标号。进一步地，步骤S3中所述利用训练后的FasterR-CNN模型对待检测的工具箱的内部图像中缺失的工具在工具箱内的位置及缺失工具类的型进行识别的具体方法为：步骤B1、采用图像背景差分法对待检测的工具箱的内部图像进行差分处理，得到差分结果图；步骤B2、利用训练后的FasterR-CNN模型对差分结果图进行识别，获取缺失的工具在工具箱内的位置及工具类型。进一步地，步骤S1中所述建立工具图像训练集的具体方法为：对工具箱中工具或工具组合进行不同角度、光照、背景条件下拍照获得图像集，采用LabelImg软件对图像集中工具的标号和缺失工具的类别进行标注，获得工具图像训练集，工具的标号和工具箱的标号相同。进一步地，步骤S1中所述对FasterR-CNN模型进行训练的具体方法为：步骤S101、利用ZFNet多层卷积神经网络对工具图像训练集中的每个图像分别进行特征提取，获取特征图像集；步骤S102、将特征图像集中的特征图作为RPN网络的输入，获取特征图中每个候选区域的位置及每个候选区域的类型概率；所述候选区域的类型包括工具区域、背景区域和工具与背景的混合区域；步骤S103、利用ROI池化层网络对特征图中候选区域进行分割，并利用最大池化操作，获取固定尺寸的候选区域；步骤S104、通过全连接层与Softmax函数对固定尺寸候选区内的工具类别概率进行计算；步骤S105、利用边框回归对固定尺寸的候选区域的位置进行调整，获得多个目标框；步骤S105、利用非最大值抑制算法获取准确的目标框，完成FasterR-CNN模型训练。进一步地，步骤A1所述获取缺失工具的标号的二值化图像的具体方法为：步骤A11、对待识别的工具箱图像进行灰度处理，并进行边缘检测，对检测到的边缘做形态学闭运算，获取字符区域；步骤A12、利用霍夫变换实现对字符区域内字符的倾斜进行校正，并对字符区域进行二值化操作，突显出字符区域内的字符；步骤A13、从上向下扫描相邻像素点黑白跳变总次数，确定字符区域中的无效区域；并删除所述无效区域；获取准确的二值化字符区域；步骤A14、利用字符区域垂直投影的方式对准确的字符区域进行字符分割，获得完整的缺失工具标号的二值化图像。本专利技术提利用FasterR-CNN网络对工具进行识别与分类。识别工具的同时，利用LeNet网络对字符进行分类识别。精确识别具有唯一字符标记工具，实现科学高效管理。且利用卷积神经网络自动提取特征，大幅度降低了人工识别的错误率。针对成箱的工具，采用图像背景差分法检查缺失工具并通过基于区域提取的目标检测算法识别缺失工具。采用字符区域检测、字符区域分割以及经典神经网络识别工具箱编号。准确定位缺失工具类型与编号，并存储至MySQL数据库中，利用MySQL数据库对工具进行智能管理。在高频率工具租借仓库管理中替代人工检测，检测速度快，准确率高，更具实用性。附图说明图1为专利技术所述方法流程示意图；图2为FasterR-CNN网络整体结构图；图3为FasterR-CNN网络中选定区域流程图；图4为FasterR-CNN网络中识别定位流程图；图5为非最大值抑制算法的流程图；图6为字符图像识别流程图；图7为字符区域检测流程图；图8为工具字符样例；图9为闭操作效果图；图10为字符区域中间行的灰度差分变化曲线图；图11为非字符区域中间行的灰度差分变化曲线图；图12为精确字符区域图；图13为字符区域分割流程图；图14为二值化字符图像；图15为去除无效区域效果图；图16为像素跳变统计图；图17为字符分割结果图；图18为LeNet网络结构图；图19为工具箱固定位置图；图20为完整工具箱图片；图21为缺失工具的工具箱图片；图22为差分结果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本本文档来自技高网...

【技术保护点】
1.一种基于深度学习的智能工具管理方法，其特征在于，该方法的具体步骤包括：/n步骤一、针对多个工具箱及工具箱内的工具进行标号，所述多个工具箱内均设置有多个类型相同或不同的工具，所述工具箱内每个工具均有固定的位置；且每个工具箱内的所有工具的标号均与工具箱的标号相同/n步骤二、采集待检测的工具箱的内部图像，利用图像识别的方法对待检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置；/n步骤三、将获取的待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置信息存储至MySQL数据库中，利用MySQL数据库对工具进行智能管理。/n

【技术特征摘要】
1.一种基于深度学习的智能工具管理方法，其特征在于，该方法的具体步骤包括：
步骤一、针对多个工具箱及工具箱内的工具进行标号，所述多个工具箱内均设置有多个类型相同或不同的工具，所述工具箱内每个工具均有固定的位置；且每个工具箱内的所有工具的标号均与工具箱的标号相同
步骤二、采集待检测的工具箱的内部图像，利用图像识别的方法对待检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置；
步骤三、将获取的待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置信息存储至MySQL数据库中，利用MySQL数据库对工具进行智能管理。


2.根据权利要求1所述一种基于深度学习的智能工具管理方法，其特征在于，步骤二所述采集检测的工具箱的内部图像，利用图像识别的方法对检测的工具箱的内部图像进行识别，获取待检测的工具箱内缺失的工具的标号、类型及缺失工具在工具箱内的位置的具体方法为：
步骤S1、获取工具图像并进行工具标号，建立工具图像训练集，对FasterR-CNN模型进行训练；
同时获取二值化的工具图像，并对二值化的工具图像进行标号，建立二值化标号图像训练集，利用训练集对LeNet网络模型进行训练；
步骤S2、获取待检测的工具箱的内部图像；，
步骤S3、利用训练后的LeNet网络模型对待检测的工具箱的内部图像中缺失工具的标号的进行识别，获取缺失工具的标号；同时，利用训练后的FasterR-CNN模型对待检测的工具箱的内部图像中缺失的工具在工具箱内的位置及缺失工具类的型进行识别。


3.根据权利要求2所述一种基于深度学习的智能工具管理方法，其特征在于，步骤S3中所述获取缺失工具的标号的具体步骤为：
步骤A1、利用字符区域检测算法与字符区域分割算法对待检测的工具箱的内部图像进行字符区域检测和字符区域分割，获取缺失工具的标号的二值化图像；
A2、利用训练后的LeNet网络模型对缺失工具的标号的二值化图像进行标号识别，获取缺失工具的标号。


4.根据权利要求2所述一种基于深度学习的智能工具管理方法，其特征在于，步骤S3中所述利用训练后的FasterR-CNN模型对待检测的工具箱的内部图像中缺失的工具在工具箱内的位置及缺失工具类的型进行识别的具体方法为：

【专利技术属性】
技术研发人员：柳潆林，
申请(专利权)人：柳潆林，
类型：发明
国别省市：黑龙;23