一种工具柜中工具存在状态的视觉识别方法技术

本申请公开了一种工具柜中工具存在状态的视觉识别方法，包括获取鱼眼相机视频中的图像；对原图进行矫正，矫正后切割获得待识别图像；读取标定位置，并将工具从待识别图像中切割出来；利用两种识别算法对工具实时状态与标准状态做比对，并将结果集成；根据集成识别结果，将显示效果发送到前端界面。该方法取代了传统的手工方式的“工具三清点”工作，避免手工清点工具的低效方式，能够满足航空、航天、船舶、铁路、电力等领域工具精益管理要求。电力等领域工具精益管理要求。电力等领域工具精益管理要求。

【技术实现步骤摘要】
一种工具柜中工具存在状态的视觉识别方法


[0001]本申请提供一种工具柜中工具存在状态的视觉识别方法，涉及工具的视觉识别


技术介绍

[0002]对任何行业的操作者来说，工具是一项重要不可或缺的资产，工作人员每天与工具打交道，如何快捷方便的领用、归还，查找和维护这些工具，对企业管理来说是非常重要的工作。
[0003]目前，对于工具都是采用人工三清点的方式进行查看，在盘点工具的过程中，工具种类多样、数量大，盘点工作任务繁重，工具丢失后找不到相关责任人，给工具管理带来不便和隐患。

技术实现思路

[0004]本申请要解决的技术问题是如何对工具柜中工具的存在状态自动化识别从而辅助对工具的管理。
[0005]为了解决上述技术问题，本申请的技术方案是提供了一种工具柜中工具存在状态的视觉识别方法，对鱼眼相机拍摄到的图片进行处理，进行工具自动识别，然后在前端界面展示识别结果，实现工具的高效管理；具体包括以下步骤：
[0006]一种工具柜中工具存在状态的视觉识别方法，其特征在于，包括以下步骤：
[0007]步骤一、使用鱼眼相机获取到视频流，并从视频流中提取原始图像；
[0008]步骤二、对原始图像进行圆形检测，识别出鱼眼相机有效区域，并根据圆形区域的最小外接矩形对图像进行切割，然后将切割后的图像进行矫正，将鱼眼图像展开为正常视野图像，用作后续工具存在状态的识别；
[0009]步骤三、根据预先标注好的内衬对应的工具位置对矫正后的图像进行分割处理，将单个工具位置的图像从图像中分割，得到单个工具图像，单个工具图像作为识别算法的输入图像；
[0010]步骤四、分别利用图像色差识别方法和图像哈希识别方法将分离出的单个工具图像与工具存在情况下的标准参考图像进行比较，比较前获取标定阈值，并将两种结果通过组合评价公式计算后得到识别结果；
[0011]步骤五、根据识别结果，将识别信息通过后端服务提供给前端用来向用户展示。
[0012]其中，所述步骤四中标定阈值具体如下：
[0013]将所有工具全部取出；计算两种方法下的计算值，反复十次；
[0014]将所有工具全部放回，计算两种方法下的计算值，反复十次；
[0015]通过上述操作，得到工具存在与否的多个数值，将这些数值放在数轴上，通过取存在和不存在两个极端值的平均值作为最终工具状态识别的阈值：图像色差识别方法、图像哈希识别方法的阈值分别记为threshold1和threshold2，标定阈值为α1threshold1+α
2
threshold2，其中α1,α2分别是组合权重。
[0016]具体的，所述图像色差识别方法比较两个图像的公式如下，分别取出两个图像P1和P2的R，G，B通道，其中是两张图像R通道的所有元素和的均值，指的是P1的R通道所有元素和的均值，同理；
[0017][0018]所述图像哈希识别方法计算过程中的离散余弦变换公式如下，图像大小为M
×
N，i,j是离散余弦变换前图像的行列索引，u,v是变换后图像的行列索引，f(i,j)为i行j列的像素值：
[0019][0020]通过变换后的图像F(u,v)计算t2：图像F(u,v)缩小尺寸为32*32
‑
>灰度化
‑
>公式计算DCT
‑
>取左上角8*8
‑
>计算均值
‑
>将DCT值与均值比较得到0和1矩阵
‑
>计算汉明距离t2；
[0021]所述组合评价公式为α1d(P1,P2)+α2(1
‑
t2)，比较α1d(P1,P2)+α2(1
‑
t2)和标定阈值，若α1d(P1,P2)+α2(1
‑
t2)大于标定阈值，则判断工具存在，若小于，则判断工具不存在。
[0022]本申请优点在于，工具的存在状态识别所用阈值提前标定，避免光照不均匀带来的影响，具体为将需要识别的某层工具全部取下或全部放置完备，记录两种状态下图像色差、图像哈希，分别对两种状态计算平均值作为工具存在与否的阈值判断。然后，分别使用两种识别算法对工具存在状态进行识别并取交集。本申请通过采用标定阈值确保识别结果更加精准，大大降低误判率。
[0023]本申请提供的工具的视觉识别技术，对用户来讲，更加智能化和自动化，通过算法自动识别工具和盘点工具。同时，将识别结果展示到前端界面；用户取出和归还工具的记录都被存储在数据库中，可对工具的使用者进行自动跟踪，避免纸质记录的繁琐工作。
附图说明
[0024]图1为本申请工具柜中工具存在状态的视觉识别方法流程图；
[0025]图2为原图中鱼眼相机部分识别示意图；
[0026]图3为校正后的图像对应工具位置分割处理示意图。
具体实施方式
[0027]为使本申请更明显易懂，兹以优选实施例，并配合附图作详细说明如下。
[0028]实施例
[0029]本实施例提供的是工具柜中工具存在状态的视觉识别方法，参见图1，步骤简要概括为：
[0030]获取鱼眼相机视频中的图像；
[0031]对原图进行矫正，矫正后切割获得待识别图像；
[0032]读取标定位置，并将工具从待识别图像中切割出来；
[0033]利用两种识别算法对工具实时状态与标准状态做比对，并将结果集成；
[0034]根据集成识别结果，将显示效果发送到前端界面。
[0035]其中，对原始图像进行切割矫正，获得图像后根据预先标定的所有工具的位置将工具从图片中分离出来，具体包括从原图中计算鱼眼图像最小包络圆，并将该圆裁剪，裁剪后利用矫正算法将鱼眼相机矫正为普通视角图像，矫正后将不包含工具部分裁减掉，将裁剪后的图像作为待识别图像。
[0036]如图2所示，虚线为鱼眼相机拍摄的有效区域，粗线即为最小外接矩形区域。
[0037]如图3所示，通过预先标定的位置将校正后的图像进行工具零件分割。
[0038]具体的，对工具存在状态的视觉识别，详细步骤如下：
[0039]S1使用鱼眼相机通过网络视频流协议获取到视频流，并从视频流中提取原始图像。
[0040]S2对原始图像进行圆形检测，识别出鱼眼相机有效区域，并根据圆形区域的最小外接矩形对图像进行切割，然后将切割后的图像进行矫正，将鱼眼图像展开为正常视野图像，用作后续工具存在状态的识别。
[0041]S3根据预先标注好的内衬对应的工具位置对矫正后的图像进行分割处理，将单个工具位置的图像从图像中分割，得到单个工具图像，单个工具图像作为识别算法的输入图像。
[0042]S4通过两种方法(图像色差识别方法和图像哈希识别方法)分别将分离出的单个工具图像与工具存在情况下的标准参考图像进行比较(比较前获取标定阈值)，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工具柜中工具存在状态的视觉识别方法，其特征在于，包括以下步骤：步骤一、使用鱼眼相机获取到视频流，并从视频流中提取原始图像；步骤二、对原始图像进行圆形检测，识别出鱼眼相机有效区域，并根据圆形区域的最小外接矩形对图像进行切割，然后将切割后的图像进行矫正，将鱼眼图像展开为正常视野图像，用作后续工具存在状态的识别；步骤三、根据预先标注好的内衬对应的工具位置对矫正后的图像进行分割处理，将单个工具位置的图像从图像中分割，得到单个工具图像，单个工具图像作为识别算法的输入图像；步骤四、分别利用图像色差识别方法和图像哈希识别方法将分离出的单个工具图像与工具存在情况下的标准参考图像进行比较，比较前获取标定阈值，并将两种结果通过组合评价公式计算后得到识别结果；步骤五、根据识别结果，将识别信息通过后端服务提供给前端用来向用户展示。2.如权利要求1所述的一种工具柜中工具存在状态的视觉识别方法，其特征在于，所述步骤四中标定阈值具体如下：将所有工具全部取出；计算两种方法下的计算值，反复十次；将所有工具全部放回，计算两种方法下的计算值，反复十次；通过上述操作，得到工具存在与否的多个数值，将这些数值放在数轴上，通过取存在和不存在两个极端值的平均值作为最终工具状态识别的阈值：图像色差识别方法、图像哈希识别方法的阈值分别记为threshold1和threshold2，标定阈值为α1threshold1+α2threshold2，其...

【专利技术属性】
技术研发人员：李聪，肖鹏，刘欢，刘彧婕，廖春云，娄凡，
申请(专利权)人：上海航翼高新技术发展研究院有限公司，
类型：发明
国别省市：