【技术实现步骤摘要】
本专利技术涉及，尤其涉及一种基于图像识别的库房出入库管理方法及系统。
技术介绍
1、传统的出入库管理方式存在数据不准确、时效性低、资源浪费和管理困难等问题。为了解决这些问题，许多企业正在转向数字化的仓库管理系统，利用自动化、智能化的技术手段来提高出入库管理的效率和准确性。
2、而且现有的方案，一般是是将ic标签的识别信息与物品的编号建立关联并存储于数据库，例如需要由读取器读取已被安装于物品的ic标签，接着由扫描仪扫描对物品赋予的条形码的作业；通过手工作业将表示ic标签的识别信息与物品的编号的对应关系的信息向数据库输入的作业等。
3、然而，对所保管的全部的物品进行这样的作业是繁琐的，存在作业者的负担大，降低出入库效率，而且容易出现物品与标签不一致的错误，可靠性低。
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种基于图像识别的库房出入库管理方法及系统，实现对货物和员工的自动识别和管理，提高库房管理的效率和精度，减少人工操作和错误，提升库房管理的智能化水平。
2、为实现上述目的，本专利技术采用以下技术方案：
3、一种基于图像识别的库房出入库管理方法，包括如下步骤：
4、当员工刷脸进入库房时，根据库房门口设置的人脸识别单元和员工卡刷卡设备进行人员身份确认，并根据系统数据判断该员工是进行入库操作还是出库操作；
5、入库操作：
6、a1:根据图像采集设备实时捕捉待出入库区的物品，利用计算机视觉
7、a2:管理人员将待出入库区的物品进行入库，并通过管理人员移动端更新库区数据上传至系统；
8、a3:管理系统根据数据库中数据与管理人员上传的库区数据进行比对，若存在错误则将错误数据发送至管理人员移动端，若无问题，则完成入库操作；
9、出库操作：
10、b1:当员工刷脸进入库房时，根据库房门口设置的人脸识别单元进行人员身份确认，获取员工所需取货的物资信息，并将所需取货的物资信息传送至管理人员移动端；
11、b2:管理人员根据所需取货的物资信息，获取对应的物品，并放置在待出入库区；
12、b3：根据图像采集设备实时捕捉待出入库区的物品，利用计算机视觉技术，对采集到的图像进行处理和分析，识别货物的种类和数量，并将识别到的信息与所需取货的物资信息进行比对，若存在错误,则将错误数据发送至管理人员移动端确认，若无问题，则完成出库操作；
13、所述对采集到的图像进行处理和分析，识别货物的种类和数量，具体如下：使用实例分割模型对图像进行处理，获取每个货物的像素级别分割结果，使用目标检测算法对图像中的货物进行检测和定位，获取每个货物的边界框位置和类别信息，将实例分割得到的像素级别分割结果和目标检测得到的边界框信息进行关联，从而得到每个货物的准确位置和形状信息，基于得到的货物位置和形状信息，对货物进行计数，得到最终的货物的种类和数量；
14、所述目标检测算法基于faster r-cnn对采集到的图像进行分析，识别待出入库区中的货物种类：
15、对采集到的库房图像进行预处理，并使用卷积神经网络来提取图像的特征；
16、使用rpn来生成候选的物体边界框，边界框包含了库房中的各种货物；
17、将rpn生成的候选边界框输入到分类器和边界框回归器中，分类器用于对每个候选边界框中的物体进行分类，以确定其所属的货物种类；边界框回归器用于精细调整边界框的位置；
18、所述rpn的损失函数表示为：
19、所述rpn的损失函数表示为：
20、l({p_i},{t_i})＝[sum_i l_{cls}(p_i,p_i^*)]/ncls+lambda*[sum_i p_i^*l_{reg}(t_i,t_i^*)]/nreg；
21、其中：l({p_i},{t_i})为总损失函数；p_i为模型对第i个目标的预测输出；sum_il_{cls}(p_i,p_i^*)表示对所有样本的分类损失进行求和；sum_i p_i^*l_{reg}(t_i,t_i^*)表示对对所有样本的回归损失p_i^l_{reg}(t_i,t_i^*)进行求和；t_i为第i个目标的真实标签；ncls为分类目标的总数量；l_{cls}(p_i,p_i^):为分类损失函数；nreg为回归目标的总数量；l_{reg}(t_i,t_i^*)为回归损失函数；lambda为用于调整分类损失和回归损失之间的权重；p_i^*是第i个候选边界框是否包含物体的标签；t_i^*是第i个候选边界框的真实边界框。
22、进一步的，所述人员身份确认，具体如下：
23、在库房门口设置人脸识别设备和员工卡刷卡设备，员工进入库房时需要进行刷脸识别，在刷脸识别通过后，使用员工卡进行二次确认，系统会读取员工的身份证信息或员工卡信息，与员工的人脸信息进行匹配；
24、使用预训练的卷积神经网络模型对员工的人脸图像进行特征提取和人脸识别，得到员工的人脸特征向量；
25、根据员工卡刷卡设备读取员工卡信息，得到员工的身份信息数据，基于哈希函数将文本信息转换成固定长度的特征向量；
26、将人脸特征向量和员工卡信息的特征向量进行融合；
27、使用余弦相似度衡量融合后的特征向量之间的相似度
28、similarity＝(a·b)/(||a||*||b||)；
29、其中a为实时识别的特征向量，b为系统数据库中存储的特征向量，||a||和||b||分别为它们的范数；根据匹配度量的结果来判断员工的身份是否有效，如果匹配度高于阈值，则认为匹配成功，员工身份确认有效；否则认为匹配失败，需要进一步确认或拒绝进入；
30、在确认通过后，系统会开启库房门禁，允许员工进入，如果任一认证环节未通过，系统将保持门禁关闭状态；
31、并根据员工的身份信息和当前时间，结合已有的入库和出库数据，判断员工是进行入库操作还是出库操作。
32、进一步的，所述回归损失函数和分类损失函数，具体如下：
33、l_{reg}(t_i,t_i*)＝sum_{j in{x,y,w,h}}smooth_{l1}(t_ij-t_i'j)；
34、其中，smooth_{l1}(x)＝0.5x^2,if|x|<1；|x|-0.5,otherwise；其中，t_ij表示第i个目标的真实边界框坐标中的第j个元素，t_i'j表示模型对第i个目标的预测边界框坐标中的第j个元素；(x,y)为中心坐标；(w,h)为宽高(w,h)；sum_{j\in{x,y,w,h}}表示对目标边界框的四个坐标(x,y,w,h)进行求和；
35、l_{reg}(t_i,t_i*)＝sum_{j in{x,y本文档来自技高网...
【技术保护点】
1.一种基于图像识别的库房出入库管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于图像识别的库房出入库管理方法，其特征在于，所述人员身份确认，具体如下：
3.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述回归损失函数和分类损失函数，具体如下：
4.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述边界框回归器，具体如下：
5.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述实例分割模型基于MaskR-CNN模型训练得到，具体如下：
6.根据权利要求5所述的基于图像识别的库房出入库管理方法，其特征在于，所述通过计算损失函数的梯度，并使用反向传播算法，将梯度信息传递回模型的参数，具体如下：
7.一种基于图像识别的库房出入库管理系统，其特征在于，包括设于库房门口的人脸识别单元和员工卡刷卡设备、设于待出入库区的图像采集设备、图像识别单元、数据分析单元和系统数据库；所述人脸识别单元和员工卡刷卡设备，用于进行人员身份确认；所述图像采集设
...【技术特征摘要】
1.一种基于图像识别的库房出入库管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于图像识别的库房出入库管理方法，其特征在于，所述人员身份确认，具体如下：
3.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述回归损失函数和分类损失函数，具体如下：
4.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述边界框回归器，具体如下：
5.根据权利要求1所述的基于图像识别的库房出入库管理方法，其特征在于，所述实例分割模型基于maskr-cnn模型训练得到，具体如下：
6.根据权利要求5所述的基于图像识别的库房...
【专利技术属性】
技术研发人员：张荔鹃，周厚源，洪巧文，王姣，林靖翔，姜同培，许世荣，魏利龙，姚丽伟，
申请(专利权)人：国网福建省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。