一种定制家具五金配件袋数与类别智能核验方法技术

本发明专利技术公开了一种定制家具五金配件袋数与类别智能核验方法，包括，采集家具五金配件图像，获得图像数据集；将图像数据集划分为样本数多的训练集和样本数少的支持集；基于训练集和支持集对

【技术实现步骤摘要】
一种定制家具五金配件袋数与类别智能核验方法


[0001]本专利技术属于家具五金配件的识别与分类领域，尤其涉及一种定制家具五金配件袋数与类别智能核验方法
。

技术介绍

[0002]目前，定制家具五金配件企业中，五金配件订单的核验过程是采用传统人工的方式，根据订单信息，对分拣后的五金配件袋数与种类进行核验
。
然而，这种生产方式效率低下，因五金配件材料不一
、
大小不同
、
种类繁多等因素，导致会有多装
、
漏装等问题
。
而人工核验的方式，会随着订单量的增大，工人的工作量会急剧上升
。
且人工核验速度较慢，无法适应五金配件分拣线的生产节拍
。
如果为了加快核验速度，又可能导致五金配件的错发，而补发将导致额外的物流成本
。
因此，完全由人工核验五金配件订单的方法不能适应家具定制行业的发展，而在目标检测算法的辅助下，对分拣的五金配件预先识别其种类和每一类别五金配件的袋数，再将识别的信息与当前订单信息做比对
。
若比对结果一致，则进入下一个包装工序，若结果不一致，需交给工人进行确认或更改
。
能够极大地减少完全由工人比对订单信息的工作量，提高了核验订单工序的效率，使原本需要三个人完成的过程，减少至一人就可完成
。
[0003]在识别算法上，传统算法上是利用各种五金配件的颜色
、
形状
、
轮廓不一样，对其进行r/>Blob
面积分析和轮廓分析等简单特征识别，但是将小的五金配件装入一袋后，每个小铁钉在袋子的轮廓可能存在粘连
、
堆叠和遮挡，传统算法无法快速且准确的识别出其具体的种类和袋数
。
而如今普遍运用目标检测算法进行识别与分类，传统的监督学习型目标检测算法，需要将所有五金配件全部做成
YOLO
格式的标签文件，而工厂生产环境中，存在有些下单少的配件或物料库中新增加的配件
。
而这些五金配件和下单率高的配件组成的数据集会出现样本分布不均衡的情况，常用的五金配件在五金分拣线中经常出现，所采集到的样本较多；不常见或新增加的五金配件，所采集到的样本数量较少
。
如果采用一个核验模型，样本数量少的五金配件往往会识别错误，准确率不高
。

技术实现思路

[0004]为了减少数据采集的人力和时间的消耗，并合理利用五金配件数据集样本分布的特点，本专利技术提供了一种定制家具五金配件袋数与类别智能核验方法
。
[0005]本专利技术提供了如下方案：一种定制家具五金配件袋数与类别智能核验方法，包括：
[0006]采集家具五金配件图像，获得图像数据集；
[0007]将所述图像数据集划分为样本数多的训练集和样本数少的支持集；
[0008]基于所述训练集和支持集对
YOLOV8
模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；
[0009]获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将所述袋数信息和类别信息与订单信息进行比对；若比对
结果一致，则完成核验；若比对结果不一致，则将所述袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验
。
[0010]优选地，采集家具五金配件图像，获得图像数据集的过程包括，
[0011]将家具五金配件放置于具有背景为纯色的桌面上，在桌面上方设置工业相机并后接定焦镜头，安装完成后放置于桌面的支架上，采集所述家具五金配件的图像，获得图像数据集；将所述图像数据集以
YOLO
格式文件标注每个样例的位置信息和类别信息，组成训练集和支持集
。
[0012]优选地，基于所述训练集和支持集对
YOLOV8
模型进行训练，对应获得基类检测模型和小样本检测模型的过程包括，
[0013]将所述图像数据集中常用的五金配件的训练集作为基类输入到
YOLOV8
模型中进行训练，获得基类检测模型；
[0014]将所述图像数据集中样本数少的支持集作为新类输入到改进的
YOLOV8
模型中进行微调，获得增加模型泛化性且具有识别新类能力的小样本检测模型
。
[0015]优选地，获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型进行识别的过程包括，
[0016]第一阶段：将所述待检测的五金配件图像输入基类检测模型，识别获得所述家具五金配件的袋数信息，同时识别出所述家具五金配件的类别信息并得到每个预测框的置信度；
[0017]判断所述预测框的置信度是否高于第一预设阈值
A
；若所述置信度大于第一预设阈值
A
，则将预测框中对应的类别信息直接输出并与订单信息进行对比；若所述置信度小于第一预设阈值
A
，则将预测框中的图像裁切出来，作为第二阶段的输入，进行再次识别；
[0018]第二阶段：将裁切出来的图像利用小样本检测模型进行再次识别，获得类别信息和预测置信度，判断所述预测置信度是否大于第二预设阈值
B
，若是，则将类别信息直接输出与当前的订单信息进行对比核验；若否，进入到人工核验；
[0019]当识别信息和订单信息的类别存在不一致的情况，以及当小样本检测模型输出的预测置信度小于第二预设阈值
B
，对应的五金配件则由人工进行核验
。
[0020]优选地，所述第二阶段中，基于小样本检测模型进行识别的过程包括，对小样本检测模型进行训练，基于训练后的小样本检测模型进行检测；
[0021]其中，对小样本检测模型进行训练，所述训练的过程包括，
[0022]通过
YOLOV8
模型的整体框架加上小样本分支组成获得小样本检测模型，将样本数少的支持集输入到小样本检测模型中训练，在小样本分支中，将主干网络中
P3、P4、P5
尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理，分离出位置特征，得到包含类别特征的特征图；
[0023]将所述特征图输入到聚合平均模块中，通过特征聚合平均的作用，将所述特征图压缩为原型向量，得到每一个类别的原型向量后，提取出平均类别特征原型，作为类别损失函数的参数之一；
[0024]基于训练后的小样本检测模型进行检测的过程包括，
[0025]将裁切后的图像输入到主干网络和特征过滤模块中，得到所述特征图，经过聚合平均模块后，得到原型向量，再将查询图片输入到所述主干网络中，得到特征矩阵，然后通
过以像素为单位的乘法运算与原型向量相乘来激活特征，然后将激活的特征送入检测头，输出预测框类别的置信度
。
[0026]优选地，将主干网络中
P3、P4、P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种定制家具五金配件袋数与类别智能核验方法，其特征在于，包括：采集家具五金配件图像，获得图像数据集；将所述图像数据集划分为样本数多的训练集和样本数少的支持集；基于所述训练集和支持集对
YOLOV8
模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型；获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型识别五金配件的袋数信息和类别信息，并将所述袋数信息和类别信息与订单信息进行比对；若比对结果一致，则完成核验；若比对结果不一致，则将所述袋数信息和类别信息与订单信息不一致的五金配件，交由人工完成核验
。2.
根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，采集家具五金配件图像，获得图像数据集的过程包括，将家具五金配件放置于具有背景为纯色的桌面上，在桌面上方设置工业相机并后接定焦镜头，安装完成后放置于桌面的支架上，采集所述家具五金配件的图像，获得图像数据集；将所述图像数据集以
YOLO
格式文件标注每个样例的位置信息和类别信息，组成训练集和支持集
。3.
根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，基于所述训练集和支持集对
YOLOV8
模型及其改进的分支进行训练，对应获得基类检测模型和小样本检测模型的过程包括，将所述图像数据集中常用的五金配件的训练集作为基类输入到
YOLOV8
模型中进行训练，获得基类检测模型；将所述图像数据集中样本数少的支持集作为新类输入到改进的
YOLOV8
模型中进行微调，获得增加模型泛化性且具有识别新类能力的小样本检测模型
。4.
根据权利要求1所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，获取待检测的五金配件图像，利用所述基类检测模型和小样本检测模型进行识别的过程包括，第一阶段：将所述待检测的五金配件图像输入基类检测模型，识别获得所述家具五金配件的袋数信息，同时识别出所述家具五金配件的类别信息并得到每个预测框的置信度；判断所述预测框的置信度是否高于第一预设阈值
A
；若所述置信度大于第一预设阈值
A
，则将预测框中对应的类别信息直接输出并与订单信息进行对比；若所述置信度小于第一预设阈值
A
，则将预测框中的图像裁切出来，作为第二阶段的输入，进行再次识别；第二阶段：将裁切出来的图像利用小样本检测模型进行再次识别，获得类别信息和预测置信度，判断所述预测置信度是否大于第二预设阈值
B
，若是，则将类别信息直接输出与当前的订单信息进行对比核验；若否，进入到人工核验；当识别信息和订单信息的类别存在不一致的情况，以及当小样本检测模型输出的预测置信度小于第二预设阈值
B
，对应的五金配件则由人工进行核验
。5.
根据权利要求4所述的定制家具五金配件袋数与类别智能核验方法，其特征在于，所述第二阶段中，基于小样本检测模型进行识别的过程包括，对小样本检测模型进行训练，基于训练后的小样本检测模型进行检测；其中，对小样本检测模型进行训练，所述训练的过程包括，
通过
YOLOV8
模型的整体框架加上小样本分支组成获得小样本检测模型，将样本数少的支持集输入到小样本检测模型中训练，在小样本分支中，将主干网络中
P3、P4、P5
尺度的特征图作为输入，经过特征过滤模块进行特征过滤处理，分离出位置特征，得到包含类别特征的特征图；将所述特征图输入到聚合平均模块中，通过特征聚合平均的作用，将所述特征图压缩为原型向量，得到每一个类别的原型向量后，提取出平均类别特征原型，作为类别...

【专利技术属性】
技术研发人员：马礼斌，胡展坤，刘建圻，柯江，
申请(专利权)人：广东皮阿诺科学艺术家居股份有限公司，
类型：发明
国别省市：