一种面向小批量场景的少样本实例分割零件检测方法及系统技术方案

本发明专利技术公开了一种面向小批量场景的少样本实例分割零件检测方法及系统，所述方法包括：确定检测区域，固定机位获取待标注对象视频与参考背景图像，并对待标注对象赋予标签；将对象视频离散成多张图像，与参考图像输入到基于参考的前景分割模型中，获取目标前景的Alpha蒙版，并结合样本标签生成实例标注，再使用常规实例分割数据增强手段形成零件训练集；使用零件训练集与人体关键部位训练集结合训练轻量化改进的Mask R

【技术实现步骤摘要】
一种面向小批量场景的少样本实例分割零件检测方法及系统


[0001]本专利技术涉及小批量场景的零件检测
，尤其涉及一种面向小批量场景的少样本实例分割零件检测方法及系统。

技术介绍

[0002]零件识别是部件装配、装箱的重要基础，是产品生产过程中不可缺少的一环。小批量检测场景一个批次检测的零件种类少、数量少，同一零件的重复率低，并且有时需要灵活适应不同批次的零件种类需求。在这种自由性大，检测重复性较小的场景，使用自动化设备代价高昂，一般采用全人工的检测方法。人工检测具有很强的主观性，不同检测员检测结果存在偏差，且检测过程无法溯源。
[0003]零件检测识别方法有基于传统机器视觉方法，如CN114549513A；有基于深度学习方法，如专利CN114218692A、CN114972967A。
[0004]上述具体专利对比文件为：
[0005]1)“零件识别方法、装置、质检方法、电子设备及存储介质”，专利号CN114549513A。该专利技术公开了一种零件识别方法、装置、质检方法、电子设备及存储介质，使用机器视觉方法获取待测零件外轮廓信息及多个类型的标准零件外轮廓信息，按照预设的偏转间隔分别获取待测零件的第一距径比集合及多个标准零件分别对应的多个第二距径比集合；根据第一距径比集合与多个第二距径比集合的相关性及最小距离确定待测零件的类型。通过预设的偏转间隔进行取样获取第一距径比集合和第二距径比集合能有效减少分析数据的数据量，并采用距径比进行比对分析，模糊化了具体尺寸参数，在不需要进行缩放操作的前提下有效确保零件识别的准确性。
[0006]2)“基于深度学习与模型仿真的相似零件识别系统、介质和方法”，专利号CN114218692A。该专利技术公开了一种基于深度学习与模型仿真的相似零件识别系统、介质和方法。使用零件的三维模型生成零件仿真图像，获取零件图像最小包围盒坐标、生成相似零件识别网络训练集、进行YOLO4神经网络训练、根据测试集结果构建最佳识别视角集、控制相机采集现场零件图像、根据识别结果的置信度判断是否通过运动转台调整相机视角下相似零件位姿，再重新进行识别。利用三维模型的仿真图生成训练集，缩短了样本制作时间，并通过旋转台解决了单一视角下零件遮挡带来的识别精度下降问题。
[0007]3)“一种飞机零件识别与计数方法及检测系统”，专利号CN114972967A。该专利技术公开了一种飞机零件识别与计数方法及检测系统，使用机器视觉方式采集传送带上的零件图像，使用LabelImg标注，使用DarkNet
‑
53多分支深度卷积网络进行训练、检测，获得那个键密度图，对零件密度图进行积分得到零件个数估计。通过直接使用摄像头获取飞机零件平铺图，即可实现零件识别、计数，避免人为识别与计数或者传统识别计数方法造成的误差。

技术实现思路

[0008]为解决上述技术问题，本专利技术的目的是提供一种面向小批量场景的少样本实例分
割零件检测方法及系统。
[0009]本专利技术的目的通过以下的技术方案来实现：
[0010]一种面向小批量场景的少样本实例分割零件检测方法及系统，包括：
[0011]A确定检测区域，固定机位获取待标注对象视频与参考背景图像，并对待标注对象赋予标签；
[0012]B将对象视频离散成多张图像，与参考图像输入到基于参考的前景分割模型中，获取目标前景的Alpha蒙版，并结合样本标签生成实例标注，再使用常规实例分割数据增强手段形成零件训练集
[0013]C使用零件训练集与人体关键部位训练集D
human
训练轻量化Mask R
‑
CNN实例分割模型，获得本批次模型权重W
i
；
[0014]D通过设计人机共融检测流程对视频输入进行抽帧处理，同时检测固定视角下的人体关键部位与零件，获得零件的实例信息。
[0015]一种面向小批量场景的少样本实例分割零件检测系统，包括检测装置及上位机；
[0016]检测装置，包括相机、支架系统、检测平台、旋转装置与辅助照明系统，用于采集固定视角下的零件视频
‑
背景信息，并在此固定场景下进行零件检测应用；
[0017]上位机，用于分离目标前景，实现小样本实例分割数据的增强、后续实例分割模型的训练与推理。
[0018]与现有技术相比，本专利技术的一个或多个实施例可以具有如下优点：
[0019]通过人机共融方法，将检测任务划分给机器，将目标的移动任务划分给人，在小批量检测中实现了高精度、低成本的检测；通过界定实际检测范围确定数据采集范围，提高样本有效性、提升检测效果；通过前景分割算法提取视频中样本的Alpha蒙版，生成原始实例数据集，极大减少了实例样本数据标注工作量；使用轻量化Mask R
‑
CNN模型，结合人机共融检测流程，减少了数据处理量，提升检测速度。
附图说明
[0020]图1是面向小批量场景的少样本实例分割零件检测方法流程图；
[0021]图2是人机共融检测详细流程；
[0022]图3是检测装置示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本专利技术作进一步详细的描述。
[0024]如图1所示，为面向小批量场景的少样本实例分割零件检测方法，包括以下步骤：
[0025]步骤10采用人机共融方式确定检测区域，固定机位获取待标注对象视频与参考背景图像，并对待标注对象赋予标签；
[0026]步骤20将视频离散成多张图像，与参考图像输入到基于参考的前景分割模型中，获取目标前景的Alpha蒙版，并结合样本标签生成实例标注，再使用常规实例分割数据增强手段形成零件训练集；
[0027]步骤30使用零件训练集与人体关键部位训练集结合训练轻量化改进的Mask R
‑
CNN模型，获得该批次模型权重；
[0028]步骤40设计人机共融检测流程，对视频输入进行抽帧处理，同时检测固定视角下的人体关键部位与零件。
[0029]实施例：单个批次零件检测
[0030]上述步骤10所述检测区域由人机共融得到，通过统计在检测平台上不同人的零件放置习惯确定检测区域Ω
det
，乘上冗余系数c得到数据采集区域Ω
sample
，按照Ω
sample
放置旋转装置和待标注对象，并采集视频。同时采集对应的背景图像，给予视频
‑
背景目标类型文本标签。
[0031]上述步骤20包括照一定比例抽取对象视频帧，将视频帧与参考背景输入到改进的BGM v2模型中，得到精细的目标Alpha蒙版，并基于Alpha蒙版得到对象掩膜，生成对应实例分割标注数据，形成该批次零件的原始标注数据，再结合多层常规实例分割数据增强方法生成该批次最终训练数据
[0032]采用的改进BGM v2是批次无关的，通过零件检测任务前景分割公共本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向小批量场景的少样本实例分割零件检测方法，其特征在于，包括：A确定检测区域，固定机位获取待标注对象视频与参考背景图像，并对待标注对象赋予标签；B将对象视频离散成多张图像，与参考图像输入到基于参考的前景分割模型中，获取目标前景的Alpha蒙版，并结合样本标签生成实例标注，再使用常规实例分割数据增强手段形成零件训练集C使用零件训练集与人体关键部位训练集D
human
训练轻量化Mask R
‑
CNN实例分割模型，获得本批次模型权重W
i
；D通过设计人机共融检测流程对视频输入进行抽帧处理，同时检测固定视角下的人体关键部位与零件，获得零件的实例信息。2.如权利要求1所述的面向小批量场景的少样本实例分割零件检测方法，其特征在于，所述A中，检测区域由人机共融得到，通过统计在检测平台上不同人的零件放置习惯确定检测区域Ω
det
，乘上冗余系数c得到数据采集区域Ω
sample
，按照Ω
sample
放置旋转装置和待标注对象，并采集视频；同时采集对应的背景图像，给予视频
‑
背景目标类型文本标签。3.如权利要求1所述的面向小批量场景的少样本实例分割零件检测方法，其特征在于，所述B中，括照一定比例抽取对象视频帧，将视频帧与参考背景输入到改进的BGM v2模型中，得到精细的目标Alpha蒙版，并基于Alpha蒙版得到对象掩膜，生成对应实例分割标注数据，形成该批次零件的原始标注数据，再结合多层常规实例分割数据增强方法生成该批次最终训练数据4.如权利要求1所述的面向小批量场景的少样本实例分割零件检测方法，其特征在于，所述C中采用的D
human
为批次无关数据集，一次构建即可适用于任一批次零件检测；所述采用的Mask R
‑
CNN模型...

【专利技术属性】
技术研发人员：刘桂雄，周介祺，汪灵姿，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：