一种零部件缺失检测方法及系统技术方案

本申请实施例公开了一种零部件缺失检测方法及系统，所述方法包括拍摄待检测目标获得待检测目标图像；分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；输出所述深度学习算法的检测结果和图像处理算法的检测结果。采用本申请实施例所提供的技术方案，具有以下优点：1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。

【技术实现步骤摘要】
一种零部件缺失检测方法及系统
本申请涉及视觉检测
，特别是涉及一种零部件缺失检测方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本申请相关的
技术介绍
，并不必然构成现有技术。机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉检测技术具有非接触、速度快、准确率高和智能化等优点，近年来已经在工业中得到广泛的应用。随着现代图像处理技术混合机器视觉设备的发展，机器视觉检测技术更广泛的应用于解决更复杂的问题。但是，却很少应用于大批量生产中，来提高生产效率，降低人工成本。
技术实现思路
本申请实施例中提供了一种零部件缺失检测方法及系统，以利于解决现有技术中存在的技术问题。第一方面，本申请实施例提供了一种零部件缺失检测方法，包括：拍摄待检测目标获得待检测目标图像；分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；输出所述深度学习算法的检测结果和图像处理算法的检测结果。优选地，所述通过深度学习算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：对深度学习算法的网络结构进行训练，获得完成训练的网络；>将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果。优选地，所述对深度学习算法的网络结构进行训练，获得完成训练的网络，包括：构建训练数据集；将所述训练数据集输入所述网络结构，经过N次迭代训练，获得完成训练的网络；其中，所述训练数据集输入所述网络结构的训练过程包括：将所述训练数据集输入所述网络结构中，提取所述训练数据集的目标特征和候选框；确定所述候选框的参数信息，对所述候选框进行聚类分析，其中，所述候选框的参数信息包括候选框的个数、候选框的尺寸、候选框与真实框的交并比IOU阈值、置信度阈值；通过所述网络结构的前向传播获得目标的检测框和目标的类别信息；计算回归损失函数，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。优选地，所述构建训练数据集包括：采集待检测目标的视频图像；对所述视频图像进行数据扩充，所述数据扩充方式包括以下方式的一种或其组合：水平和垂直翻转、随机剪裁、随机角度的旋转、改变图像对比度和亮度；对所述视频扩充后的视频图像随机擦除一矩形区域，并对擦除后的矩形区域随机填充0-255内的像素值；对所述随机擦除后的视频图像进行目标的位置和类别标记，获得训练数据集。优选地，将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，包括：对所述待检测目标图像进行预处理，所述预处理包括归一化、尺度缩放和色度空间转化处理；将预处理后的待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，其中，若所述待检测目标图像中包含目标，则所述深度学习算法检测结果中包含所述目标的检测框位置信息与类别标签。优选地，输出所述深度学习算法的检测结果，包括：根据原始的待检测目标图像的缩放比例，对所述检测框进行反向比例变换，在所述原始的待检测目标图像中标记出所述检测框，并显示所述检测结果中目标的类别标签。优选地，通过图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：将所述待检测目标图像转换为灰度图；在所述灰度图中裁减出待检测部位；对所述待检测部位图像进行二值化处理；对所述二值化处理后的图像进行区域填充，其中，填充连通区域面积在3000-5000的区域；对所述区域填充后的图像进行开运算；对所述开运算后的图像进行区域连接；选取面积在3000-5000的连通区域；对选取的连通区域进行画圆，所述圆为包含连通区域的最小圆，其中，若存在圆心坐标，则表征零部件不缺失，若不存在圆心坐标，则表征零部件缺失。优选地，所述拍摄待检测目标获得待检测目标图像，包括：在拍摄待检测目标时进行补光，通过触发器触发拍摄待检测目标获得待检测目标图像。第二方面，本申请实施例提供了一种基于机器学习的零部件缺失检测系统，包括处理器、存储器、显示器和摄像头；所述存储器用于存储处理器的执行指令；所述摄像头用于拍摄待检测目标获得待检测目标图像；所述显示器用于输出所述深度学习算法的检测结果和图像处理算法的检测结果；所述处理器包括CPU和GPU，所述CPU和GPU被配置为执行权利要求1-7任一项所述的方法。优选地，所述系统还包括触发器和补光模组；所述补光模组用于在摄像头拍摄待检测目标时进行补光；所述触发器用于触发摄像头拍摄待检测目标。采用本申请实施例所提供的技术方案，具有以下优点：1、将深度学习算法和图像处理算法相结合，检测精度高，鲁棒性较好；2、采用机器视觉进行缺失检测，节约成本，提高效率且不需过多人为的干预和控制。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种零部件缺失检测方法流程示意图；图2为本申请实施例提供的另一种零部件缺失检测方法流程示意图；图3为本申请实施例提供的另一种零部件缺失检测方法流程示意图；图4为本申请实施例提供的另一种零部件缺失检测方法流程示意图；图5为本申请实施例提供的另一种零部件缺失检测方法流程示意图；图6为本申请实施例提供的一种零部件缺失检测系统结构示意图。具体实施方式为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。为了提高工业生产中的生产效率，降低人工成本，本申请实施例提供了一种零部件缺失检测方法及系统。图1为本申请实施例提供的一种零部件缺失检测方法流程示意图，如图1所示，该方法主要包括以下步骤。步骤S100：拍摄待检测目标获得待检测目标图像。可理解，该待检测目标为需要进行零部件缺失检测的目标，可以为生产线上的产品，或者产品的一部分。例如，在进行云台产品的组装时，需要检测云台上所有的螺丝是否都安装到位。另外，为了提高本文档来自技高网...

【技术保护点】
1.一种零部件缺失检测方法，其特征在于，包括：/n拍摄待检测目标获得待检测目标图像；/n分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；/n输出所述深度学习算法的检测结果和图像处理算法的检测结果。/n

【技术特征摘要】
1.一种零部件缺失检测方法，其特征在于，包括：
拍摄待检测目标获得待检测目标图像；
分别通过深度学习算法和图像处理算法对所述待检测目标图像中的待检测目标进行零部件缺失检测；
输出所述深度学习算法的检测结果和图像处理算法的检测结果。


2.根据权利要求1所述的方法，其特征在于，所述通过深度学习算法对所述待检测目标图像中的待检测目标进行零部件缺失检测，包括：
对深度学习算法的网络结构进行训练，获得完成训练的网络；
将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果。


3.根据权利要求2所述的方法，其特征在于，所述对深度学习算法的网络结构进行训练，获得完成训练的网络，包括：
构建训练数据集；
将所述训练数据集输入所述网络结构，经过N次迭代训练，获得完成训练的网络；
其中，所述训练数据集输入所述网络结构的训练过程包括：
将所述训练数据集输入所述网络结构中，提取所述训练数据集的目标特征和候选框；
确定所述候选框的参数信息，对所述候选框进行聚类分析，其中，所述候选框的参数信息包括候选框的个数、候选框的尺寸、候选框与真实框的交并比IOU阈值、置信度阈值；
通过所述网络结构的前向传播获得目标的检测框和目标的类别信息；
计算回归损失函数，根据梯度下降算法和反向传播算法调整网络结构中参数的取值。


4.根据权利要求3所述的方法，其特征在于，所述构建训练数据集包括：
采集待检测目标的视频图像；
对所述视频图像进行数据扩充，所述数据扩充方式包括以下方式的一种或其组合：水平和垂直翻转、随机剪裁、随机角度的旋转、改变图像对比度和亮度；
对所述视频扩充后的视频图像随机擦除一矩形区域，并对擦除后的矩形区域随机填充0-255内的像素值；
对所述随机擦除后的视频图像进行目标的位置和类别标记，获得训练数据集。


5.根据权利要求2所述的方法，其特征在于，将所述待检测目标图像输入所述完成训练的网络，获得深度学习算法检测结果，包括：
对所述待检测目标图像进行预处理，所述预处理包括归一化、尺度缩放和色...

【专利技术属性】
技术研发人员：张燕，陈峰，焉保卿，杨玉宽，赵明建，朱化国，刘文韬，
申请(专利权)人：山东万腾电子科技有限公司，
类型：发明
国别省市：山东;37