一种基于深度学习与多目标分布排序的航空插头孔位识别方法技术

本发明专利技术公开了一种基于深度学习与多目标分布排序的航空插头孔位识别方法，包括以下步骤：启动相机并初始化，捕获航空插头图像，训练插头定位网络模型在工业场景图像中定位航空插头目标，判断候选目标是否满足尺寸约束条件，从图像中裁剪插头孔位区域，训练孔位识别网络模型识别插头孔位区域的孔位与防错销钉阵列，根据多目标排序原理编号航空插头孔位阵列，判定航空插头孔位安装状态，匹配数据库并输出识别结果。该基于深度学习与多目标分布排序的航空插头孔位识别方法通过拍摄航空插头图像，视觉识别航空插头与插头孔位，对插头孔位进行排序编号，判定航空插头的安装结果，节省了检验航空插头孔位安装状态的人力成本且效率高。

An Aviation Plug Location Recognition Method Based on Deep Learning and Multi-objective Distributed Sorting

【技术实现步骤摘要】
一种基于深度学习与多目标分布排序的航空插头孔位识别方法
本专利技术涉及飞机制造智能装配领域，尤其涉及一种基于深度学习与多目标分布排序的航空插头孔位识别方法。
技术介绍
在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中导线插头装配占有较大比重。航空插头主要用来连接不同设备之间的电气通信，飞机上航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果，导线从航空插头背面安装至航空插头的孔位内后，需要对航空插头的安装结果进行校验，该过程严重依赖人工，工人需要区分航空插头正面已安装导线的孔位和未安装导线的孔位，搜索该插头在数据库中存储的安装状态结果，通过比对安装结果是否保持一致进而判断该插头中是否存在漏装导线的孔位，或者错装导线的孔位。该过程繁琐复杂、效率低下，难以适应飞机批量的快速生产需求。
技术实现思路
本专利技术提供了一种基于深度学习与多目标分布排序的航空插头孔位识别方法。为了实现上述目的，本专利技术采用了如下工作流程：S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像。S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标。S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域。S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测。S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号。S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果。S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。优选地，所述S3步骤中的插头定位网络模型训练方法包括：S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1。S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2。S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型。S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数。S35、训练完成后，保存插头定位网络模型。优选地，所述S6步骤中的孔位识别网络模型训练方法包括：S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别。S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4。S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型。S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数。S65、训练完成后，保存孔位识别网络模型。进一步的，所述S32和S62中的图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作。进一步的，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。优选地，所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。优选地，所述S7步骤中的阵列多目标排序方法包括：S71、根据所述S6中输出的防错销钉的坐标计算插头孔位区域的几何中心点以该点为极点，引向长宽比最大的防错销钉的坐标的射线为极轴建立级坐标系。S72、计算所述S6中输出的每个插头孔位的坐标Pi＝(xi,yi)在极坐标系中的极角和极径S73、根据极径γi距离极点的距离将插头孔位坐标自外向内分为M个区段，第j个区段上的插头孔位坐标为自外向内根据每一层区段上的插头孔位坐标的极角大小对插头孔位进行排序，依此顺序对插头孔位区域的插头孔位进行编号。优选地，所述S8步骤中根据插头孔位的像素颜色判别孔位中是否安装导线。该专利技术的有益之处是，通过相机拍摄航空插头图像，视觉识别图像中的航空插头与插头孔位，对检测出的插头孔位进行分布排序与编号，判断插头孔位的安装状态，得知航空插头的安装结果，代替人工检验航空插头的安装结果，节省了人力成本且效率高；航空插头的插头孔位尺寸小，难以直接在航空插头图像中识别插头孔位，首先训练插头定位网络模型从图像中检测插头孔位区域，将插头孔位区域从图像中裁剪下来形成新的图像，继而训练孔位识别网络模型从插头孔位区域识别插头孔位，设计合理，能够分别从含有复杂工业背景的图像中检测航空插头和插头孔位，提高了识别结果的准确率；插头定位深度神经网络和孔位识别深度神经网络中特征提取网络的四层卷积层和池化层能够有效提取航空插头和插头孔位的特征，特征融合网络能够融合图像中不同尺度的提取特征，提高了网络的使用性能；航空插头候选目标的尺寸约束条件可以过滤图像中的噪声目标，保证预测的候选目标为航空插头，提高了航空插头定位的可靠性；结合防错销钉和插头孔位的阵列特征，在极坐标系下对插头孔位多目标进行排序编号，简单易行且适应性强；安装有导线的插头孔位为黄铜色，与未安装导线的插头孔位颜色差异明显，采用像素颜色判别插头孔位是否安装有导线的方式效率高且保证了准确率。附图说明图1为本专利技术的航空插头孔位识别流程图；图2为本专利技术的典型航空插头的结构示意图；图3为本专利技术的典型航空插头的孔位分布示意图；图4为本专利技术的航空插头孔位识别过程的示意图；图5为本专利技术的深度神经网络的结构示意图；图6为本专利技术的单层航空插头孔位排序方法示意图；图7为本专利技术的多层航空插头孔位编号方法示意图。图2中，1、插头孔位，2、插头正面，3、防错销钉。图4中，31、插头坐标，61、防错销钉坐标，62、插头孔位坐标。从图2中可看出典型航空插头的形状与结构。从图3中可看出典型航空插头的插头孔位和防错销钉的排列方式。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。在本专利技术的描述中，需要理解的是，术语“上”、“下”、“本文档来自技高网...

【技术保护点】
1.一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，该方法包含：S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度；S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像；S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标；S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像；S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域；S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测；S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号；S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果；S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。...

【技术特征摘要】
1.一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，该方法包含：S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度；S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像；S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标；S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像；S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域；S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测；S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号；S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果；S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。2.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S3步骤中的插头定位网络模型训练方法包括：S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1；S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2；S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型；S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；S35、训练完成后，保存插头定位网络模型。3.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S6步骤中的插头定位网络模型训练方法包括：S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐...

【专利技术属性】
技术研发人员：郑联语，李树飞，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11