【技术实现步骤摘要】
本专利技术属于机器视觉，涉及基于深度学习的卡扣定位方法和系统。
技术介绍
1、智能制造已经改变了制造业的发展。虽然它提高了生产效率和产品质量，但在机械零件的自动化生产方面也面临着新的挑战。在工业生产中，机器视觉技术旨在将收集到的图像处理成为工业生产所需的相关信息，例如材料的位置和缺陷的存在，通过算法处理。这些信息被转换为指令代码，并传输给执行操作(如抓取和拆卸)的工业机器人。
2、在自动化镜片镀膜过程中，需要获取到零件卡扣的中心位置和偏转角度，使机器定位到零件卡扣的位置并调整角度进行自动化生产。由于卡扣拆解步骤位于整个镀膜流程的开始阶段，该操作的速度直接影响着整个镀膜流程的效率。目前拆解卡扣的操作仍采用人工拆解的方法，该方法效率低下。因此为了使镀膜整体流程自动化完成，需要设计一个准确、实时的卡扣识别定位算法，来辅助机器自动拆解卡扣，从而达到减少人工成本，加快生产效率的目的。
3、为了辅助机器自动拆解卡扣，需要获取目标卡扣的中心位置和相对于水平的偏转角度。对于该任务，具有以下难点：(1)卡扣数据类别多样；(2)背景复杂且与目标卡扣相似，识别易受干扰；(3)高精度的卡扣识别定位，由于机器笨拙繁重，若精度误差大则会使机器在拆卸过程中损坏镜片。目前的识别定位方法难以解决这些问题。
技术实现思路
1、本专利技术提供一种基于深度学习的卡扣定位方法，旨在解决现有卡扣定位中卡扣和背景的难区分问题和不同类型卡扣数据的泛化性问题，能够实现高精度、高效率的卡扣定位。
3、本专利技术的一个方面提供了一种基于深度学习的卡扣定位方法，其包括以下步骤：
4、步骤s1：采集卡扣的图像数据，对目标卡扣的外轮廓和中心边缘线进行标注，生成数据集；
5、步骤s2：通过所述数据集训练网络模型，得到分割网络和分类网络；
6、所述分割网络包括编码器和解码器；所述编码器对输入的原始图像进行特征提取，通过加入空洞卷积在不增加深度的同时获取更大感受野，关注到目标的整体特征；所述解码器对提取到的特征进行重构，回归出卡扣的外轮廓线和中心边缘线；
7、所述分类网络作为先验知识来判别分割网络的结果图与真实标签图中边缘的差距，引导边缘提取网络在回归边缘时更加注重细节信息，从而细化边缘；
8、步骤s3：通过所述分割网络估计卡扣边缘，并估计目标中心位置及偏转角度，实现卡扣的定位。
9、在一个实施例中，所述步骤s1中卡扣的图像数据是使用工业相机采集不同形状的卡扣数据，并采用环形光源对工业相机进行补光。
10、在一个实施例中，所述步骤s2具体包括：
11、步骤s21：将一批相同大小的原始图像和对应的真实标签输入到所述分割网络中，通过所述编码器中的卷积层、池化层和残差块操作进行特征提取；在编码器提取完最后一层特征后加入空洞卷积；
12、步骤s22：通过所述解码器进行特征重构，在编码器和解码器的每一层中引入跳跃连接，以结合不同层次的特征来补偿最大池化操作导致的信息丢失；特征重构后使用卷积调整特征图的通道维度，使其作为边缘结果图。
13、在一个实施例中，所述编码器提取三层特征，首先经过一层卷积作为浅层特征，获取图像原始特征；再经过brm和一个卷积块和两个残差块得到中间层特征，获取图像的轮廓和边缘信息，其中brm是由批量归一化bn、relu激活函数以及最大池化组成；最后经过两个卷积块和八个残差块获取图像深层语义特征；在所述深层语义特征后添加空洞卷积来扩大网络的感受野，从而使网络能够关注到目标的整体特征；
14、将所述编码器提取的深层特征利用ctbr模块将其上采样，并通过跳跃连接融合中间层特征，对加强后的特征再次进行上采样并融合浅层特征，其中ctbr由反卷积、bn以及最大池化组成；最后通过卷积层将得到的特征进行通道维数调整获得最终的分割结果。
15、在一个实施例中，所述分割网络的损失函数为：
16、fl(pt)＝-αt(1-pt)γlog(pt)
17、
18、其中，p表示每个像素点的预测值，y表示每个像素点的真实标签，α是控制正负样本的权重系数，γ是控制难易样本的权重系数；α越大越关注前景目标，γ越大越关注难样本；
19、所述分类网络的损失函数为：
20、l＝-[z ln z′+(1-z)ln(1-z′)]
21、其中，z是二进制数，表示输入数据是预测图还是真实图，即真实图为1，预测图为0；z′表示输出数据是预测图还是真实图的概率，接近于1表示真实图，接近于0表示为预测图。
22、本专利技术的另一个方面提供了一种基于深度学习的卡扣定位系统，所述卡扣定位系统包括：
23、数据采集模块，所述数据采集模块用于采集卡扣的图像数据，对目标卡扣的外轮廓和中心边缘线进行标注，生成数据集；
24、网络模型生成模块，所述网络模型生成模块用于通过所述数据集训练网络模型，得到分割网络和分类网络；所述分割网络包括编码器和解码器；所述编码器对输入的原始图像进行特征提取，通过加入空洞卷积在不增加深度的同时获取更大感受野，关注到目标的整体特征；所述解码器对提取到的特征进行重构，回归出卡扣的外轮廓线和中心边缘线；所述分类网络作为先验知识来判别分割网络的结果图与真实标签图中边缘的差距，引导边缘提取网络在回归边缘时更加注重细节信息，从而细化边缘；
25、卡扣定位模块，所述卡扣定位模块用于通过所述分割网络估计卡扣边缘，并估计目标中心位置及偏转角度，实现卡扣的定位。
26、在一个实施例中，采集的卡扣的图像数据是使用工业相机采集不同形状的卡扣数据，并采用环形光源对工业相机进行补光。
27、在一个实施例中，所述网络模型生成模块具体用于：将一批相同大小的原始图像和对应的真实标签输入到所述分割网络中，通过所述编码器中的卷积层、池化层和残差块操作进行特征提取；在编码器提取完最后一层特征后加入空洞卷积；
28、通过所述解码器进行特征重构，在编码器和解码器的每一层中引入跳跃连接，以结合不同层次的特征来补偿最大池化操作导致的信息丢失；特征重构后使用卷积调整特征图的通道维度，使其作为边缘结果图。
29、在一个实施例中，所述编码器提取三层特征，首先经过一层卷积作为浅层特征，获取图像原始特征；再经过brm和一个卷积块和两个残差块得到中间层特征，获取图像的轮廓和边缘信息，其中brm是由批量归一化bn、relu激活函数以及最大池化组成；最后经过两个卷积块和八个残差块获取图像深层语义特征；在所述深层语义特征后添加空洞卷积来扩大网络的感受野，从而使网络能够关注到目标的整体特征；
30、所述网络模型生成模块具体用于将所述编码器提取的深层特征利用ctbr模块将其上采样，并通过跳跃连接融合中间层特征，对加强后的特征再次进行上采样并融合浅层特征，其中ctbr由反卷本文档来自技高网...
【技术保护点】
1.一种基于深度学习的卡扣定位方法，其特征在于，所述卡扣定位方法包括以下步骤：
2.根据权利要求1所述的卡扣定位方法，其特征在于，所述步骤S1中卡扣的图像数据是使用工业相机采集不同形状的卡扣数据，并采用环形光源对工业相机进行补光。
3.根据权利要求1所述的卡扣定位方法，其特征在于，所述步骤S2具体包括：
4.根据权利要求3所述的卡扣定位方法，其特征在于，所述编码器提取三层特征，首先经过一层卷积作为浅层特征，获取图像原始特征；再经过BRM和一个卷积块和两个残差块得到中间层特征，获取图像的轮廓和边缘信息，其中BRM是由批量归一化BN、ReLU激活函数以及最大池化组成；最后经过两个卷积块和八个残差块获取图像深层语义特征；在所述深层语义特征后添加空洞卷积来扩大网络的感受野，从而使网络能够关注到目标的整体特征；
5.根据权利要求3所述的卡扣定位方法，其特征在于，所述分割网络的损失函数为：
6.一种基于深度学习的卡扣定位系统，其特征在于，所述卡扣定位系统包括：
7.根据权利要求6所述的卡扣定位系统，其特征在于，采集的卡扣
8.根据权利要求6所述的卡扣定位系统，其特征在于，所述网络模型生成模块具体用于：
9.根据权利要求8所述的卡扣定位系统，其特征在于：
10.根据权利要求8所述的卡扣定位系统，其特征在于，所述分割网络的损失函数为：
...【技术特征摘要】
1.一种基于深度学习的卡扣定位方法，其特征在于，所述卡扣定位方法包括以下步骤：
2.根据权利要求1所述的卡扣定位方法，其特征在于，所述步骤s1中卡扣的图像数据是使用工业相机采集不同形状的卡扣数据，并采用环形光源对工业相机进行补光。
3.根据权利要求1所述的卡扣定位方法，其特征在于，所述步骤s2具体包括：
4.根据权利要求3所述的卡扣定位方法，其特征在于，所述编码器提取三层特征，首先经过一层卷积作为浅层特征，获取图像原始特征；再经过brm和一个卷积块和两个残差块得到中间层特征，获取图像的轮廓和边缘信息，其中brm是由批量归一化bn、relu激活函数以及最大池化组成；最后经过两个卷积块和八个残差块获取图像深层语义特征；在所述...
【专利技术属性】
技术研发人员：庄佳衍，冯含枫，叶思超，陈希玉，刘泽，宋康康，肖江剑，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。