基于条件生成对抗网络的梯级表面高光去除方法技术

本发明专利技术公开基于条件生成对抗网络的梯级表面高光去除方法。构建了一个多尺度条件生成对抗网络MSDGC

【技术实现步骤摘要】
基于条件生成对抗网络的梯级表面高光去除方法


[0001]本专利技术属于机器视觉
，用于工厂机器人梯级码垛的快速精确地识别抓取。通过机械臂上安装的相机，拍摄生产流水线上的梯级码垛，通过条件生成对抗网络来处理梯级表面的高反光部分，从而精确识别出梯级的姿态和位置，为后续机械臂的抓取提供了保障。

技术介绍

[0002]随着新一轮科技革命和产业变革浪潮的兴起，越来越多的企业开始注意到企业生产智能化一体化在未来竞争中所具备的独特优势，而机器人作为智能装备的代表，已越来越成为助推企业转型升级的动力器，企业生产效益的倍增器，企业竞争优势的放大器，自然而然成为各大企业争夺经济发展的制高点，被广泛的应用在各大生产场景下。码垛机器人作为工业机器人中的一个重要分支在各个工业领域都有着突出的作用。其中基于示教器的传统码垛机器人由于操作简单且容易维护，当前国内许多工厂采用此类机器人进行相关作业。然而此类机器人需要待码垛物体严格放置在固定的示教点，一旦由于某些因素导致码垛物体偏离原始示教点，则会使机器人无法定位到目标物体从而产生抓取失败问题。而当前制造业工厂的规模化、集约化、自动化程度越来越高，一旦某个生产环节出现问题将严重影响其生产效率造成一系列麻烦。如图1所示为某电梯制造企业的扶梯梯级码垛自动生产线。在该生产线上，各个梯级组首先通过装配生产线堆叠成固定结构的梯级堆，随后堆叠整齐的梯级堆将通过滚轮传输从装配生产线运输到指定码垛位置，最后码垛机器人将通过提前设定的示教点按照程序对梯级堆里的各个梯级组进行拆码垛操作。但由于梯级堆需要经过长距离的运输，难免会在运输过程中出现与其他梯级或物体碰撞的现象，同时梯级堆的装配过程中也会存在误差，进而使梯级组偏离示教点位置从而导致抓取失败。
[0003]且与普通材质物体不同，在实际扶梯梯级码垛生产线上，机器人所要抓取的梯级材质通常为金属铝制，为此在自然光照射下具有高反光、背景复杂等特性。梯级表面部分区域存在高光覆盖会给后续视觉引导中的图像处理步骤如阈值分割、边缘直线检测等带来麻烦，容易造成分割不匀、检测失败等问题，进而影响后续梯级识别、抓取点定位提取等。因此，金属材质的扶梯梯级图像高光去除对于以视觉引导的机器人码垛系统具有重要意义。

技术实现思路

[0004]本专利技术针对目前的研究现状，提出了一个具有较强鲁棒性的梯级高光去除模型。在该模型中，首先通过输入一张待去除高光梯级图像I
H
，且不通过其他任何相关信息辅助生成一张高光抑制的对应清晰图像I
S
，因此构建了一个多尺度条件生成对抗网络MSDGC
‑
GAN，旨在通过端到端的方式获取高光去除图像。网络主体结构由生成器与判别器组成，其中生成器基本架构采用U
‑
net结构，利用其编码
‑
解码结构特点提取图像深层结构信息。同时为了充分提取特征像素之间的空间上下文背景信息特征，提出了一种空间上下文密集块作为生成器的基本模块。为了解决网络在下采样池化操作中容易丢失部分尺度特征信息的
问题，提出一种多尺度梯度级联方法。通过从底层特征依次进行级联输出以弥补相邻模块之间的下采样特征损失，并将各尺度判别器与生成器级联输出各自相连，使得网络增强对图像细节的处理能力并具备多尺度鉴别能力，实现了梯度的传导改善了网络训练时梯度不稳定的问题。在损失函数阶段，分析了双色反射模型，将图像的漫反射分量估计应用于损失函数，同时结合对抗性损失函数和特征匹配损失作为目标总损失。
[0005]本专利技术方法的具体步骤是：
[0006]一种基于条件生成对抗网络的梯级图像高光去除方法，其步骤是：
[0007]步骤(1)、构建训练集
[0008]通过获取待去除高光梯级图像I
H1
和对应无高光梯级图像I
H2
来构建一对一的梯级表面高光对照数据集，并对图像进行相同切割选出最优图像对；在不通过其他任何相关信息辅助生成一张高光抑制的对应清晰图像I
S
；
[0009]步骤(2)、搭建基于条件生成对抗网络的梯级图像高光去除模型MSDGC
‑
GAN，并利用数据切割处理后的训练数据集进行训练；
[0010]所述基于条件生成对抗网络的梯级图像高光去除模型包括主网络、多尺度梯度级联模块；
[0011]所述主网络包括生成器、判别器；
[0012]所述生成器采用U
‑
net网络基本架构，所述U
‑
net网络采用编码
‑
解码结构；
[0013]编码器下采样过程采用级联的第一至第五空间上下文密集层(Encode
‑
SCFDB)；
[0014]第一至第五空间上下文密集层(Encode
‑
SCFDB)均用于对提取特征像素之间的空间上下文背景信息特征，基于多路并联片间(slice
‑
by
‑
slice)卷积来提取和传递图像像素背景特征信息，通过深层次的密集网络获取图像的语义特征信息；其包括级联的多个空间上下文密集块SCF、第一过渡层；
[0015]所述空间上下文密集块SCF能够充分获取特征图中各行各列像素间的空间上下文背景信息，其具体是首先利用输入特征图应用一次1X1卷积瓶颈层进行降维、InstanceNorm实例归一化和LeakyReLu激活后生成新的特征图Q，随后在SCF层内将特征图Q分成上下两个支路，分别采取左、右、上、下顺序和上、下、左、右顺序的不同方向的空间片间卷积策略；之后对每一路的切片信息进行归一化和激活后将两路支路进行加权融合，再经过一次3X3卷积、InstanceNorm实例归一化和LeakyReLu激活输出特征图；
[0016]每个空间上下文密集块的输入为原特征图以及位于同一空间上下文密集层内在前级联的空间上下文密集块的输出特征图；
[0017]所述第一过渡层采用1x1卷积压缩特征通道，再通过平均池化实现特征图的下采样操作，将源输入特征图降至1/2尺寸；
[0018]解码层包括依次级联的第六至第十空间上下文密集层(Decode
‑
SCFDB)，在每个尺度上一一对应编码器的级联特征输出图，将每次初度级联增强后的特征图进行输出，经过一次1x1卷积后将特征图像送入对应尺度判别器；其中第十空间上下文密集层的结构与第一空间上下文密集层相同，第九空间上下文密集层的结构与第二空间上下文密集层相同，第八空间上下文密集层的结构与第三空间上下文密集层相同，第七空间上下文密集层的结构与第四空间上下文密集层相同，第六空间上下文密集层的结构与第五空间上下文密集层相同；
[0019]第一空间上下文密集层的第一输出端接第一连接层的第一输入端，第二输出端接第二空间上下文密集层的输入端；第一连接层的第二输入端接第二1
×
1卷积层的输出端，输出端接第一1
×
1卷积层的输入端；第一1
×
1卷积层的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件生成对抗网络的梯级图像高光去除方法，其特征在于该方法包括以下步骤：步骤(1)、构建训练集通过获取待去除高光梯级图像I
H1
和对应无高光梯级图像I
H2
来构建一对一的梯级表面高光对照数据集，并对图像进行相同切割选出最优图像对；在不通过其他任何相关信息辅助生成一张高光抑制的对应清晰图像I
S
；步骤(2)、搭建基于条件生成对抗网络的梯级图像高光去除模型，并利用数据切割处理后的训练数据集进行训练；所述基于条件生成对抗网络的梯级图像高光去除模型包括生成器、判别器；所述生成器采用U
‑
net网络基本架构，所述U
‑
net网络采用编码
‑
解码结构；编码器下采样过程采用级联的第一至第五空间上下文密集层Encode
‑
SCFDB；第一至第五空间上下文密集层Encode
‑
SCFDB均用于对提取特征像素之间的空间上下文背景信息特征，基于多路并联片间卷积来提取和传递图像像素背景特征信息，通过深层次的密集网络获取图像的语义特征信息；解码层包括依次级联的第六至第十空间上下文密集层Decode
‑
SCFDB，在每个尺度上一一对应编码器的级联特征输出图，将每次初度级联增强后的特征图进行输出，经过一次1x1卷积后将特征图像送入对应尺度判别器；其中第十空间上下文密集层的结构与第一空间上下文密集层相同，第九空间上下文密集层的结构与第二空间上下文密集层相同，第八空间上下文密集层的结构与第三空间上下文密集层相同，第七空间上下文密集层的结构与第四空间上下文密集层相同，第六空间上下文密集层的结构与第五空间上下文密集层相同；第一至第四空间上下文密集层Encode
‑
SCFDB分别与第十至第七空间上下文密集块Decode
‑
SCFDB间连接采用的是SOS增强策略结构，以实现对图像进行细化增强处理，具体是：式中，ψ
k
(x)表示解码器输出特征图，表示解码器中当前空间上下文密集层处理后结果，Up()表示上采样；步骤(3)、利用训练好的基于条件生成对抗网络的梯级图像高光去除模型，实现梯级表面的高光处理。2.如权利要求1所述方法，其特征在于第一至第五空间上下文密集层Encode
‑
SCFDB均包括级联的多个空间上下文密集块、第一过渡层；每个空间上下文密集块的输入为原特征图以及位于同一空间上下文密集层内在前级联的空间上下文密集块的输出特征图。3.如权利要求2所述方法，其特征在于所述空间上下文密集块SCF能够充分获取特征图中各行各列像素间的空间上下文背景信息，其具体是首先利用输入特征图应用一次1X1卷积瓶颈层进行降维、InstanceNorm实例归一化和LeakyReLu激活后生成新的特征图Q，随后在SCF层内将特征图Q分成上下两个支路，分别采取左、右、上、下顺序和上、下、左、右顺序的不同方向的空间片间卷积策略；之后对每一路的切片信息进行归一化和激活后将两路支路进行加权融合，再经过一次3X3卷积、InstanceNorm实例归一化和LeakyReLu激活输出特征图。
4.如权利要求2所述方法，其特征在于所述第一过渡层采用1x1卷积压缩特征通道，再通过平均池化实现特征图的下采样操作，将源输入特征图降至1/2尺寸。5.如权利要求1所述方法，其特征在于第一空间上下文密集层的第一输出端接...

【专利技术属性】
技术研发人员：胡海洋，张学琪，胡宇航，李忠金，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：