一种基于多任务共享网络的机器人弱光环境抓取检测方法技术

本发明专利技术公开了一种基于多任务共享网络的机器人弱光环境抓取检测方法，属于计算机视觉与智能机器人技术领域。本发明专利技术通过图像采集保证弱光环境与正常光照环境下拍摄图像的严格匹配，构建相应的数据集d，再采用Darknet‑53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，当损失值在迭代次数iter内的变化小于阈值t时，抓取检测模型G已收敛，即模型G训练完成；对于在弱光环境下拍摄的图像I

【技术实现步骤摘要】
一种基于多任务共享网络的机器人弱光环境抓取检测方法
本专利技术属于计算机视觉与智能机器人
，具体涉及一种基于多任务共享网络的机器人弱光环境抓取检测方法。
技术介绍
随着人工智能、机器人控制和感知技术的不断发展，配备有多自由度机械臂的机器人能够自主实现对不同目标物体的抓取操作，并开展高级别人机交互，在家庭服务、自动化装配等诸多领域正扮演着越来越重要的角色。典型的机器人抓取流程一般包括四个步骤：目标定位、姿态估计、抓取检测和运动规划，其中抓取检测能够确定物体上的可抓取部位，直接决定了机器人抓取操作的稳定性和精度，具有重要作用。目前，机器人抓取检测算法通常利用深度学习模型以端到端的方式建立输入信息(包括：图像、深度信息、触觉信息等)与预测抓取框的映射关系，通过模型的反复训练迭代，不断提升抓取检测精度和鲁棒性。然而，现有抓取检测方法的输入图像往往在光照充足条件下采集和获取，此时目标细节纹理清晰、与背景的特征差异明显。在低对比度的弱光环境下，现有方法的检测精度急剧降低，因此，通常采用外置光源补光和红外传感器融合等手段提高待抓取目标的可见性，但前者会带来严重的光污染和能量消耗，而后者无法提供色彩信息，且对物体细节的分辨率较低。因此，采用一种适用于低对比度弱光环境，且无需引入额外传感器的抓取检测算法，具有十分重要的意义。
技术实现思路
针对低对比度弱光环境下检测精度低的问题，本专利技术提供了一种基于多任务共享网络的机器人弱光环境抓取检测方法。为了达到上述目的，本专利技术采用了下列技术方案：一种基于多任务共享网络的机器人弱光环境抓取检测方法，包括以下步骤：步骤1，采集并构建相应的数据集d，数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中表示场景i下的第j幅弱光环境图像，表示场景i下的正常光照图像，bi表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；对于在弱光环境下拍摄的图像Ilow，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：G(Ilow)→{Inormal,xi,yi,θi,wi,hi},i＝1,2,…,m其中，Inormal表示模型增强后的图像，xi,yi表示预测的第i个抓取框中心像素点的横、纵坐标，θi为预测的第i个抓取框相对于水平方向的旋转角度，wi,hi表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数。进一步，所述步骤1中图像采集方法包括以下步骤：步骤S1.1搭建内部无光环境的暗室，在暗室底部四个角落以及顶部安装可调光LED灯泡；步骤S1.2在当前场景i下，将相机固定于三角架上，调节LED灯泡亮度分别至0.001lux，0.01lux，0.1lux，1lux和20lux，其中前四级亮度用于模拟不同等级的弱光环境，最后一级亮度用于模拟采光良好的室内环境，在不同亮度下分别对目标物体进行拍摄，得到对应的4张弱光环境图像和1张正常光照图像步骤S1.3在正常光照图像基础上，进行抓取框标注，获取当前成像场景的标注参数bi，形成4组“弱光图像-正常光照图像-抓取标注信息”对；步骤S1.4最后改变待拍摄的目标物体或拍摄场景，重复执行步骤S1.2和步骤S1.3，直至得到完整数据集d。进一步，所述步骤2中抓取检测模块是采用Yolov3目标检测框架的多尺度特征融合及参数预测机制，分别在小尺度、中尺度和大尺度下进行抓取框参数的预测。进一步，所述步骤2中图像增强模块包括以下步骤：步骤S2.1，针对Yolov3框架的大尺度预测层，提取由中尺度特征图与Darknet-53网络第36层特征图fmap36拼接、应用3×3卷积和1×1卷积得到特征图再对特征图进行反卷积操作，增大特征图尺寸，并与Darknet-53网络第11层特征图fmap11沿通道维度进行拼接，经2个3×3卷积得到尺寸为128×104×104的特征图map104*104，即：其中，deconv()表示反卷积操作，表示沿通道维度的拼接操作，κ3×3代表尺寸为3×3的卷积核；步骤S2.2，对map104*104进行反卷积操作，并与Darknet-53网络第4层特征图fmap4沿通道维度进行拼接，经2个3×3卷积得到尺寸为64×208×208的特征图map208*208，即：步骤S2.3，针对Darknet-53网络第1层特征图fmap1，重复步骤S2.1和步骤S2.2，得到尺寸为32×416×416的特征图map416*416，经2个3×3卷积和1个1×1卷积得到尺寸为3×416×416最终的增强图像mapoutput，即：其中，κ1×1代表尺寸为1×1的卷积核。进一步，所述步骤2中模型损失函数Loss定义为：Loss＝Lossreg+Losscls+γimg*Lossimg其中Lossreg表示回归损失，主要评价模型预测的无方向抓取框与真实无方向抓取框的位置和尺寸差异；Losscls表示分类损失，主要评价模型预测的抓取框类别与真实抓取框类别的差异；Lossimg表示图像重构损失，主要评价增强图像与正常光照图像的视觉差异，具体形式如下：其中，pi表示模型增强图像在像素i处的灰度值，表示正常光照图像在像素i处的灰度值，|·|为取绝对值操作，c为图像中的像素点总数；针对输入的单幅图像，引入图像平衡因子γimg，用于调整Lossreg，Losscls和Lossimg对模型总损失的贡献度。与现有技术相比本专利技术具有以下优点：1.无需引入外置光源、红外等补光手段，仅利用光学图像即可实现弱光环境下的抓取检测，具有能耗低、成本可控等优势；2.充分利用深度模型的强特征表达能力，利用单一模型同时实现图像增强和抓取检测两个任务，有助于加速模型收敛速度，并提高单任务算法精度。本专利技术的方法易于实现，其应用价值主要体现在以下几个方面：1.对于煤矿井下作业、工厂流水线自动装配等领域，可在低光照环境下保证正常作业和运转，大大节约电力等能源消耗，降低企业运行成本；2.可有效提高抓取检测算法的环境适应性，从而扩展机器人抓取任务的工作时间范围，有助于实现全天候机器人操作。<本文档来自技高网...

【技术保护点】
1.一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：包括以下步骤：/n步骤1，采集并构建相应的数据集d，

【技术特征摘要】
1.一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：包括以下步骤：
步骤1，采集并构建相应的数据集d，数据集d由4n组“弱光图像-正常光照图像-抓取标注信息”对构成，其中表示场景i下的第j幅弱光环境图像，表示场景i下的正常光照图像，bi表示场景i下的抓取框标注参数，n表示数据集中的场景数目，j表示每一场景拍摄的弱光图像数目，为保证弱光环境与正常光照环境下拍摄图像的严格匹配，进行图像采集；直至得到完整数据集d；
步骤2，采用Darknet-53作为骨干网络构建弱光环境抓取检测模型，提取具有强特征表达能力的多尺度特征，通过并行级联抓取检测模块和图像增强模块，分别实现抓取检测和弱光图像增强任务；
步骤3，从数据集d中随机选取训练样本，利用弱光环境抓取检测模型进行预测，将预测的抓取框及增强图像与真实值进行比较，计算对应的损失值，并根据损失值对模型各参数进行调整，确保数据集中所有样本均完成训练；当损失值在迭代次数iter内的变化小于阈值t时，则认为抓取检测模型G已收敛，即模型G训练完成；
对于在弱光环境下拍摄的图像Ilow，将其输入已训练的模型G，得到预测的抓取框参数及增强后图像，完成弱光环境抓取检测任务，即：
G(Ilow)→{Inormal,xi,yi,θi,wi,hi},i＝1,2,…,m
其中，Inormal表示模型增强后的图像，xi,yi表示预测的第i个抓取框中心像素点的横、纵坐标，θi为预测的第i个抓取框相对于水平方向的旋转角度，wi,hi表示预测的第i个抓取框的宽度和高度，m表示预测的抓取框总数。


2.根据权利要求1所述的一种基于多任务共享网络的机器人弱光环境抓取检测方法，其特征在于：所述步骤1中图像采集方法包括以下步骤：
步骤S1.1搭建内部无光环境的暗室，在暗室底部四个角落以及顶部安装可调光LED灯泡；
步骤S1.2在当前场景i下，将相机固定于三角架上，调节LED灯泡亮度分别至0.001lux，0.01lux，0.1lux，1lux和20lux，其中前四级亮度用于模拟不同等级的弱光环境，最后一级亮度用于模拟采光良好的室内环境，在不同亮度下分别对目标物体进行拍摄，得到对应的4张弱光环境图像和1张正常光照图像
步骤S1.3在正常光照图像基础上，进行抓取框标注，获取当前成像场景的标注参数bi，形成4组“弱光图像-正常光照图像-抓取标注信息”对；
步骤S1.4最后改变待拍摄的目标物体或拍摄场景，重复执行步骤S1.2和步骤S1.3，直至得到完整数据集d。


3.根据权利要求2所述的一种基于多任务共享网络的机器人弱光环境...

【专利技术属性】
技术研发人员：陈路，钱宇华，吴鹏，王克琪，
申请(专利权)人：山西大学，
类型：发明
国别省市：山西;14