一种基于改进单目深度估计的混叠电子元器件空间表达方法技术

本发明专利技术公开了一种基于改进的单目深度估计的混叠电子元器件空间表达方法，涉及机器视觉领域，包括图像采集模块、目标检测网络模块、语义分割网络模块和HSV、RGB模块；图像采集模块，所述图像采集模块用来获取料箱中不同类别的混叠电子元器件的RGB图像；目标检测网络模块，所述目标检测网络模块将图像采集模块采集到的RGB图像进行处理得到深度图像A；语义分割网络模块，所述语义分割网络模块将目标检测网络模块处理后的深度图像A进行分割得到粗略深度信息；HSV、RGB模块，所述HSV、RGB模块将语义分割网络模块分割后的粗略深度信息进行细化，得到每个电子元器件的详细深度信息。本发明专利技术能够有效地解决电子元器件之间混叠的复杂工作场景下的自主识别问题。场景下的自主识别问题。场景下的自主识别问题。

【技术实现步骤摘要】
一种基于改进单目深度估计的混叠电子元器件空间表达方法


[0001]本专利技术涉及机器视觉领域，尤其涉及到一种基于改进单目深度估计的混叠电子元器件空间表达方法。

技术介绍

[0002]电子元器件的自主识别是智能装配机器人视觉控制的基础，复杂场景理解是电子元器件自主识别的基础支撑。能够准确、自主地将电子元器件识别出来，直接关系到智能装配机器人装配的精度与效率。在实际的生产应用中，利用机器视觉技术辅助机械手进行电子元器件的装配，不但解决了生产效率低、劳动力投入高、工人负担大的问题，也从根本上实现了从传统的流水生产向智能型生产的转型。
[0003]现有的基于机器视觉的电子元器件识别方法，主要针对散落且分布均匀的电子元器件的识别，但仍然没有解决电子元器件之间、电子元器件与背景混叠的复杂工作场景下的自主识别问题。

技术实现思路

[0004]针对现有技术中存在的不足，本专利技术提供了一种基于改进的单目深度估计的混叠电子元器件空间表达方法，能够有效地解决电子元器件之间混叠的复杂工作场景下的自主识别问题。
[0005]本专利技术是通过以下技术手段实现上述技术目的的。
[0006]一种基于改进单目深度估计的混叠电子元器件空间表达方法，包括图像采集模块、目标检测网络模块、语义分割网络模块和HSV、RGB模块；
[0007]图像采集模块，所述图像采集模块用来获取料箱中不同类别的混叠电子元器件的RGB图像；
[0008]目标检测网络模块，所述目标检测网络模块将图像采集模块采集到的RGB图像进行处理得到深度图像A；
[0009]语义分割网络模块，所述语义分割网络模块将目标检测网络模块处理后的深度图像A进行分割得到粗略深度信息；
[0010]HSV、RGB模块，所述HSV、RGB模块将语义分割网络模块分割后的粗略深度信息进行细化，得到每个电子元器件的详细深度信息。
[0011]进一步的，所述目标检测网络模块包括输入图像模块、数据增强模块、特征提取网络模块、特征融合模块、下采样模块、全连接层模块、分类器和预测输出模块；具体的，将采集到的RGB图像进行数据增强处理、特征提取、特征融合、下采样、全连接层、分类器和预测输出。
[0012]进一步的，通过数据增强模块将RGB图像进行2次随机缩放得到2个图像a、b；2次随机剪裁得到c、d；
[0013]特征提取网络模块包括轻量化网络和深度卷积网络，利用轻量化网络算法对图像
a、c进行特征提取，利用深度卷积网络算法对图像b、d进行特征提取；
[0014]特征融合模块进行三次层次化特征融合：将图a、b的浅层特征和深层特征融合得到特征图x，将图c、d的浅层特征和深层特征融合得到特征图y，将图x、y的浅层特征和深层特征融合得到特征图z；将特征图z经过下采样模块、全连接层模块和分类器后经预测输出模块预测输出。
[0015]进一步的，所述预测输出模块预测输出包括深度图像A、电子元器件位置信息、电子元器件的类别与概率分布。
[0016]进一步的，深度图像A为RGB彩色图像。
[0017]进一步的，所述HSV、RGB模块包括HSV颜色模型、HSV锥形模型、RGB三维坐标模型和RGB值分类器；
[0018]首先，深度图像A经语义分割网络模块分割得到粗略深度信息输入到HSV颜色模型、输出H、S、V三个属性的值；其次，HSV锥形模型将H、S、V三个属性的值可视化到一个彩色锥形模型上，将HSV锥形模型转化为RGB三维坐标模型，得到深度图的R、G、B值；用RGB值分类器将R、G、B值的三个范围进行细化。
[0019]进一步的，所述HSV颜色模型由H、S、V三个属性决定颜色，分别为色调、饱和度、明度；其中，色调H用角度度量，取值范围为0
°
～360
°
，从红色开始按逆时针方向计算，红色为0
°
，绿色为120
°
、蓝色为240
°
；饱和度S表示颜色接近光谱色的程度，通常取值范围为0％～100％，值越大，颜色越饱和；明度V表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。
[0020]进一步的，还包括机械手控制模块，机械手控制模块根据电子元器件位置信息、电子元器件的类别与概率分布和RGB深度信息，实现定位、抓取和装配。
[0021]与现有技术相比，本专利技术技术方案至少具有以下效益：
[0022]1.本专利技术将轻量化网络和深度卷积网络相结合，既保证了图像特征和细节信息的全面性，还提高了模型预测的速度，实现了在移动设备和嵌入式设备上的实时目标检测。
[0023]2.本专利技术通过对提取到的图像特征进行三次分层特征融合，将低层细节特征和高层语义特征进行融合，大大地提高网络的检测性能。
[0024]3.本专利技术相较于一般的目标检测算法，增加了深度图像的输出，在深度方向将混叠的电子元器件进行划分，实现混叠的电子元器件的空间表达，解决计算机难以理解混叠电子元器件的问题。
附图说明
[0025]图1为根据本专利技术实施例涉及到的一种基于改进单目深度估计的混叠电子元器件空间表达的流程示意图；
[0026]图2为本专利技术图1中涉及到的目标检测模块的流程示意图；
[0027]图3为本专利技术图2中涉及到的目标检测模块的具体工作流程示意图；
[0028]图4是本专利技术图1中涉及到的HSV、RGB模块的流程示意图。
[0029]附图标记：
[0030]1‑
图像采集模块；2
‑
目标检测网络模块；3
‑
语义分割网络模块；4
‑
HSV、RGB模块；5
‑
机械手控制模块；6
‑
输入图像模块；7
‑
数据增强模块；8
‑
特征提取网络模块；9
‑
特征融合模
块；10
‑
下采样模块；11
‑
全连接层模块；12
‑
分类器；13
‑
预测输出模块；14
‑
HSV颜色模型；15
‑
HSV锥形模型；16
‑
RGB三维坐标模型；17
‑
RGB值分类器。
具体实施方式
[0031]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0032]利用相机对料箱中不同类别的混叠的电子元器件的进行图像采集，得到电子元器件RGB图像；将每张图片通过2次随机缩放，2次随机裁剪；利用目标检测中的轻量化算法和深度卷积算法对处理后的图像进行特征提取；将提取到的浅层特征和深层特征进行融合；经过下采样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进单目深度估计的混叠电子元器件空间表达方法，其特征在于，包括图像采集模块、目标检测网络模块、语义分割网络模块和HSV、RGB模块；图像采集模块，所述图像采集模块用来获取料箱中不同类别的混叠电子元器件的RGB图像；目标检测网络模块，所述目标检测网络模块将图像采集模块采集到的RGB图像进行处理得到深度图像A；语义分割网络模块，所述语义分割网络模块将目标检测网络模块处理后的深度图像A进行分割得到粗略深度信息；HSV、RGB模块，所述HSV、RGB模块将语义分割网络模块分割后的粗略深度信息进行细化，得到每个电子元器件的详细深度信息。2.根据权利要求1所述的基于改进单目深度估计的混叠电子元器件空间表达方法，其特征在于，所述目标检测网络模块包括输入图像模块、数据增强模块、特征提取网络模块、特征融合模块、下采样模块、全连接层模块、分类器和预测输出模块；具体的，将采集到的RGB图像进行数据增强处理、特征提取、特征融合、下采样、全连接层、分类器和预测输出。3.根据权利要求2所述的基于改进单目深度估计的混叠电子元器件空间表达方法，其特征在于，通过数据增强模块将RGB图像进行2次随机缩放得到2个图像a、b；2次随机剪裁得到c、d；特征提取网络模块包括轻量化网络和深度卷积网络，利用轻量化网络算法对图像a、c进行特征提取，利用深度卷积网络算法对图像b、d进行特征提取；特征融合模块进行三次层次化特征融合：将图a、b的浅层特征和深层特征融合得到特征图x，将图c、d的浅层特征和深层特征融合得到特征图y，将图x、y的浅层特征和深层特征融合得到特征图z；将特征图z经过下采样模块、全连接层模块和分类器后经预测输出模块预测输出。4.根据权利要求3所述的基于改进单目深度估计的混叠电子元器件空间表达方法，其特征在于，所述预测输出模块预测输出包括深度图像A、电子元器件位置...

【专利技术属性】
技术研发人员：顾寄南，雷文桐，张可，高伟，
申请(专利权)人：江苏大学，
类型：发明
国别省市：