【技术实现步骤摘要】
本专利技术属于图像识别处理，具体涉及一种应用于流水线的无色透明物体识别方法、装置和系统。
技术介绍
1、医药灌装流水线是一条完整的生产线，其过程包换多个环节，在高速灌装流水线上，物料排列转盘偶尔会发生玻璃药瓶倾倒，导致系统报警停机的问题。当生产线出现玻璃瓶倾倒情况时，需人工通过塑胶手套扶起并进行清扫消毒处理，为解决此类问题要求操作人员全天在岗。同时由于医药灌装流水线对洁净度要求较高，操作人员在进出操作间时需要通过严格的洁净处理，占用了较多的人力物力。
2、目前，现有技术中，通过3d视觉传感器来对无色玻璃瓶进行识别，同时定位它们的位置和姿态，通过洁净车间机器人维护系统代替操作人员，实现流水线上倾倒、破碎玻璃瓶的识别和处理。但是，现有应用的光学3d传感器对无色透明物体的识别不够精确，比如当透明玻璃瓶发生折射现象时，距离计算精度下降，深度图的深度信息部分缺失，很难通过具有深度感知的光学设备确定纯色操作台上无色透明玻璃瓶的位置和姿态。
技术实现思路
1、为此，本专利技术提供一种应用于流水线的无色透明物体识别方法、装置和系统，以有助于帮助解决现有技术中对无色透明物体的深度识别不准确的问题。
2、为实现以上目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供一种应用于流水线的无色透明物体识别方法，包括：
4、获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像；
5、对所述标定rgb图像进行畸变检测，得到对应的标
6、对所述rgb图像进行提取预处理，得到对应的识别数据；其中，所述识别数据包括表面法线、表面遮挡和接触边缘、透明物体掩码；
7、根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像；
8、根据所述优化后的深度图像对所述无色透明物体进行识别定位。
9、进一步地，所述获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像，包括：
10、基于rgb-d摄像头，获取流水线上以纯色操作台为背景板的无色透明物体的rgb图像和深度图像；以及，
11、将基于rgb-d摄像头获取的以棋盘格标定板为背景板的该无色透明物体的rgb图像，作为标定rgb图像。
12、进一步地，所述对所述rgb图像进行提取预处理，得到对应的识别数据，包括：
13、基于正态分布算法对所述rgb图像进行提取，得到对应的表面法线；
14、基于边界检测算法对所述rgb图像进行提取，得到对应的遮挡边界和接触边缘；
15、基于透明物体分割算法所述rgb图像进行提取，得到对应的透明物体掩码。
16、进一步地，所述根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像，包括：
17、基于卷积神经网络，根据所述透明物体掩码，对所述深度图像的深度进行修改，得到修改后的深度；
18、基于全局优化网络，根据所述标定数据、所述遮挡边界和接触边缘、所述修改后的深度和所述表面法线对所述深度图像进行全局优化，得到所述优化后的深度图像。
19、进一步地，所述基于卷积神经网络，根据所述透明物体掩码，对所述深度图像的深度进行修改，得到修改后的深度，包括：
20、基于所述卷积神经网络，将所述透明物体掩码覆盖在所述深度图像上进行遮挡，将与透明物体有关的所有像素删除，得到修改后的深度。
21、进一步地，所述基于全局优化网络，根据所述标定数据、所述遮挡边界和接触边缘、所述修改后的深度和所述表面法线对所述深度图像进行全局优化，得到所述优化后的深度图像，包括：
22、基于所述全局优化网络，根据所述标定数据、所述遮挡边界和接触边缘、所述修改后的深度重新构建所述无色透明物体的表面，并通过所述表面法线对缺失的深度进行弥补，得到所述优化后的深度图像。
23、第二方面，本专利技术提供一种应用于流水线的无色透明物体识别装置，包括：
24、图像获取模块，用于获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像；
25、标定图像处理模块，用于对所述标定rgb图像进行畸变检测，得到对应的标定数据；其中，所述标定数据包括畸变位置和畸变形态；
26、rgb图像处理模块，用于对所述rgb图像进行提取预处理，得到对应的识别数据；其中，所述识别数据包括表面法线、表面遮挡和接触边缘、透明物体掩码；
27、全局优化模块，用于根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像；
28、识别模块，用于根据所述优化后的深度图像对所述无色透明物体进行识别定位。
29、进一步地，所述rgb图像处理模块具体用于：
30、基于正态分布算法对所述rgb图像进行提取，得到对应的表面法线；
31、基于边界检测算法对所述rgb图像进行提取，得到对应的遮挡边界和接触边缘；
32、基于透明物体分割算法所述rgb图像进行提取，得到对应的透明物体掩码。
33、进一步地，所述全局优化模块具体用于：
34、基于卷积神经网络，根据所述透明物体掩码，对所述深度图像的深度进行修改，得到修改后的深度；
35、基于全局优化网络，根据所述标定数据、所述遮挡边界和接触边缘、所述修改后的深度和所述表面法线对所述深度图像进行全局优化，得到所述优化后的深度图像。
36、第三方面，本专利技术提供一种应用于流水线的无色透明物体识别系统，包括：
37、rgb-d摄像头、图像处理器和上位机；
38、所述图像处理器分别连接所述rgb-d摄像头和所述上位机；
39、所述rgb-d摄像头用于获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像；并将所述rgb图像、所述标定rgb图像和所述深度图像发送到所述图像处理器；
40、所述图像处理器用于对所述标定rgb图像进行畸变检测，得到对应的标定数据；其中，所述标定数据包括畸变位置和畸变形态；还对所述rgb图像进行提取预处理，得到对应的识别数据；其中，所述识别数据包括表面法线、表面遮挡和接触边缘、透明物体掩码；还根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像；还根据所述优化后的深度图像对所述无色透明物体进行识别定位，并将识别定位结果发送到所述上位机。
41、本专利技术采用以上技术方案，至少具备以下有益效果：
42、本专利技术通过获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像；对标定rgb图像进行畸变检测，得到对应的标定数据；其中，标定数据包括畸变位置和畸变形态；对rgb图像进行提取预处理，得到对应的识别数据；其中，识别数据包括表面法线、表面遮挡和接触边缘、透明物体掩码；根据本文档来自技高网...
【技术保护点】
1.一种应用于流水线的无色透明物体识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取流水线上无色透明物体的RGB图像、标定RGB图像和深度图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述RGB图像进行提取预处理，得到对应的识别数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络，根据所述透明物体掩码，对所述深度图像的深度进行修改，得到修改后的深度，包括：
6.根据权利要求4所述的方法，其特征在于，所述基于全局优化网络，根据所述标定数据、所述遮挡边界和接触边缘、所述修改后的深度和所述表面法线对所述深度图像进行全局优化，得到所述优化后的深度图像，包括：
7.一种应用于流水线的无色透明物体识别装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述RGB图像处理模块具体用于：
<...【技术特征摘要】
1.一种应用于流水线的无色透明物体识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取流水线上无色透明物体的rgb图像、标定rgb图像和深度图像，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述rgb图像进行提取预处理，得到对应的识别数据，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述标定数据和所述识别数据对所述深度图像进行全局优化，输出优化后的深度图像，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于卷积神经网络，根据所述透明物体掩码，对所述深度图像的...
【专利技术属性】
技术研发人员：贺京杰，刘强，邓佩佩，滕达，王文通，王建康，
申请(专利权)人：北京石油化工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。