一种管道壁破损检测方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了一种管道壁破损检测方法、装置及系统，该方法包括：结合当前帧的管道壁的深度图和彩色图的检测结果，初步确定当前帧深度图和彩色图对应的管道壁的当前检测区域是否包含破损区域，并结合关联图像帧集中的多帧图像进行联合检测，进一步确认当前检测区域中是否包含破损区域。这样，实现了对管道壁破损的自动化检测，而且无需相关人员进入管道内，降低了人工成本，提高了检测效率。而且通过深度图和彩色图结合以及通过多帧联合检测的方式，提高了检测的准确度。

【技术实现步骤摘要】
一种管道壁破损检测方法、装置及系统
本专利技术涉及图像处理领域，尤其涉及一种管道壁破损检测方法、装置及系统。
技术介绍
在工业领域，对管道壁的检测是一个难题，传统的管道壁的检测方法通常是相关人员进入管道内部检查、记录。但是传统的方式，速度慢、效率低、人工成本高，且对于某些场景的工作环境不适用。
技术实现思路
有鉴于此，本专利技术实施例公开了一种管道壁破损检测方法、装置及系统，不仅实现了对管道壁破损的自动化检测，降低了人力的消耗，而且提高了检测精度。本专利技术实施例提供了一种管道壁破损检测方法，包括：获取管道壁的深度图和彩色图；所述管道壁的深度图和彩色图是相机在管道壁内移动的过程中拍摄得到的；基于当前帧的管道壁的深度图和彩色图，初步确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损；所述当前帧为获取到的管道壁的深度图和彩色图中的任意一帧；在初步确定所述当前检测区域有破损的情况下，获取所述当前帧的关联图像帧集；所述关联图像帧集中包括当前帧的深度图和彩色图以及与当前帧相邻的多帧深度图和彩色图；在所述关联图像帧集中每帧深度图和彩色图均具有破损区域的情况下，判断所述关联图像帧集中的每帧深度图的破损区域的位置以及每帧彩色图中的破损区域的位置是否满足预设的位置条件；在所述关联图像帧集中每帧深度图的破损区域的位置以及关联图像帧集中每帧彩色图破损区域的位置之间满足预设的位置条件的情况下，确定管道壁的当前检测区域存在破损区域。可选的，所述基于当前帧的管道壁的深度图和彩色图，确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损，包括：基于预设的管道壁破损的深度特点检测当前时刻所述管道壁的深度图中是否包含破损区域；基于预设的破损区域检测模型，检测所述当前帧的管道壁的彩色图像中是否包含破损区域；若所述当前帧的管道壁的深度图和所述当前帧的管道壁的彩色图中均包含破损区域，判断所述当前帧的管道壁的深度图中破损区域的位置与当前帧的管道壁的彩色图中破损区域的位置是否匹配；若所述当前帧的管道壁的深度图中破损区域的位置与所述当前帧管道壁的彩色图的破损区域的位置匹配，则初步确定所述当前帧的深度图和彩色图对应的管道壁的当前检测区域中包含破损区域。可选的，所述判断所述多帧深度图中的每个帧深度图的破损区域的位置以及多帧彩色图中每帧彩色图中的破损区域的位置是否满足预设的位置条件，包括：判断关联图像帧集中所有相邻的两帧深度图中破损区域的位置之间的第一距离是否小于预设的第一阈值；判断所述关联图像帧集中所有相邻两帧彩色图中破损区域的位置之间的第二距离是否小于预设的第二阈值；若所述关联图像帧集中所有相邻两帧深度图中破损区域的位置之间的第一距离小于预设的第一阈值，且，关联图像帧集中所有相邻两帧的彩色图中的破损区域的位置之间的第二距离小于预设的第二阈值，判断所述关联图像帧集中每帧深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置是否匹配；若所述关联图像帧集中所有相邻的深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置匹配，则所述关联图像帧集中每帧深度图以及每帧彩色图中破损区域的位置满足预设的位置关系。可选的，还包括：基于当前帧的所有管道壁的深度图中破损区域的位置，计算管道壁的当前检测区域的破损区域的形态信息可选的，还包括：将当前帧的管道壁的深度图转换到三维点云空间，得到当前帧的管道壁的破损区域在世界坐标系下的位置坐标；获取深度相机的偏移角度，对当前帧的管道壁的破损区域的在世界坐标系下的位置进行修正。本专利技术实施例还提供了一种管道壁破损检测装置，包括：第一获取单元，用于获取管道壁的深度图和彩色图；所述管道壁的深度图和彩色图是相机在管道壁内移动的过程中拍摄得到的；初步确定单元，用于基于当前帧的管道壁的深度图和彩色图，初步确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损；所述当前帧为获取到的管道壁的深度图和彩色图中的任意一帧；第二获取单元，用于在初步确定所述当前检测区域有破损的情况下，获取所述当前帧的关联图像帧集；所述关联图像帧集中包括当前帧的深度图和彩色图以及与当前帧相邻的多帧深度图和彩色图；判断单元，用于在所述关联图像帧集中每帧深度图和彩色图均具有破损区域的情况下，判断所述关联图像帧集中的每帧深度图的破损区域的位置以及每帧彩色图中的破损区域的位置是否满足预设的位置条件；确定单元，用于在所述关联图像帧集中每帧深度图的破损区域的位置以及关联图像帧集中每帧彩色图破损区域的位置之间满足预设的位置条件的情况下，确定管道壁的当前检测区域存在破损区域。可选的，所述初步确定单元，包括：深度图检测子单元，用于基于预设的管道壁破损的深度特点检测当前时刻所述管道壁的深度图中是否包含破损区域；彩色图检测子单元，用于基于预设的破损区域检测模型，检测所述当前帧的管道壁的彩色图像中是否包含破损区域；判断子单元，用于若所述当前帧的管道壁的深度图和所述当前帧的管道壁的彩色图中均包含破损区域，判断所述当前帧的管道壁的深度图中破损区域的位置与当前帧的管道壁的彩色图中破损区域的位置是否匹配；初步确定子单元，用于若所述当前帧的管道壁的深度图中破损区域的位置与所述当前帧管道壁的彩色图的破损区域的位置匹配，则初步确定所述当前帧的深度图和彩色图对应的管道壁的当前检测区域中包含破损区域。可选的，所述判断单元，包括：第一判断子单元，用于判断关联图像帧集中所有相邻的两帧深度图中破损区域的位置之间的第一距离是否小于预设的第一阈值；第二判断子单元，用于判断所述关联图像帧集中所有相邻两帧彩色图中破损区域的位置之间的第二距离是否小于预设的第二阈值；第三判断子单元，用于若所述关联图像帧集中所有相邻两帧深度图中破损区域的位置之间的第一距离小于预设的第一阈值，且，关联图像帧集中所有相邻两帧的彩色图中的破损区域的位置之间的第二距离小于预设的第二阈值，判断所述关联图像帧集中每帧深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置是否匹配；确定子单元，用于若所述关联图像帧集中所有相邻的深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置匹配，则所述关联图像帧集中每帧深度图以及每帧彩色图中破损区域的位置满足预设的位置关系。可选的，还包括：转换子单元，用于将当前帧的管道壁的深度图转换到三维点云空间，得到当前帧的管道壁的破损区域在世界坐标系下的位置坐标；修正子单元，用于获取深度相机的偏移角度，对当前帧的管道壁的破损区域的在世界坐标系下的位置进行修正。本专利技术实施例还提供了一种管道壁破损检测系统，包括：视觉成像系统，包括：移动装置、深度相机和彩色相机；所述视觉成像系统，用于在管道壁内移动，并在移动的过程中通过深度相机和彩色相机采集管道壁的深度图像和本文档来自技高网...

【技术保护点】
1.一种管道壁破损检测方法，其特征在于，包括：/n获取管道壁的深度图和彩色图；所述管道壁的深度图和彩色图是相机在管道壁内移动的过程中拍摄得到的；/n基于当前帧的管道壁的深度图和彩色图，初步确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损；所述当前帧为获取到的管道壁的深度图和彩色图中的任意一帧；/n在初步确定所述当前检测区域有破损的情况下，获取所述当前帧的关联图像帧集；所述关联图像帧集中包括当前帧的深度图和彩色图以及与当前帧相邻的多帧深度图和彩色图；/n在所述关联图像帧集中每帧深度图和彩色图均具有破损区域的情况下，判断所述关联图像帧集中的每帧深度图的破损区域的位置以及每帧彩色图中的破损区域的位置是否满足预设的位置条件；/n在所述关联图像帧集中每帧深度图的破损区域的位置以及关联图像帧集中每帧彩色图破损区域的位置之间满足预设的位置条件的情况下，确定管道壁的当前检测区域存在破损区域。/n

【技术特征摘要】
1.一种管道壁破损检测方法，其特征在于，包括：
获取管道壁的深度图和彩色图；所述管道壁的深度图和彩色图是相机在管道壁内移动的过程中拍摄得到的；
基于当前帧的管道壁的深度图和彩色图，初步确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损；所述当前帧为获取到的管道壁的深度图和彩色图中的任意一帧；
在初步确定所述当前检测区域有破损的情况下，获取所述当前帧的关联图像帧集；所述关联图像帧集中包括当前帧的深度图和彩色图以及与当前帧相邻的多帧深度图和彩色图；
在所述关联图像帧集中每帧深度图和彩色图均具有破损区域的情况下，判断所述关联图像帧集中的每帧深度图的破损区域的位置以及每帧彩色图中的破损区域的位置是否满足预设的位置条件；
在所述关联图像帧集中每帧深度图的破损区域的位置以及关联图像帧集中每帧彩色图破损区域的位置之间满足预设的位置条件的情况下，确定管道壁的当前检测区域存在破损区域。


2.根据权利要求1所述的方法，其特征在于，所述基于当前帧的管道壁的深度图和彩色图，确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损，包括：
基于预设的管道壁破损的深度特点检测当前时刻所述管道壁的深度图中是否包含破损区域；
基于预设的破损区域检测模型，检测所述当前帧的管道壁的彩色图像中是否包含破损区域；
若所述当前帧的管道壁的深度图和所述当前帧的管道壁的彩色图中均包含破损区域，判断所述当前帧的管道壁的深度图中破损区域的位置与当前帧的管道壁的彩色图中破损区域的位置是否匹配；
若所述当前帧的管道壁的深度图中破损区域的位置与所述当前帧管道壁的彩色图的破损区域的位置匹配，则初步确定所述当前帧的深度图和彩色图对应的管道壁的当前检测区域中包含破损区域。


3.根据权利要求1所述的方法，其特征在于，所述判断所述关联图像帧集中的每帧深度图的破损区域的位置以及每帧彩色图中的破损区域的位置是否满足预设的位置条件，包括：
判断关联图像帧集中所有相邻的两帧深度图中破损区域的位置之间的第一距离是否小于预设的第一阈值；
判断所述关联图像帧集中所有相邻两帧彩色图中破损区域的位置之间的第二距离是否小于预设的第二阈值；
若所述关联图像帧集中所有相邻两帧深度图中破损区域的位置之间的第一距离小于预设的第一阈值，且，关联图像帧集中所有相邻两帧的彩色图中的破损区域的位置之间的第二距离小于预设的第二阈值，判断所述关联图像帧集中每帧深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置是否匹配；
若所述关联图像帧集中所有相邻的深度图中破损区域的位置和同一时刻拍摄的彩色图中破损区域的位置匹配，则所述关联图像帧集中每帧深度图以及每帧彩色图中破损区域的位置满足预设的位置关系。


4.根据权利要求1所述的方法，其特征在于，还包括：
基于当前帧的所有管道壁的深度图中破损区域的位置，计算管道壁的当前检测区域的破损区域的形态信息。


5.根据权利要求1所述的方法，其特征在于，还包括：
将当前帧的管道壁的深度图转换到三维点云空间，得到当前帧的管道壁的破损区域在世界坐标系下的位置坐标；
获取深度相机的偏移角度，对当前帧的管道壁的破损区域的在世界坐标系下的位置进行修正。


6.一种管道壁破损检测装置，其特征在于，包括：
第一获取单元，用于获取管道壁的深度图和彩色图；所述管道壁的深度图和彩色图是相机在管道壁内移动的过程中拍摄得到的；
初步确定单元，用于基于当前帧的管道壁的深度图和彩色图，初步确定当前帧的管道壁的深度图和彩色图对应的管道壁的当前检测区域是否有破损；所述当前帧为获取到的管道壁的深度图和彩色图中的任意一帧；
第二获取单元，用于在初步确定所述当前检测区域有破损的情况下，获取所述当前帧的关联图像帧集；所述关...

【专利技术属性】
技术研发人员：刘小苹，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11