一种油管检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种油管检测方法、装置、电子设备及存储介质，涉及油管检测领域，方法包括：获取待检测油管图像，并对待检测油管图像进行特征提取，得到对应的特征图谱；利用预设关键点检测模型对特征图谱进行关键点预测，以预测表征油管位置及形态的预设数量的第一关键点在待测油管图像中的位置；根据第一关键点的位置在待检测油管图像中确定油管的位置及形态；可采用关键点检测的方式对油管这类柔性目标进行检测，进而可在各类环境中对各种姿态的油管进行有效检测，并能够提升油管检测的鲁棒性。性。性。

【技术实现步骤摘要】
一种油管检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及油管检测领域，特别涉及一种油管检测方法、装置、电子设备及存储介质。

技术介绍

[0002]在石化行业中，为更好地规范工作人员执行稳油卸油操作，对油管进行目标识别及姿态检测非常重要。相关技术中，若采用传统的机器视觉方法以梯度计算的方式识别油管的形状，则识别过程容易受复杂背景的影响；若采用目标检测算法来识别油管目标，考虑到油管属于柔性物体，形态各异，进而不仅难以利用目标检测框定位油管，同时油管形态的复杂性也容易导致模型难以收敛，为模型训练带来了不小的困难。

技术实现思路

[0003]本专利技术的目的是提供一种油管检测方法、装置、电子设备及存储介质，可采用关键点检测的方式对油管这类柔性目标进行检测，可在各类环境中对各种姿态的油管进行有效检测，进而能够提升油管检测的鲁棒性。
[0004]为解决上述技术问题，本专利技术提供一种油管检测方法，包括：
[0005]获取待检测油管图像，并对所述待检测油管图像进行特征提取，得到对应的特征图谱；
[0006]利用预设关键点检测模型对所述特征图谱进行关键点预测，以预测表征油管位置及形态的预设数量的第一关键点在所述待测油管图像中的位置；
[0007]根据所述第一关键点的位置在所述待检测油管图像中确定所述油管的位置及形态。
[0008]可选地，所述利用预设关键点检测模型对所述特征图谱进行关键点预测，包括：
[0009]将所述特征图谱输入至所述预设关键点检测模型，以利用所述预设关键点检测模型生成各所述第一关键点对应的置信图；所述置信图用于记录所述待检测油管图像中的各像素点为所述置信图对应的第一关键点的置信度；
[0010]根据所述置信图确定各所述第一关键点在所述待检测油管图像中的位置。
[0011]可选地，所述预设关键点检测模型的训练过程，包括：
[0012]获取训练油管图像，并对所述训练油管图像进行特征提取得到对应的训练特征图谱；所述训练油管图像标注有所述预设数量的油管关键点，并记录有各所述油管关键点的位置及各所述油管关键点间的亲和度；
[0013]利用所述预设关键点检测模型的第一网络分支对所述训练特征图谱进行关键点预测，以预测各所述油管关键点对应的第二关键点在所述训练油管图像中的位置，以及利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测，以预测各所述第二关键点间的亲和度；
[0014]利用各所述第二关键点的位置及对应的油管关键点的位置生成第一损失值，以及
利用各第二关键点间的亲和度及对应的油管关键点间的亲和度生成第二损失值；
[0015]利用所述第一损失值和所述第二损失值生成总损失值，并判断所述总损失值是否大于预设阈值；
[0016]若是，则利用所述总损失值对所述预测模型进行参数更新，并基于更新后的预测模型进入所述利用所述预设关键点检测模型的第一网络分支对所述训练特征图谱进行关键点预测，以及利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测步骤；
[0017]若否，则完成对所述预设关键点检测模型的训练。
[0018]可选地，所述油管关键点包括转折关键点和拟合关键点，所述转折关键点标注于油管的起始位置和弯折角度大于预设值的弯折位置，所述拟合关键点标注于相邻的转折关键点之间，所述利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测，以预测各所述第二关键点间的亲和度，包括：
[0019]根据所述油管关键点的排布顺序，将所有所述第二关键点添加至关键点序列；
[0020]将所述关键点序列中的首个第二关键点设置为待计算关键点，并确定所述待计算关键点对应的油管关键点的类型；
[0021]若所述类型为转折关键点，则在所述关键点序列中查找所述待计算关键点相邻的、与转折关键点对应的后一个目标第二关键点，并将待计算关键点至所述目标第二关键点的向量设置为所述待计算关键点对应的亲和度值；
[0022]若所述类型为拟合关键点，确定在所述关键点序列中查找与所述待计算关键点相邻的、均与转折关键点对应的两个目标第二关键点；确定经过所述两个目标第二关键点的直线，并将所述待计算关键点与所述直线间的距离设置为所述待计算关键点对应的亲和度值；
[0023]在完成对当前的待计算关键点的亲和度值计算时，若确定所述关键点序列中存在未计算所述亲和度值的第二关键点，则将所述待计算关键点更新为下一个第二关键点，并进入所述确定所述待计算关键点对应的油管关键点的类型的步骤；
[0024]若确定所述关键点序列中不存在未计算所述亲和度值的第二关键点，则完成所述关键点亲和度预测。
[0025]可选地，所述利用各第二关键点间的亲和度及对应的油管关键点间的亲和度生成第二损失值，包括：
[0026]将所述关键点序列中的首个第二关键点设置为待处理关键点，并确定所述待处理关键点对应的油管关键点的类型；
[0027]若所述类型为转折关键点，则确定所述待处理关键点对应的向量与所述待处理关键点对应的油管关键点对应的向量间的余弦夹角值，并将所述余弦夹角值设置为所述待处理关键点对应的亲和度损失值；
[0028]若所述类型为拟合关键点，则确定所述待处理关键点对应的距离与所述待处理关键点对应的油管关键点对应的距离间的距离损失值，并将所述距离损失值设置为所述待处理关键点对应的亲和度损失值；
[0029]在完成对当前的待处理关键点的亲和度损失值计算时，若确定所述关键点序列中存在未计算所述亲和度损失值的第二关键点，则将所述待处理关键点更新为下一个第二关
键点，并确定所述待处理关键点对应的油管关键点的类型；
[0030]若确定所述关键点序列中不存在未计算所述亲和度损失值的第二关键点，则利用所有第二关键点对应的亲和度损失值生成所述第二损失值。
[0031]可选地，所述利用所述预设关键点检测模型的第一网络分支对所述训练特征图谱进行关键点预测，以预测各所述油管关键点对应的第二关键点在所述训练油管图像中的位置，以及利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测，以预测各所述第二关键点间的亲和度，包括：
[0032]将所述训练特征图谱设置为待处理特征，并将当前阶段初始化为1；
[0033]将所述待处理特征输入至所述预设关键点检测模型在所述当前阶段对应的第一网络分支，以预测当前阶段下各所述第二关键点在所述训练油管图像中的位置，以及将所述待处理特征输入至所述预设关键点检测模型在所述当前阶段对应的第二网络分支，以预测当前阶段下各所述第二关键点间的亲和度；
[0034]利用当前阶段下各所述第二关键点的位置及对应的油管关键点的位置生成第一子损失值，以及利用当前阶段下各第二关键点间的亲和度及对应的油管关键点间的亲和度生成第二子损失值；
[0035]将所述训练特征图谱与所述当前阶段下各第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种油管检测方法，其特征在于，包括：获取待检测油管图像，并对所述待检测油管图像进行特征提取，得到对应的特征图谱；利用预设关键点检测模型对所述特征图谱进行关键点预测，以预测表征油管位置及形态的预设数量的第一关键点在所述待测油管图像中的位置；根据所述第一关键点的位置在所述待检测油管图像中确定所述油管的位置及形态。2.根据权利要求1所述的油管检测方法，其特征在于，所述利用预设关键点检测模型对所述特征图谱进行关键点预测，包括：将所述特征图谱输入至所述预设关键点检测模型，以利用所述预设关键点检测模型生成各所述第一关键点对应的置信图；所述置信图用于记录所述待检测油管图像中的各像素点为所述置信图对应的第一关键点的置信度；根据所述置信图确定各所述第一关键点在所述待检测油管图像中的位置。3.根据权利要求1或2所述的油管检测方法，其特征在于，所述预设关键点检测模型的训练过程，包括：获取训练油管图像，并对所述训练油管图像进行特征提取得到对应的训练特征图谱；所述训练油管图像标注有所述预设数量的油管关键点，并记录有各所述油管关键点的位置及各所述油管关键点间的亲和度；利用所述预设关键点检测模型的第一网络分支对所述训练特征图谱进行关键点预测，以预测各所述油管关键点对应的第二关键点在所述训练油管图像中的位置，以及利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测，以预测各所述第二关键点间的亲和度；利用各所述第二关键点的位置及对应的油管关键点的位置生成第一损失值，以及利用各第二关键点间的亲和度及对应的油管关键点间的亲和度生成第二损失值；利用所述第一损失值和所述第二损失值生成总损失值，并判断所述总损失值是否大于预设阈值；若是，则利用所述总损失值对所述预测模型进行参数更新，并基于更新后的预测模型进入所述利用所述预设关键点检测模型的第一网络分支对所述训练特征图谱进行关键点预测，以及利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测步骤；若否，则完成对所述预设关键点检测模型的训练。4.根据权利要求3的油管检测方法，其特征在于，所述油管关键点包括转折关键点和拟合关键点，所述转折关键点标注于油管的起始位置和弯折角度大于预设值的弯折位置，所述拟合关键点标注于相邻的转折关键点之间，所述利用所述预设关键点检测模型的第二网络分支对所述训练特征图谱进行关键点亲和度预测，以预测各所述第二关键点间的亲和度，包括：根据所述油管关键点的排布顺序，将所有所述第二关键点添加至关键点序列；将所述关键点序列中的首个第二关键点设置为待计算关键点，并确定所述待计算关键点对应的油管关键点的类型；若所述类型为转折关键点，则在所述关键点序列中查找所述待计算关键点相邻的、与转折关键点对应的后一个目标第二关键点，并将待计算关键点至所述目标第二关键点的向
量设置为所述待计算关键点对应的亲和度值；若所述类型为拟合关键点，确定在所述关键点序列中查找与所述待计算关键点相邻的、均与转折关键点对应的两个目标第二关键点；确定经过所述两个目标第二关键点的直线，并将所述待计算关键点与所述直线间的距离设置为所述待计算关键点对应的亲和度值；在完成对当前的待计算关键点的亲和度值计算时，若确定所述关键点序列中存在未计算所述亲和度值的第二关键点，则将所述待计算关键点更新为下一个第二关键点，并进入所述确定所述待计算关键点对应的油管关键点的类型的步骤；若确定所述关键点序列中不存在未计算所述亲和度值的第二关键点，则完成所述关键点亲和度预测。5.根据权利要求4所述的油管检测方法，其特征在于，所述利用各第二关键点间的亲和度及对应的油管关键点间的亲和度生成第二损失值，包括：将所述关键点序列中的首个第二关键点设置为待处理关键点，并确定所述待处理关键点对应...

【专利技术属性】
技术研发人员：董保磊，包汉彬，张同顺，
申请(专利权)人：济南博观智能科技有限公司，
类型：发明
国别省市：