基于平行视觉的输电线路部件检测方法、系统、装置制造方法及图纸

本发明专利技术属于电力系统管理与检测领域，具体涉及了一种基于平行视觉的输电线路部件检测方法、系统、装置，旨在解决数据获取成本高、模型性能受限且不能及时调整更新的问题。本发明专利技术方法包括：获取输电线路各部件视频图像；通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别；输出部件边界框大小、位置以及部件所属类别。本发明专利技术一方面通过建立虚实结合的场景，扩展了输电线路各部件的训练和测试样本，降低了数据获取的成本，提高了模型的性能；另一方面通过在线学习的方法，不断利用新的数据更新模型达到更好的检测效果。

Detection method, system and device of transmission line components based on parallel vision

【技术实现步骤摘要】
基于平行视觉的输电线路部件检测方法、系统、装置
本专利技术属于电力系统运行管理与检测领域，具体涉及了一种基于平行视觉的输电线路部件检测方法、系统、装置。
技术介绍
中国地域辽阔，对电力系统正常运转有很高的要求，保证输电线路的正常运行关乎亿万国人的生活工作。输电线路电力传输距离长，高压输电线路应用广泛，要求电力检修人员保证输电线路在工作中的正常使用，但是由于外界关键复杂多变，自然的破坏和输电线路各个部分自身可能也存在的材料问题导致输电线路故障。因此，对输电线路进行及时的检修非常重要，过去常常进行人工输电线路检修，一方面受限于人力资源和工作人员安全的限制，一方面又无法满足及时的甚至是在线的检验输电线路状态。现阶段计算机视觉的核心是依赖大规模的带标签的图像数据集进行视觉模型的学习与评估，但是在对复杂输电线路状态进行检测中，难以从实际场景中采集到充足高质量真实图像数据且人工标注费用高昂，难以满足复杂情况下的检测与监控对数据集的要求。对于输电线路特定目标的检测需要大规模搜集输电线路中作为特定检测部件的图像数据，但是对于复杂多样的输电线路部件，针对单个特定目标进行数据搜集、训练模型等数据集创建仍十分困难。通过无人机或者其他摄像装置获得输电线路的图像数据集，通过人工进行标注，利用卷积神经网络(CNN)进行图像识别和目标检测，将YOLO算法应用在输电线路绝缘子故障检测中，利用实际采集的图像构建数据集，取得了不错的成果，然而这种方法数据获取成本高，模型性能受限[1]。利用远程监控装置，通过视频图像检测输电线路运行状态，针对出现故障或者存在风险的图像特点，对现有的目标检测的网络模型进行改进优化，对图像特征提取网络增加ROI池化层并修改了损失函数，利用大量样本进行训练，获得泛化效果好的、可以检测出输电线路状态的视觉模型，然而模型不能随着数据集的完善及时调整更新[2]。平行视觉建立在实际场景与人工场景之上，是一种虚实互动的智能视觉计算方法。通过构建色彩逼真的人工场景,模拟实际场景中可能出现的环境条件,并且自动得到精确的标注信息.结合大规模的人工场景数据集和适当规模的实际场景数据集,能够训练出更有效的机器学习和视觉计算模型.利用人工场景,能够进行各种计算实验,全面评价视觉算法在复杂环境下的有效性,或者优化设置模型的自由参数[3]。以下文献是与本专利技术相关的技术背景资料：[1]杨晓旭,温招洋.深度学习在输电线路绝缘子故障检测中的研究与应用[J].中国新通信,2018(10).[2]张骥,余娟,汪金礼,etal.基于深度学习的输电线路外破图像识别技术[J].计算机系统应用,27(8).[3]XingY,LvC,ChenL,etal.AdvancesinVision-BasedLaneDetection:Algorithms,Integration,Assessment,andPerspectivesonACP-BasedParallelVision[J].IEEE/CAAJournalofAutomaticaSinica,2018,5(3):645-661.
技术实现思路
为了解决现有技术中的上述问题，即数据获取成本高、模型性能受限且不能及时调整更新的问题，本专利技术提供了一种基于平行视觉的输电线路部件检测方法，包括：步骤S10，获取输电线路各部件视频图像作为待检测数据；步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。在一些优选的实施例中，所述虚拟图像子集，其获取方法为：步骤T10，构建三维仿真环境，创建需要检测的输电线路部件的模型；步骤T20，基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真，并构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息，作为部件虚拟图像子集。在一些优选的实施例中，步骤T20中“基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真”，其方法为：基于三维仿真环境，进行真实场景的环境要素仿真，复现环境因素，使虚拟场景与真实场景的相似度大于预设值。在一些优选的实施例中，步骤T20中“构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息”，其方法为：构建虚拟摄像装置，基于三维转二维接口，模仿真实场景中摄像装置对各部件的图像采集，采用虚拟摄像装置进行虚拟场景中各部件图像的采集，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息。在一些优选的实施例中，所述真实场景图像子集，其获取方法为：采用无人机和/或人工巡检的方法采集真实场景中各部件的图像，作为真实场景图像子集。在一些优选的实施例中，所述人工标注信息，包括：图像对应的目标部件边界框大小、位置以及部件所属类别、状态信息。在一些优选的实施例中，步骤B30中“获得训练好的目标检测模型”之后还设置有在线模型更新的步骤，其方法为：步骤G10，在预设的时间点，通过测试集对模型进行评估测试，判断模型性能是否下降；步骤G20，当步骤G10判断结果为“否”时，结束；当判断结果为“是”时，在模型的网络之后增加预设数量的层级，计算获取的模型更新图像集的拟合程度，并通过深度神经网络的容量自适应特性提升模型的性能。本专利技术的另一方面，提出了一种基于平行视觉的输电线路部件检测系统，包括输入模块、目标检测模块、输出模块；所述输入模块，配置为获取输电线路各部件视频图像作为待检测数据并输入；所述目标检测模块，配置为对待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；所述输出模块，配置为将获取的部件边界框大小、位置以及部件所属类别、状态信息输出。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。本专利技术的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于平行视觉的输电线路部件检测方法。本专利技术的有益效果：(1)本专利技术基于平行视觉的输电线路部件检测方法，基于平行视觉理论，一方面通过创建输电线路3D仿真场景，为输电线路检测提供源源不断的人工训练数据，相较于巨大的人工标注成本，有效降低了人工标注成本，大大提高数据库创建效率本文档来自技高网...

【技术保护点】
1.一种基于平行视觉的输电线路部件检测方法，其特征在于，该输电线路部件检测方法包括：步骤S10，获取输电线路各部件视频图像作为待检测数据；步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。

【技术特征摘要】
1.一种基于平行视觉的输电线路部件检测方法，其特征在于，该输电线路部件检测方法包括：步骤S10，获取输电线路各部件视频图像作为待检测数据；步骤S20，对所述待检测数据中每一个部件的视频图像，通过训练好的目标检测模型，获取部件边界框大小、位置以及部件所属类别、状态信息；步骤S30，所述部件边界框大小、位置以及部件所属类别、状态信息为检测结果；其中，所述目标检测模型基于深度神经网络构建，对每一种部件按照以下步骤训练：步骤B10，获取训练集、测试集；所述训练集包括多个训练样本，所述训练样本包括部件虚拟图像及其对应的标签信息；所述测试集包括多个测试样本，所述测试样本包括部件真实场景图像及其对应的标签信息；步骤B20，分别从所述训练集、测试集随机选取一个训练样本、一个测试样本，平行输入目标检测模型，计算训练样本与测试样本检测结果的拟合程度，并通过深度神经网络的容量自适应特性优化目标检测模型的模型参数；步骤B30，重复执行步骤B20直至所述训练样本与测试样本检测结果的拟合程度大于预设的阈值或达到预设的训练次数，获得训练好的目标检测模型。2.根据权利要求1所述的基于平行视觉的输电线路部件检测方法，其特征在于，所述虚拟图像子集，其获取方法为：步骤T10，构建三维仿真环境，创建需要检测的输电线路部件的模型；步骤T20，基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真，并构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和分类信息，作为部件虚拟图像子集。3.根据权利要求2所述的基于平行视觉的输电线路部件检测方法，其特征在于，步骤T20中“基于所述三维仿真环境以及各输电线路部件的模型，进行人工场景仿真”，其方法为：基于三维仿真环境，进行真实场景的环境要素仿真，复现环境因素，使虚拟场景与真实场景的相似度大于预设值。4.根据权利要求2所述的基于平行视觉的输电线路部件检测方法，其特征在于，步骤T20中“构建虚拟摄像装置，获取各输电线路部件的模型各视角的图像以及对应的部件位置和...

【专利技术属性】
技术研发人员：王坤峰，翟永杰，王金娜，吴童桐，王飞跃，
申请(专利权)人：中国科学院自动化研究所，华北电力大学保定，
类型：发明
国别省市：北京,11