【技术实现步骤摘要】
本专利技术属于图像目标检测，涉及一种基于yolov9和扩散模型的输电线路异物检测方法。
技术介绍
1、各种输电线路遍布在居民区、铁路网等地方，容易被气球、风筝、鸟巢等异物附着，从而影响到输电线路的电力传输。为了防止发生这些事故，及时发现输电线路上的异物是重中之重。如果仅用传统人工的方式来查看输电线路是否存在异物将会是巨大的工程，随着深度学习在计算机视觉中的目标检测领域的发展，其分为了两阶段目标检测方法和单阶段目标检测方法，均可部署到边缘设备，通过目标检测算法结合边缘设备来识别复杂繁多的输电线路上的异物会更加适合。
2、其中，两阶段目标检测方法虽然精度更高，但是耗费算力更大，推理很慢，由于边缘设备本身算力小，会导致推理速度以及精度都会急剧降低，若推理速度慢，就不能够及时发现输电线路的异物，若检测精度低，会导致检测的异物不准确，甚至无法检测出异物，都会使得输电线路安全性降低。而单阶段目标检测方法，如yolov9算法，由于其实时性以及端到端的特性，相对于两阶段目标检测方法，推理速度快，算力要求更低。但使用yolov9算法部署到边缘...
【技术保护点】
1.基于YOLOv9和扩散模型的输电线路异物检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于YOLOv9和扩散模型的输电线路异物检测方法，其特征在于，文生图扩散模型包括语言模型、文本编码器、图像编码器、图文配对的多模态模型、变分自编码器和U-Net网络，变分自编码器包括编码器和解码器，通过语言模型、文本编码器和图像编码器对输电线路异物图像数据集进行处理，得到对应的文本特征向量和图像特征向量，用于训练图文配对的多模态模型，向训练后的图文配对的多模态模型输入异物的文本描述及背景的文本描述，生成文本编码向量；将随机矩阵输入变分自编码器的编码器中...
【技术特征摘要】
1.基于yolov9和扩散模型的输电线路异物检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于yolov9和扩散模型的输电线路异物检测方法，其特征在于，文生图扩散模型包括语言模型、文本编码器、图像编码器、图文配对的多模态模型、变分自编码器和u-net网络，变分自编码器包括编码器和解码器，通过语言模型、文本编码器和图像编码器对输电线路异物图像数据集进行处理，得到对应的文本特征向量和图像特征向量，用于训练图文配对的多模态模型，向训练后的图文配对的多模态模型输入异物的文本描述及背景的文本描述，生成文本编码向量；将随机矩阵输入变分自编码器的编码器中生成潜在空间低维矩阵，将潜在空间低维矩阵、文本编码向量、自定义的异物位置信息、背景初始信息、噪点强度输入u-net网络中进行噪声裁剪及合并操作，以及扩散加噪操作和反向扩散去噪操作，生成低维图像矩阵，将低维图像矩阵输入变分自编码器的解码器之中进行解码，生成重构图像，重构图像和原有的输电线路异物图像组成数据增强后的图像数据集。
3.根据权利要求2所述的基于yolov9和扩散模型的输电线路异物检测方法，其特征在于，训练图文配对的多模态模型时，将文本特征向量及图像特征向量构建为图像-文本对，计算图像-文本对的相似度对比损失，用于训练图文配对的多模态模型。
4.根据权利要求2所述的基于yolov9和扩散模型的输电线路异物检测方法，其特征在于，向训练后的图文配对的多模态模型输入异物的文本描述及背景的文本描述所构成的文本信息t，通过图文配对的多模态模型生成文本编码向量zt={t1, t2,…,tn,tbg } ，其中，t1, t2,…,tn分别为第1，2,…,n条对异物的文本描述所对应的文本编码向量，tbg为背景的文本编码向量。
5.根据权利要求4所述的基于yolov9和扩散模型的输电线路异物检测方法，其特征在于，生...
【专利技术属性】
技术研发人员：谢昕，杨志坚，郑星鹏，刘昭阳，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。