【技术实现步骤摘要】
本专利技术涉及覆冰检测，具体为一种基于多源信息融合的覆冰检测方法及系统。
技术介绍
1、建设观冰站或观哨所：在容易发生覆冰事故的区域建设人工值守站点，通过测量导线的实际覆冰厚度来为电力相关部门提供决策依据。建设观冰站主要缺点是成本较高，工作量大，危险性极大。由于地理位置和天气因素的影响，直接测量输电导线的覆冰厚度不仅难度非常大，而且测量数据也不具有及时性，不能为及时除冰提供有力的技术支持。虽然这种观冰站得出的覆冰厚度准确，但是不具有实时性，不值得被大力推广。传统图像法是用摄像机直接采集到输电线覆冰图像，再对图片进行一系列的处理操作，输电线覆冰厚度的判定结果比较直接快捷。由于该方法不是使用各种传感器来搜集各个参数，再通过相对应的模型进行计算得到覆冰的状态，所以，图像法得到的覆冰检测结果仅与摄像机所采集到的图像质量是直接相关的，而与其相关的传感器测量的各种参数无关。但是，传统方法存在着人工操作繁琐、准确度低等问题，大多数基于模拟导线、模型和图像检擦方法在准确度、环境适应性和实时性方面仍存在不足之处，需要进一步研究和改进。
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：传统方法存在着人工操作繁琐、准确度低等问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种基于多源信息融合的覆冰检测方法，包括：采集覆冰缺陷图像；利用多模态融合方法融合红外与可见光图像，并进行特征提取；利用数据蒸馏技术建立输电线路覆冰检测
4、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述检测数据集包括，构建输电线路覆冰数据集，对所述数据集添加部分实验模拟图像数据集以扩充模型训练的图像数据集；图像数据集包含输电线路未覆冰、输电线路覆冰两类，训练时使用的标签数据集需要通过使用labelme标注工具进行手动标注；目标模型为图像三分类语义分割模型，分别为输电线、覆冰层、背景。
5、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述提取特征包括，将可见光图像和红外图像输入到cnn模型，提取不同模态图像的特征；
6、在提取不同模态图像特征中，使用merge–a和merge–b两种结构进行针对于覆冰的多模态图像检测算法，使用merge-b将子模型中最后一个卷积块输出的特征图进行融合；子模型的卷积块将输出nt组特征映射；将同一特征通道中的nt组特征图点对点求和，将同一特征通道轴拼接成大特征图；在特征映射融合后，附加一个bn和relu的卷积层、一个全局平均池化层和一个稠密映射层，提取全局信息；训练后的子模型权值在训练附加层时被冻结，保持原始的特征提取能力；
7、使用merge-a将所有子图的最终输出结果进行融合，在提取特征后，进入softmax模块，通过子模型输出nt维数的识别结果，通过类分数的平均得到最终的识别结果；使用一个全连接层，进行两种特征提取方法的融合，完成多源信息融合的覆冰特征提取。
8、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述数据蒸馏包括，从未标记的无人机巡检的覆冰数据集中提取信息；
9、在采集到的多源覆冰缺陷图像中，对1％图像进行标记；在标记的缺陷图像数据中，划分出训练集并训练cnn模型；进行预处理工作，输入神经网络模型进行立场分析；
10、将训练后的模型应用于未被标记的数据，进行未标记数据的立场预测；根据未标记数据的立场预测结果，对未标记立场的数据进行自动预测标记，生成原标记训练集合的扩充集合，将自动预测标记的数据集新增至原训练集合中；将所述的包含自动预测标记数据的新训练集合输入立场分析模型中重新训练；重复上述的迭代步骤，直到cnn模型的预测性能达到预设的精确度指标后停止迭代操作，将cnn模型应用于覆冰缺陷图像识别。
11、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述坐标转换包括，
12、设输电导线和摄像机之间的距离不变，通过摄像机标定的方法实现输电线路覆冰厚度的计算；摄像机标定分为两个部分，第一部分从世界坐标到相机坐标的转换为三维到三维的变换，第二部分从相机坐标到图像坐标的转换为三维到二维的变换；采用摄像头对目标图片进行拍摄，并把图片传送到计算机系统进行处理，这个过程中完成从实物到图片的变换，实现坐标从三维到二维的变换；经过摄像机内部的编码解码变换，完成输电线路的实际参数的相应图像参数的变化。
13、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述图像标定包括，设实物的三维坐标是(mx,nx,zx)，摄像机的坐标为(m,n,z)，像面的坐标是(m,n,f)，计算机的图像坐标(uf,wf)，对图像的标定表示为：
14、
15、其中，(uf-u0)和(wf-w0)是相机m和n向的两个相邻像素中心间的距离，(u0,w0)是摄像机的像面中心点，ki表示畸变系数i＝1,2,3…；ri表示转动矩阵中的元素i＝1,2,3…，用摄像机对图片进行标定。
16、作为本专利技术所述的基于多源信息融合的覆冰检测方法的一种优选方案，其中：所述覆冰厚度估计包括，计算输电线覆冰厚度，使用输电线路的直径以及覆冰后的直径与其对应的像素之间的比例关系得出输电线路的覆冰厚度；覆冰的平均厚度在工程生产中可代表输电线路覆冰厚度；
17、取x1,x2之间的一段，设输电路未覆冰时其直径为d且其直径已知，输电线路覆冰后平均直径为d2，由比例关系其覆冰后的平均直径d，平均覆冰厚度d计算方法表示为：
18、
19、
20、其中，d表示输电线覆冰的平均厚度，q1(x)表示其直径对应像素点数与x轴的关系，q2(x)表示覆冰后直径对应像素点数与x轴的关系。
21、一种如本专利技术任一所述方法的基于多源信息融合的覆冰检测系统，其特征在于：
22、数据集构建模块，利用多种传感器、摄像头等设备，在不同条件和环境下收集输电线路的覆冰数据；对收集到的原始数据进行清洗、修复、去噪、标准化和增强并标注；
23、数据多模态融合模块，从每个数据源中提取有关覆冰的特征，将多个数据源的信息整合到一起；
24、覆冰区域识别模块，利用数据集中的特征，训练机器学习或深度学习模型将训练好的模型应用于新的数据，识别并标记出覆冰的区域；
25、智能监测模块，对实时输入的数据进行快速分析，确定是否有覆冰的风险；当检测到覆冰或者覆冰风险超过预设的阈值时，自动发出警报。
26、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本专利技术中任一项所述的方法的步骤。
27、一种计算机可读存储介质，其上存储有计算机程本文档来自技高网...
【技术保护点】
1.一种基于多源信息融合的覆冰检测方法，其特征在于，包括：
2.如权利要求1所述的基于多源信息融合的覆冰检测方法，其特征在于：所述检测数据集包括，构建输电线路覆冰数据集，对所述数据集添加部分实验模拟图像数据集以扩充模型训练的图像数据集；图像数据集包含输电线路未覆冰、输电线路覆冰两类，训练时使用的标签数据集需要通过使用Labelme标注工具进行手动标注；目标模型为图像三分类语义分割模型，分别为输电线、覆冰层、背景。
3.如权利要求2所述的基于多源信息融合的覆冰检测方法，其特征在于：所述提取特征包括，将可见光图像和红外图像输入到CNN模型，提取不同模态图像的特征；
4.如权利要求3所述的基于多源信息融合的覆冰检测方法，其特征在于：所述数据蒸馏包括，从未标记的无人机巡检的覆冰数据集中提取信息；
5.如权利要求4所述的基于多源信息融合的覆冰检测方法，其特征在于：所述坐标转换包括，
6.如权利要求5所述的基于多源信息融合的覆冰检测方法，其特征在于：所述图像标定包括，设实物的三维坐标是(mx,nx,zx)，摄像机的坐标为(m,n,z
7.如权利要求6所述的基于多源信息融合的覆冰检测方法，其特征在于：所述智能监测包括，计算输电线覆冰厚度，使用输电线路的直径以及覆冰后的直径与其对应的像素之间的比例关系得出输电线路的覆冰厚度；覆冰的平均厚度在工程生产中可代表输电线路覆冰厚度；取覆冰线路图像中x1,x2之间的一段，设输电路未覆冰时其直径为d且其直径已知，输电线路覆冰后平均直径为d2，由比例关系其覆冰后的平均直径d，平均覆冰厚度D计算方法表示为：
8.一种如权利要求1-7任一所述方法的基于多源信息融合的覆冰检测系统，其特征在于：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于多源信息融合的覆冰检测方法，其特征在于，包括：
2.如权利要求1所述的基于多源信息融合的覆冰检测方法，其特征在于：所述检测数据集包括，构建输电线路覆冰数据集，对所述数据集添加部分实验模拟图像数据集以扩充模型训练的图像数据集；图像数据集包含输电线路未覆冰、输电线路覆冰两类，训练时使用的标签数据集需要通过使用labelme标注工具进行手动标注；目标模型为图像三分类语义分割模型，分别为输电线、覆冰层、背景。
3.如权利要求2所述的基于多源信息融合的覆冰检测方法，其特征在于：所述提取特征包括，将可见光图像和红外图像输入到cnn模型，提取不同模态图像的特征；
4.如权利要求3所述的基于多源信息融合的覆冰检测方法，其特征在于：所述数据蒸馏包括，从未标记的无人机巡检的覆冰数据集中提取信息；
5.如权利要求4所述的基于多源信息融合的覆冰检测方法，其特征在于：所述坐标转换包括，
6.如权利要求5所述的基于多源信息融合的覆冰检测方法，其特征在于：所述图像标定包括，设实物的三维坐标是(mx,nx...
【专利技术属性】
技术研发人员：杨永祥，
申请(专利权)人：云南省电子信息产品检验院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。