一种多模态特征提取方法技术

本发明专利技术公开了一种多模态特征提取方法

【技术实现步骤摘要】
一种多模态特征提取方法、系统、终端设备及存储介质


[0001]本专利技术涉及图像特征和数据重构
，特别是涉及一种针对变电站设备红外图像的多模态特征提取方法
、
系统
、
终端设备及存储介质
。

技术介绍

[0002]无论是变电站巡检机器人还是手持红外热成像检测仪，目标设备区域仍以图像的高维表现形式存在，由于像素中数据密度低
、
存在着大量冗余信息，使得不同类型设备间的差异分布在更广的区域空间，给目标设备类型的判别带来困难
。
利用特征提取技术可以将设备像素集以一种更适合处理的方式表达，通过少量的向量序列压缩图片像素集，构建出更低维的特征空间，简化重复计算
、
提高设备识别率
。
[0003]变电站主网关键设备区域特征提取的关键在于利用低维特征捕捉不同类型缺陷间的差异，提高分类精度，保证算法的实时性
。
常见特征包括颜色特征
、
纹理特征和形状特征等
。
颜色特征是人类视觉分辨物体的基本特征，具有旋转
、
平移和放缩不变性
。
纹理特征体现了像素间的相互关联和组织的结构信息，兼具局部性和全局性，有较强的抗噪能力
。
然而，颜色特征和纹理特征均对光照强度和拍摄条件比较敏感，图像背景的变化和缺陷目标区域的表面差异均会给特征提取带来困难
。
由于设备红外图像采集过程各表面图像采集的光照条件存在明显不同，不同表面上目标区域的颜色和纹理特征有肉眼可辨的差异，因此基于颜色或纹理的提取方式难以满足缺陷区域特征提取的要求，即通过少量数据表示大范围目标物体
。
目标区域的形状可视为由其轮廓线包围的封闭区域，利用形状描述符和轮廓细节差异可以通过很小的代价有效区分不同目标区域间的差异，适合变电站设备识别中红外图像形状畸变可控的应用场景
。
[0004]已知红外图像中设备所在的目标区域是被封闭轮廓线包围的一个像素集合，采用傅里叶描述子可以从封闭轮廓线出发，对目标物体边界信息进行时域到频域的转化
。
利用傅里叶变换提取频域信息，通过向量重构可实现设备形状的重构
。
傅里叶描述子基于少量的向量就可以捕获轮廓线的大体特征，且对旋转
、
位移和起始点的选择等均不存在依赖关系，是一个鲁棒性较好的图像形状特征，常用于图像处理时效性要求较高的场景中
。
然而，傅里叶描述子作为一种全局形状特征描述子，着重于目标图像的整体刻画，导致大量细节信息的缺失
。
由于缺少图像局部信息的捕捉，使得在整体轮廓相似情况特征提取的有效性降低
。

技术实现思路

[0005]本专利技术要解决的技术问题是如何克服傅里叶描述子着重于图像的整体刻画而导致大量细节信息缺失，使得在整体轮廓相似情况下图像特征提取的有效性降低的缺陷
。
为了解决上述技术问题，本专利技术提供了一种多模态特征提取方法
、
系统
、
终端设备及存储介质
。
[0006]第一方面，本专利技术实施例提供了一种多模态特征提取方法，包括：
[0007]获取变电站目标设备的红外图像数据集；所述红外图像数据集包括变电站内部主网及配网目标设备的红外图像；
[0008]对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征；
[0009]获取所述数字边界上所有边界点的曲率；
[0010]根据所述曲率提取所述数字边界的局部特征；
[0011]将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子；
[0012]根据所述多模态形状描述子对所述红外图像进行特征提取，得到所述红外图像的多模态特征
。
[0013]优选地，所述获取变电站目标设备的红外图像数据集，包括：
[0014]利用巡检机器人和手持式红外检测仪采集变电站内部主网及配网目标设备的红外图像，构成变电站目标设备的红外图像数据集
。
[0015]优选地，所述对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征，包括：
[0016]基于傅里叶描述子对所述红外图像的边界进行形状重构，得到重构的数字边界；
[0017]基于主成分分析确定所述傅里叶描述子使用的傅里叶系数的数量，并将所述傅里叶系数对应的特征向量表征为所述数字边界的全局特征
。
[0018]优选地，所述获取所述数字边界上所有边界点的曲率，包括：
[0019]基于高斯滤波器对所述数字边界进行平滑处理；
[0020]在所述数字边界上沿顺时针方向每间隔预设距离取一点作为边界点，计算得到每个边界点的曲率
。
[0021]优选地，所述根据所述曲率提取所述数字边界的局部特征，包括：
[0022]根据所述曲率构建曲率直方图；
[0023]将所述曲率直方图每个范围分段的左边界值
、
右边界值和包含的边界点个数组成一个三维行向量；
[0024]将所有三维行向量进行组合，得到所述曲率直方图的特征向量组，并将所述特征向量组表征为所述数字边界的局部特征
。
[0025]优选地，所述将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子，包括：
[0026]基于典型相关分析将所述全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将所述多对典型相关向量表征为所述数字边界的多模态形状描述子
。
[0027]第二方面，本专利技术实施例还提供了一种多模态特征提取系统，包括：
[0028]数据获取模块，用于获取变电站目标设备的红外图像数据集；所述红外图像数据集包括变电站内部主网及配网目标设备的红外图像；
[0029]全局特征提取模块，用于对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征；
[0030]曲率获取模块，用于获取所述数字边界上所有边界点的曲率；
[0031]局部特征提取模块，用于根据所述曲率提取所述数字边界的局部特征；
[0032]特征融合模块，用于将所述全局特征与局部特征进行融合，得到所述数字边界的
多模态形状描述子；
[0033]特征提取模块，用于根据所述多模态形状描述子对所述红外图像进行特征提取，得到所述红外图像的多模态特征
。
[0034]优选地，所述特征融合模块，包括：
[0035]多模态形状描述子构建单元，用于基于典型相关分析将所述全局特征与局部特征进行融合，得到按序排列的多对典型相关向量，并将所述多对典型相关向量表征为所述数字边界的多模态形状描述子
。
[0036]第三方面，本专利技术实施例还提供了一种终端设备，包括处理器...

【技术保护点】

【技术特征摘要】
1.
一种多模态特征提取方法，其特征在于，包括：获取变电站目标设备的红外图像数据集；所述红外图像数据集包括变电站内部主网及配网目标设备的红外图像；对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征；获取所述数字边界上所有边界点的曲率；根据所述曲率提取所述数字边界的局部特征；将所述全局特征与局部特征进行融合，得到所述数字边界的多模态形状描述子；根据所述多模态形状描述子对所述红外图像进行特征提取，得到所述红外图像的多模态特征
。2.
根据权利要求1所述的多模态特征提取方法，其特征在于，所述获取变电站目标设备的红外图像数据集，包括：利用巡检机器人和手持式红外检测仪采集变电站内部主网及配网目标设备的红外图像，构成变电站目标设备的红外图像数据集
。3.
根据权利要求1所述的多模态特征提取方法，其特征在于，所述对所述红外图像的边界进行形状重构，得到重构的数字边界，并提取所述数字边界的全局特征，包括：基于傅里叶描述子对所述红外图像的边界进行形状重构，得到重构的数字边界；基于主成分分析确定所述傅里叶描述子使用的傅里叶系数的数量，并将所述傅里叶系数对应的特征向量表征为所述数字边界的全局特征
。4.
根据权利要求1所述的多模态特征提取方法，其特征在于，所述获取所述数字边界上所有边界点的曲率，包括：基于高斯滤波器对所述数字边界进行平滑处理；在所述数字边界上沿顺时针方向每间隔预设距离取一点作为边界点，计算得到每个边界点的曲率
。5.
根据权利要求1所述的多模态特征提取方法，其特征在于，所述根据所述曲率提取所述数字边界的局部特征，包括：根据所述曲率构建曲率直方图；将所述曲率直方图每个范围分段的左边界值
、
右边界值和包含的边界点个数组成一个三维行向量；将所有三维行向量进行组合，得到所述曲率直方图的特征向量组，并将所述特征向量组表征为所述数字边界的局部特...

【专利技术属性】
技术研发人员：林楠，林昊，钟宇峰，何颖梅，董仲星，刘晓泽，王一博，汪铭峰，刘敏，郭世晓，周军杰，张如宏，洪丽，赖柏竹，
申请(专利权)人：国网浙江省电力有限公司，
类型：发明
国别省市：