一种基于视觉图像与音频数据融合的目标智能识别方法技术

本发明专利技术公开了一种基于视觉图像与音频数据融合的目标智能识别方法，包括以下步骤：S1，获取待测目标的图像数据和音频数据，并分别对图像数据和音频数据进行预处理；S2，将待测目标的图像数据进行加密处理，将图像数据以内网和外网结合的方式进行传输；S3，对图像数据进行解密处理，并对解密后的图像数据和音频数据进行特征提取，获取特征数据；S4，对待测目标的特征数据进行融合处理，根据融合结果进行待测目标故障等级分析，得到待测目标识别结果。本发明专利技术通过图像数据和音频数据的融合，得到待测目标识别结果，实现对配电网故障的全面识别，且识别准确度高，实用性高。实用性高。实用性高。

【技术实现步骤摘要】
一种基于视觉图像与音频数据融合的目标智能识别方法


[0001]本专利技术涉及多数据融合识别
，尤其是一种基于视觉图像与音频数据融合的目标智能识别方法。

技术介绍

[0002]在配电网故障检测领域，单一的数据检测往往无法满足于部分目标的智能识别，无法对配电网故障进行全面识别，导致目标在出现部分故障类型时无法被准确识别，使配电网故障检修的漏报现象时有发生；为了提高目标的识别准确度和识别的全面性，现提出一种基于视觉图像与音频数据融合的目标智能识别方法，通过图像数据和音频数据的融合，解决现有配电网故障检修的漏报问题。
[0003]在中国专利文献上公开的“一种配电网故障识别装置及识别方法”，其公开号为CN110568311A，涉及一种配电网故障识别装置及识别方法，包括：依次连接的MEMS电场传感器、信号处理模块和故障识别模块；所述MEMS电场传感器，用于获取MEMS电场传感器所处配电网线路的感应电场对应的电流信号，并将所述电流信号发送至所述信号处理模块；所述信号处理模块，用于获取所述电流信号对应的电压数字信号，并将所述电压数字信号发送至所述故障识别模块；所述故障识别模块，用于根据电压数字信号确定所述MEMS电场传感器所处配电网线路对应的配电网的故障情况；但是公开号为CN110568311A的中国专利通过MEMS电场传感器来对配电网故障进行识别，准确度不高，且所能够识别的故障类型较少，无法对配电网故障进行全面识别。

技术实现思路

[0004]本专利技术解决了单一的数据检测无法对配电网故障进行全面识别，导致目标在出现部分故障类型时无法被准确识别的问题，提出一种基于视觉图像与音频数据融合的目标智能识别方法，通过图像数据和音频数据的融合，得到待测目标识别结果，实现对配电网故障的全面识别，且识别准确度高，实用性高。
[0005]为了实现上述目的，本专利技术采用以下技术方案：一种基于视觉图像与音频数据融合的目标智能识别方法，包括以下步骤：S1，获取待测目标的图像数据和音频数据，并分别对图像数据和音频数据进行预处理；S2，将待测目标的图像数据进行加密处理，将图像数据以内网和外网结合的方式进行传输；S3，对图像数据进行解密处理，并对解密后的图像数据和音频数据进行特征提取，获取特征数据；S4，对待测目标的特征数据进行融合处理，根据融合结果进行待测目标故障等级分析，得到待测目标识别结果。
[0006]本专利技术中，在步骤S1的过程中，首先通过采集装置获取待测目标的图像数据和音
频数据，并进行预处理，随后对图像数据进行加密传输，保证图像数据在传输时的安全；传输完成后，对解密后的图像数据和音频数据进行特征提取，得到图像特征数据和音频特征数据；最后，对图像特征数据和音频特征数据进行融合，得到待测目标识别结果；本专利技术能够实现对配电网故障的全面识别。
[0007]作为优选，所述步骤S1包括以下步骤：S11，分别通过图像采集装置和音频采集装置对图像数据和音频数据进行采集；S12，对图像数据进行分割调整，将图像数据分割成n*m个子单元图像，子单元图像按顺序排列；S13，对音频数据进行短时傅里叶变换，并且进行梅尔频谱滤波以得到频谱图。
[0008]本专利技术中，图像采集装置可以为面阵相机或者面阵相机组，若为面阵相机组，采集得到图像数据后，首先进行图像的拼接处理，拼接处理完成后再进行预处理；图像数据在进行预处理时，主要进行分割调整，将整体的图像数据分割成多个子单元图像，每个子单元图像均按顺序排列；音频数据的预处理主要为进行梅尔频谱滤波，以得到频谱图，方便后续音频特征数据的输出。
[0009]作为优选，所述步骤S2包括以下步骤：S21，对分割调整后的图像数据进行灰度处理，每个子单元图像以设定的分辨率表示为相应的灰度值图像；S22，将灰度值图像用a*b矩阵进行表示，a和b分别为矩阵的行列数，a大于或等于b，灰度值图像内的灰度等级用0
‑
255的十进制数表示；S23，对a*b矩阵进行标准化处理，使用0进行补位，将a*b矩阵转换为a*a矩阵，记录补位起始位的位置信息，并用替换码进行对该补位起始位的数进行替换；S24，将a*a矩阵和密钥分别通过内网和外网传输至数据融合端。
[0010]本专利技术中，在步骤S2的过程中，首先对每个子单元图像进行灰度处理，设定分辨率以得到对应的灰度值图像；随后将灰度值图像转换为a*b矩阵的形式；然后对a*b矩阵进行补位，同时，记录下补位起始位的位置信息，该位置需用替换码进行替换，对于无需补位的a*b矩阵，则无补位起始位的位置信息，并且无需用替换码进行替换，补位后，矩阵转为a*a矩阵；最后，以a*a矩阵的形式和密钥形式分别传输至数据融合端，且分别通过内网和外网发送。
[0011]作为优选，所述补位起始位的位置信息存储于密钥中，所述替换码由密钥内的替换数据库使用蒙特卡洛方法生成，对于补位起始位置的原始数，则存储于密钥的被替换数据库中。
[0012]本专利技术中，对于密钥，其储存有多种信息，包括补位起始位的位置信息、替换码以及补位起始位置的原始数，补位起始位的位置信息包括其相对于所在的矩阵的位置信息以及所在矩阵相对于整体的位置信息，替换码由设置在密钥内的替换数据库生成，补位起始位置的原始数则储存于另一个密钥数据存储单元中。
[0013]作为优选，所述步骤S3包括以下步骤：S31，分别获取a*a矩阵和密钥，进行解密处理，得到解密后的n*m个子单元图像；S32，将子单元图像输入至图像深度学习神经网络模型进行特征提取，得到图像特征数据；
S33，将频谱图输入至音频深度学习神经网络模型进行特征提取，得到音频特征数据。
[0014]本专利技术中，在步骤S3的过程中，首先进行解密处理，即提取传输完成后的a*a矩阵和密钥，进行加密过程的逆处理操作，利用密钥中的多种信息来对加密矩阵的复原处理，以得到解密后的n*m个子单元图像，将子单元图像输入图像深度学习神经网络模型以得到图像特征数据，将频谱图输入音频深度学习神经网络模型以得到音频特征数据，为后续数据融合做准备。
[0015]作为优选，所述步骤S4包括以下步骤：S41，对图像特征数据和音频特征数据进行融合，所述融合计算过程为：Z=D*S1+F*S2，其中，Z为融合结果，D和F分别为图像特征数据和音频特征数据，S1和S2分别为图像特征对应的权重和音频特征对应的权重；S42，将融合结果输入至待测目标故障等级模型中，得到相对应的待测目标故障等级，最终得到待测目标识别结果。
[0016]本专利技术中，对于图像特征和音频特征的融合过程，分别将图像特征数据和音频特征数据与各自的权重进行相乘，最后相加得到最后的融合结果；将融合结果输入至待测目标故障等级模型之中，在待测目标故障等级模型中，存储有大量的待测目标故障等级与融合结果之间的映射关系，在待测目标故障等级模型中输出待测目标故障等级；最终输出待测目标识别结果，该结果包括待测目标的类型、故障类型以及待测目标故障等级，根据该结果，作出判断，是否进行维修操作。
[0017]作为优选，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉图像与音频数据融合的目标智能识别方法，其特征在于，包括以下步骤：S1，获取待测目标的图像数据和音频数据，并分别对图像数据和音频数据进行预处理；S2，将待测目标的图像数据进行加密处理，将图像数据以内网和外网结合的方式进行传输；S3，对图像数据进行解密处理，并对解密后的图像数据和音频数据进行特征提取，获取特征数据；S4，对待测目标的特征数据进行融合处理，根据融合结果进行待测目标故障等级分析，得到待测目标识别结果。2.根据权利要求1所述的一种基于视觉图像与音频数据融合的目标智能识别方法，其特征在于，所述步骤S1包括以下步骤：S11，分别通过图像采集装置和音频采集装置对图像数据和音频数据进行采集；S12，对图像数据进行分割调整，将图像数据分割成n*m个子单元图像，子单元图像按顺序排列；S13，对音频数据进行短时傅里叶变换，并且进行梅尔频谱滤波以得到频谱图。3.根据权利要求1或2所述的一种基于视觉图像与音频数据融合的目标智能识别方法，其特征在于，所述步骤S2包括以下步骤：S21，对分割调整后的图像数据进行灰度处理，每个子单元图像以设定的分辨率表示为相应的灰度值图像；S22，将灰度值图像用a*b矩阵进行表示，a和b分别为矩阵的行列数，a大于或等于b，灰度值图像内的灰度等级用0
‑
255的十进制数表示；S23，对a*b矩阵进行标准化处理，使用0进行补位，将a*b矩阵转换为a*a矩阵，记录补位起始位的位置信息，并用替换码进行对该补位起始位的数进行替换；S24，将a*a矩阵和密钥分别通过内网和外网传输至数据融合端。4.根据权利要求3所述的一种基于视觉图像与音频数...

【专利技术属性】
技术研发人员：姚强，陈超，沈红峰，吴韬，钱伟杰，刘维亮，沈美勤，邓子龙，蔡云杰，张嘉辉，黄勤斌，徐克，胡雷剑，龚利武，张炜，
申请(专利权)人：国网浙江省电力有限公司国网浙江省电力有限公司嘉兴供电公司平湖市通用电气安装有限公司，
类型：发明
国别省市：