一种面向电力物联网的多模态数据融合分析方法与系统技术方案

本发明专利技术提供一种面向电力物联网的多模态数据融合分析方法与系统，涉及电力数据分析技术领域，方法对收集的电力用户反馈的多模态数据样本进行完整性检查，创建包含N个样本的多模态数据集，对每个样本打上所属类别标签；对音频数据集进行预处理，得到对应的语谱图数据集，按照预设的比例划分训练集和验证集；构建分类模型，进行训练生成分类器；将测试集输入到单模态多分类模型中，计算各个单模态多分类器的误差，根据误差情况为各个单模态数据的概率矩阵分配融合权重；对待分析多模态数据预处理后，计算单模态数据的概率矩阵，将概率矩阵拼接成融合概率矩阵；并展示分析结果。本发明专利技术可以高效且有效的处理并分析多模态数据。可以高效且有效的处理并分析多模态数据。可以高效且有效的处理并分析多模态数据。

【技术实现步骤摘要】
一种面向电力物联网的多模态数据融合分析方法与系统


[0001]本专利技术涉及电力数据分析
，尤其涉及一种面向电力物联网的多模态数据融合分析方法与系统。

技术介绍

[0002]反馈是直接通往客户的渠道，而且是无价的。对于电力物联网企业而言，能够及时、高效、精准地分析电力用户反馈，意味着能够为电力用户提供更好的产品和服务，意味着能够大大提升电力用户的满意度，留住更多用户的同时，吸引更多的新的电力用户。准确地分析用户反馈，就是“抓住”了用户的需求，能够预测新的市场趋势，将在行业竞争中抢占先机，脱颖而出。
[0003]客户反馈方法主要包括线下反馈和线上反馈。传统的线下反馈主要是通过用户与客服人员面对面进行交流的形式反馈用户需求或用户问题，然后再由客服人员进行分析或者客服部门开会进行研究分析，最终提取要点并找到解决方案。这种方式不仅缺乏便捷性、效率性，同时要求用户的时间与客服时间要契合，而且无法并行处理多个用户反馈，具有低效、非并行、耗时、高成本等缺陷。线上反馈包括实时交互式反馈和非实时交互式反馈，二者都弥补了传统线下反馈的一些缺陷，但是实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向电力物联网的多模态数据融合分析方法，其特征在于，方法包括：步骤A、对收集的电力用户反馈的多模态数据样本进行完整性检查，用电力用户反馈的文本数据集T、电力用户反馈的音频数据集A、电力用户反馈的图像数据集G创建包含N个样本的多模态数据集M=（T，A，G），对每个样本打上所属类别标签；步骤B、对音频数据集A进行预处理，得到对应的语谱图数据集，用文本数据集T、语谱图数据集和图像数据集G按照M中的对应关系创建新的多模态数据集，并按照9:1的比例将划分为训练集和验证集；步骤C、构建文本分类模型、语谱图分类模型和图像分类模型，分别使用中的文本数据集、语谱图数据集和图像数据数据集对三个模型进行训练，生成文本多分类器、语谱图多分类器和图像多分类器；步骤D、将测试集输入到单模态多分类模型中，计算各个单模态多分类器的误差，根据误差情况为各个单模态数据的概率矩阵分配融合权重；步骤E、对待分析多模态数据预处理后，将不同类型的单模态数据分别输入到不同的单模态多分类模型中，计算单模态数据的概率矩阵，根据分配的权重，将概率矩阵拼接成融合概率矩阵，并输出概率混淆矩阵，展示分析结果。2.根据权利要求1所述的面向电力物联网的多模态数据融合分析方法，其特征在于，步骤A还包括：步骤A1、多模态样本包含电力用户反馈的文本数据，电力用户反馈的音频数据以及电力用户反馈的图像数据；若样本的文本数据缺失，则通过语音识别的方式将音频数据转为文本数据，用文本数据集T，音频数据集A和图像数据集G创建一个包含N个样本的多模态数据集M=（T，A，G）；步骤A2、对多模态数据集M打上多分类标签，被标为类别j时，其包含的文本数据，音频数据和图像数据的类别标签均为j。3.根据权利要求1所述的面向电力物联网的多模态数据融合分析方法，其特征在于，所述步骤B包括以下步骤：步骤B1、使用信号分帧加窗、快速傅里叶变换、能量密度计算的步骤处理音频数据转换成语谱图；首先，读取音频数据，得到需测量的时间序列值，用16kHZ频率进行信号采样，将离散语音信号a（i）分为多个帧，进行加窗处理消除两端无意义波形，生成周期信号，加窗函数运算公式如下：
其中，i为帧序，L为窗口长度，等于帧长，m是一帧内采样点序号；步骤B2、用快速傅里叶变换FFT将时域信号转为频域信号，获取加窗后信号帧对应的频谱，运算公式如下：其中，k表示傅里叶变换的长度，L表示窗口长度，j表示虚数单位，m是一帧内采样点序号，K是常量，取值256/512/1024；步骤B3、通过离散傅里叶变换计算得到语谱图坐标（n，k）处的短时幅度谱估计X（n，k），运算公式如下：其中，L表示帧长，j表示虚数单位，m表示一帧内采样点序号；步骤B4、用语谱图中坐标为（n，k）处的短时幅度估计X（n，k）计算出对应的频谱能量密度P（n，k），然后转换为语谱图；其中，语谱图中的每个点含音频信号对应时间、频率和能量信息，频谱能量密度运算公式如下：步骤B5、按照M=（T，A，G）对应关系，用文本数据集T，语谱图数据集和图像数据集构建新的多模态数据集，并将按照9:1的比例划分为训练集和测试集。4.根据权利要求1所述的面向电力物联网的多模态数据融合分析方法，其特征在于，步骤C还包括以下步骤：步骤C1、构建Bert通用多分类器模型，提取文本特征向量，用训练集中的文本特征对模型进行预训练并对模型进行微调，计算文本所属类别的概率向量，并用softmax函数对概率进行归一化，学习预测分类；步骤C2、构建含有输入层、5个卷积层、3个池化层和1个全连接层的卷积模型，提取语谱图的特征向量，将语谱图特征输入到模型中，计算语谱图所属类别概率，并用一个
softmax层对概率进行归一化，学习预测分类；步骤C3、构建含有输入层、3个含激活函数的卷积与池化层、1个扁平层、3个全连接层和输出层的卷积神经网络模型，通过卷积池化操作提取图像特征，将图像特征输入到模型中，...

【专利技术属性】
技术研发人员：李温静，张楠，张毅琦，刘柱，谢可，刘彩，郭文静，陈锋，梅盺苏，肖钧浩，田桂媚，张帅，陈坤庆，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：