基于图像和声音信息的多模态一体化配网运营系统技术方案

本发明专利技术公开了基于图像和声音信息的多模态一体化配网运营系统，包括用能与负载在线智能监测模块，用于实时数据抽取并且监测用户的用电负荷，从而对超过总容量预设值的用户通过语音自动外呼方式进行告警提示，进而实现高能耗用电用户的监测并且促进电力平衡，低辨识目标智能识别模块，通过异构多模态特征融合技术实现目标的智能识别。本发明专利技术公开的基于图像和声音信息的多模态一体化配网运营系统，其通过用能与负载在线智能监测模块、低辨识目标智能识别模块、语音知识库模块、云坐席模块和潮流异常与设备重载推送模块，对配电网进行多模态一体化运营管理。一体化运营管理。一体化运营管理。

【技术实现步骤摘要】
基于图像和声音信息的多模态一体化配网运营系统


[0001]本专利技术属于配电网语音
，具体涉及一种基于图像和声音信息的多模态一体化配网运营系统。

技术介绍

[0002]配电网处于电力系统的末端，具有地域分布广、电网规模大、设备种类多、网络连接多样、运行方式多变等鲜明特点。随着配电自动化、用电信息采集等应用系统的推广应用，对于有千条馈线的大规模配电网，配电网中会产生指数级增长的海量异构、多态的数据，数据集合的大小可达到当今信息学界所关注的大数据级别，传统的单一数据分析技术已无法满足需求。而“双碳目标”的确定，对能源电力行业的技术提出更高的要求，以及对其发展带来新的挑战。以及“能源双控”政策的持续升级，生产性企业被迫停工停产。如何有效控制碳排放量，提升能源使用效率、降低能耗，进而实现“双碳目标”，成为企业亟待解决的问题。
[0003]随着电力事业的高速发展，电力客户的数量也呈现出几何的增长，给传统的费用收缴工作带来了巨大的挑战。传统的催费工作是通过工作人员主动将费用账单交给住户，或是由电力客服向欠费用户拨打电话进行催费。这种催费方式耗费大量的人力与物力，并且催费效率不高，需研究出能够代替重复的人工操作，拥有大数据计算、智能语音、客户信息管理等综合功能，进而节约成本，提升效率，精准服务于客户。
[0004]因此，针对上述问题，予以进一步改进。

技术实现思路

[0005]本专利技术的主要目的在于提供基于图像和声音信息的多模态一体化配网运营系统，其通过用能与负载在线智能监测模块、低辨识目标智能识别模块、语音知识库模块、云坐席模块和潮流异常与设备重载推送模块，对配电网进行多模态一体化运营管理。
[0006]为达到以上目的，本专利技术提供一种基于图像和声音信息的多模态一体化配网运营系统，用于提高智能配网运行管理水平和运营监控能力，包括：
[0007](基于实时弹性ETL、KDD的用户的)用能与负载在线智能监测模块，用于实时数据抽取并且监测用户的用电负荷，从而对超过总容量预设值的用户通过语音自动外呼方式进行告警提示，进而实现高能耗用电用户的监测并且促进电力平衡；
[0008](基于异构多模态特征融合的)低辨识目标智能识别模块，通过异构多模态特征融合技术实现目标的智能识别，从而对目标的异常行为进行告警提示；
[0009](研究基于NLU、DM、知识图谱等技术的)语音知识库模块，通过智能感知单元、智能交互单元、语音服务单元和智能决策单元构建专业语音知识库；
[0010](基于非侵入式的AI)云坐席模块，用于使用定时任务实现语音合成与催费功能并且全自动实现语音催缴以及业扩回访；
[0011](基于文本、语音、视频等跨AI云模态的数据分析)潮流异常与设备重载推送模块，
用于对包括文本、语音以及视频的多数据模态采用相关技术进行数据分析，及时准确发现潮流异常以及设备重载事件，并推送至相关人员。
[0012]作为上述技术方案的进一步优选的技术方案，用能与负载在线智能监测模块包括数据采集单元、数据开发单元和辅助决策单元，其中：
[0013]对于数据采集单元，通过用户用能与负荷的监测节点，以确定适合的包括数据采集的时间间隔和精度的参数与要求，将通过监测国网用电采集系统，实时采集并汇总至统一的数据中心，通过ETL到数据开发单元(具体做法是先通过WebService技术从用采系统统一数据平台获取准实时数据以E文件，解析准实时负荷E文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(实时库)。可对A相电流、有功功率进行15min采样。对于影响系统提供的历史数据，解析营销系统提供的历史负荷E文件数据，将对应的三相电压、三相电流、有功、无功8个遥测值写入调度支持系统配变表对应的域(历史库))；
[0014]对于数据开发单元，对数据采集单元采集的数据进行数据预处理、统计与分析和数据挖掘，以实现可视化展示在线智能监测，对用户用能或者负荷异常情况及时准确进行告警(对基础功能中的异常分析数据进行深入挖掘，用能或负荷异常分析项的各项分析、统计分析策略是对采集的用电数据进行分项统计，并结合现场终端的异常事件信息通过系统的智能分析得出真正的用能异常、负荷异常等。具体包括具备配变实时量测数据的处理能力，应能以可视化的界面中展示配变的准实时量测数据，应能根据配变的准实时量测数据计算配变的负载率，三相不平衡度，进行异常展示和告警)；
[0015]对于辅助决策单元，结合数据开发单元传输的处理后的数据，对故障区域进行分析，设区域所有配变的数量N，同时记该区域内发送停电事件的配变数量为n，设η＝n/N，称为研判比率值，设ε为一常数，称为研判阈值，若η≥ε，则认为该区域的公共开关发生分闸事件，下游确已失电；若η＜ε，则认为该区域的公共开关未分闸，下游不能确认失电。
[0016]作为上述技术方案的进一步优选的技术方案，对于低辨识目标智能识别模块：
[0017]建立复杂网络大数据异构多模态目标识别模型，以获取数据主体特征为基础，将视觉图像与音频数据作为两种模态进行输入，经处理后得到两种多模态高层特征，并且将两种异构模态间关联性建立共享模型，结合不同类别复杂网络对进行处理，增加识别优势模型中隐藏量与可见量之间由对称性连接，输入层与可见层分布概率为：
[0018][0019]其中，v为可见变量；h为隐藏变量；Z＝∑
v,h
e
‑
Z(v,h)
，代表所有v与h可能之和；
[0020]优化异构多模态目标相关特征，在识别模型中，利用可见层与输入层之间非线性函数，向全连接层输出识别标签向量，在目标处理中，从数据中选取一部分作为训练样本，其关联函数为：
[0021][0022]其中，{(x
n
,y
n
)}
n＝1,...N
，n
x
代表输入样本数据；n
y
为识别标签；复杂网络中所有参数θ，对θ进行更新，实现异构多模态目标相关特征优化，得到优化后参数为：
[0023][0024]其中，x与y为同一数据中多模态特征，为限制参数数量，γ＝1，得到优化后异构多模态目标相关特征。
[0025]作为上述技术方案的进一步优选的技术方案，对于语音知识库模块：
[0026]智能感知单元用于人机交互、获取语音指令和电网运行数据；
[0027]智能交互单元通过智能搜索系统、综合展示平台、智能语音系统和智能信息推送系统将业务中的相关数据进行展现，判断事件情况并且制定合理的问题解决方案；
[0028]语音服务单元包括语音库子单元、语音识别子单元和语音合成子单元，语音识别子单元和语音合成子单元通过服务的方式接收语音，并且集合语音库子单元将接收的语音经过噪音处理、特征提取和语音解码过程，以服务的方式输出文本；
[0029]智能决策单元在通过智能感知获得电网运行发生异常或事故时，知识库引擎首先根据获取的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像和声音信息的多模态一体化配网运营系统，用于提高智能配网运行管理水平和运营监控能力，其特征在于，包括：用能与负载在线智能监测模块，用于实时数据抽取并且监测用户的用电负荷，从而对超过总容量预设值的用户通过语音自动外呼方式进行告警提示，进而实现高能耗用电用户的监测并且促进电力平衡；低辨识目标智能识别模块，通过异构多模态特征融合技术实现目标的智能识别，从而对目标的异常行为进行告警提示；语音知识库模块，通过智能感知单元、智能交互单元、语音服务单元和智能决策单元构建专业语音知识库；云坐席模块，用于使用定时任务实现语音合成与催费功能并且全自动实现语音催缴以及业扩回访；潮流异常与设备重载推送模块，用于对包括文本、语音以及视频的多数据模态采用相关技术进行数据分析，及时准确发现潮流异常以及设备重载事件，并推送至相关人员。2.根据权利要求1所述的一种基于图像和声音信息的多模态一体化配网运营系统，其特征在于，用能与负载在线智能监测模块包括数据采集单元、数据开发单元和辅助决策单元，其中：对于数据采集单元，通过用户用能与负荷的监测节点，以确定适合的包括数据采集的时间间隔和精度的参数与要求，将通过监测国网用电采集系统，实时采集并汇总至统一的数据中心，通过ETL到数据开发单元；对于数据开发单元，对数据采集单元采集的数据进行数据预处理、统计与分析和数据挖掘，以实现可视化展示在线智能监测，对用户用能或者负荷异常情况及时准确进行告警；对于辅助决策单元，结合数据开发单元传输的处理后的数据，对故障区域进行分析，设区域所有配变的数量N，同时记该区域内发送停电事件的配变数量为n，设η＝n/N，称为研判比率值，设ε为一常数，称为研判阈值，若η≥ε，则认为该区域的公共开关发生分闸事件，下游确已失电；若η＜ε，则认为该区域的公共开关未分闸，下游不能确认失电。3.根据权利要求2所述的一种基于图像和声音信息的多模态一体化配网运营系统，其特征在于，对于低辨识目标智能识别模块：建立复杂网络大数据异构多模态目标识别模型，以获取数据主体特征为基础，将视觉图像与音频数据作为两种模态进行输入，经处理后得到两种多模态高层特征，并且将两种异构模态间关联性建立共享模型，结合不同类别复杂网络对进行处理，增加识别优势模型中隐藏量与可见量之间由对称性连接，输入层与可见层分布概率为：其中，v为可见变量；h为隐藏变量；Z＝∑
v,h
e
‑
Z(v,h)
，代表所有v与h可能之和；优化异构多模态目标相关特征，在识别模型中，利用可见层与输入层之间非线性函数，向全连接层输出识别标签向量，在目标处理中，从数据中选取一部分作为训练样本，其关联函数为：
其中，{(x
n
,y
n
)}
n＝1,...N
，n
x
代表输入样本数据；n
y
为识别标签；复杂网络中所有参数θ，对θ进行更新，实现异构多模态目标相关特征优化，得到优化后参数为：其中，x与y为同一数据中多模态特征，为限制参数数量，γ＝1，得到优化后异构多模态目标相关特征。4.根据权利要求3所述的一种基于图像和声音信息的多模态一体化配网运营系统，其特征在于，对于语音知识库模块：智能感知单元用于人机交互、获取语音指令和电网运行数据；智能交互单元通过智能搜索系统、综合展示平台、智能语音系统和智能信息推送系统将业务中的相关数据进行展现，判断事件情况并且制定合理的问题解决方案；语音服务单元包括语音库子单元、语音识别子单元和语音合成子单元，语音识别子单元和语音合成子单元通过服务的方式接收语音，并且集合语音库子单元将接收的语音经过噪音处理、特征提取和语音解码过程，以服务的方式输出文本；智能决策单元在通过智能感知获得电网运行发生异常或事故时，知识库引擎首先根据获取的电网信息，匹配场景特征数据，从索引库中检索出相应的相关规程，从专家知识库搜索到对应的事故处理流程模板，然后智能决策引擎获取事件的分析结果，最后根据事件的分析结果和事故处理流程模板，智能决策给出事故处理预案或具体的操作流程。5.根据权利要求4所述的一种基于图像和声音信息的多模态一体化配网运营系统，其特征在于，云坐席模块包括用户信息管理单元、催费信息管理单元、语音...

【专利技术属性】
技术研发人员：万家建，李子涵，任雯倩，施维佩，屠佳晔，张桂玲，屠梦飘，钱奕童，潘白浪，
申请(专利权)人：平湖市通用电气安装有限公司，
类型：发明
国别省市：