一种基于数据融合和边缘计算的电力业务评估方法技术

本申请提供一种基于数据融合和边缘计算的电力业务评估方法，包括：根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异；基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图；在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性

【技术实现步骤摘要】
一种基于数据融合和边缘计算的电力业务评估方法


[0001]本专利技术涉及信息
，尤其涉及一种基于数据融合和边缘计算的电力业务评估方法
。

技术介绍

[0002]随着物联网和
5G
技术的快速发展，边缘计算作为一种新兴的计算模式，正在逐步被广泛应用
。
然而，在电力业务边缘计算环境下，由于边缘节点数量庞大
、
分布广泛且异构性强，节点间通信受限
、
计算资源有限等问题，给边缘节点融合计算带来了很大的挑战
。
同时，边缘计算环境下的数据安全性也是一个值得重视的问题，如何保证数据传输过程中的安全性和访问控制成为了一个亟需解决的问题
。
另外，边缘节点上的业务权限和执行效率也是需要考虑的问题
。
不同的边缘节点拥有不同的硬件设施
、
软件环境和工作负载，需要评估其性能和可行性，以确定哪些节点适合作为融合计算的执行者
。
同时，由于边缘节点间通信受限，需要考虑如何保证不同节点之间的协同性和互补性，以实现更高效的融合计算
。
因此，设计一个针对电力业务边缘计算环境的综合评估框架，旨在解决节点选择
、
通信协同以及数据安全是现在亟需解决的问题
。

技术实现思路

[0003]本专利技术提供了一种基于数据融合和边缘计算的电力业务评估方法，主要包括：
[0004]根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点业务数据的的相互关联性；根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异；结合业务数据
、
节点执行效率和业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图；基于生成的任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整任务分布图；在制定节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性
。
[0005]进一步地，所述根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点业务数据的的相互关联性，包括：
[0006]根据每个边缘计算节点的业务权限，得到允许访问的业务数据列表，并访问对应的业务数据；采用
Python
编写的自动化脚本，遍历所有节点，在每个节点上，调用预先设定的
RESTfulAPI
接口，获取每个节点的业务数据；获取到业务数据后，对业务数据进行数据清
洗，处理空值，数据类型转换操作；从业务数据中抽取业务特征，包括业务类型
、
业务规模
、
业务频率，得到特征矩阵；根据提取出的业务特征将业务进行分类，得到每个类别的中心点和所包含的业务项；采用计数
、
频率分析的方法，分析各类业务的数量和分布情况，得到每种类别的业务数量和占比；根据业务数量和占比，采用
Jaccard
系数的方法，计算不同业务类别之间的互补性，获得业务互补性评估结果；采用阈值筛选方法，设置预定的阈值，选择互补性评估结果高于阈值的节点对，确定存在业务关联的节点对；采用
Apriori
算法，基于业务关联的节点对，得到业务关联规则列表；将业务关联规则转化为业务关联矩阵，通过数据结构转换操作，使用邻接矩阵的方式展示每个节点之间的业务关联性
。
[0007]进一步地，所述根据每个节点的业务数据，采用节点执行效率的评估方法，获取每个节点的执行效率，判断不同节点在执行任务时的效率差异，包括：
[0008]根据边缘计算节点的业务数据，初始化一个数据仓库，存储每个节点的业务数据，包括
CPU
利用率
、
内存利用率
、
磁盘利用率和网络流量；采用数据采集工具从每个节点获取具体的业务数据，并将获取的数据通过批量操作或实时插入存储到初始化的数据仓库中；通过数据清洗工具，对获取到的业务数据进行清洗，处理空值
、
重复值
、
异常值，得到没有无效数据和异常数据的清洗后业务数据；采用
Pearson
相关系数的方法，对业务数据进行特征选择，得到每个节点的重要特征数据；使用数据可视化工具生成描述数据分布的图像，得到业务数据的分布特性；获取到每个节点的执行效率相关的业务数据，包括任务完成时间
、CPU
利用率；通过已清洗的业务数据，通过
CPU
利用率和任务完成时间的比值，得到每个节点的执行效率，并根据每个节点的执行效率计算平均执行效率；计算各节点执行效率与平均执行效率的差值，得到每个节点的相对执行效率；根据各节点的相对执行效率，对所有节点的执行效率进行排序，得到节点执行效率的排序表；根据节点执行效率的排序表生成一个关于节点执行效率差异的报告，报告中包含每个节点的业务数据
、
执行效率
、
相对执行效率
、
执行效率的排序信息
。
[0009]进一步地，所述结合业务数据
、
节点执行效率和业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图，包括：
[0010]根据业务数据，使用
Pandas
数据预处理库，对原始数据进行清洗和格式化操作，包括处理空值
、
异常值以及进行类型转换，得到清洗后的业务数据；采用主成分分析算法，对清洗后的业务数据进行分析，提取出反映节点执行效率和业务互补性的关键特征，同时结合反映节点间协同性的特征，包括节点间协同完成任务的历史执行时间
、
成功率，整合得到节点特征数据；采用皮尔逊相关系数算法，计算每对节点间的业务互补性和协同性，得到业务互补性数据和协同性数据；通过整合节点特征数据
、
节点执行效率数据
、
业务互补性数据以及协同性数据，得到一个完整的数据集；采用支持向量机算法，对整合得到的数据集进行训练，得到预测模型；通过
K
折交叉验证的方法，对得到的预测模型进行评估，确定模型的性能；最后，根据模型的预测结果，使用图优化和线性规划算法，并将节点间的协本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于数据融合和边缘计算的电力业务评估方法，其特征在于，所述方法包括：根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点所述业务数据的相互关联性；根据每个节点的所述业务数据，采用节点执行效率的评估方法，获取每个所述节点执行效率，判断不同节点在执行任务时的效率差异；结合所述业务数据
、
所述节点执行效率和所述业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图；基于生成的所述任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案；判断需要融合节点的数据敏感等级，通过数据加密技术，对敏感级别高的节点的数据进行保护，并将加密后的敏感数据分布到多个融合节点上，得到数据融合结果；采用记忆性技术记录历史融合方法和效果，依据历史记录优化处理效率和进一步调整所述任务分布图；在制定所述节点融合方案时，针对不同类型的数据，制定相应的融合方案，以保证节点融合效果最优化；在节点融合及数据处理中，获取用户权限信息，判断用户是否有权访问数据，通过访问控制技术对数据进行限制，只允许授权用户访问数据；采用安全审计技术对记录的数据进行分析，及时发现并处理异常情况，以进一步保障系统的安全性
。2.
根据权利要求1所述的方法，其中，所述根据不同边缘计算节点的业务权限，获取各个节点的业务数据，评估不同边缘计算节点的业务互补性，确定不同节点所述业务数据的相互关联性，包括：采用获取每个节点的业务数据的方法进行数据收集；通过对所述业务数据进行数据清洗，得到纯净的数据集；从所述纯净的数据集中抽取业务特征，得到特征矩阵；根据所述特征矩阵进行业务分类，得到每个类别的业务数量和占比；计算不同业务类别之间的互补性，获得业务互补性评估结果；在所述业务互补性评估结果中选择高于阈值的节点对，确定存在业务关联的节点对；基于所述存在业务关联的节点对，得到业务关联规则列表；将业务关联规则转化为业务关联矩阵
。3.
根据权利要求1所述的方法，其中，所述根据每个节点的所述业务数据，采用节点执行效率的评估方法，获取每个所述节点执行效率，判断不同节点在执行任务时的效率差异，包括：初始化一个数据仓库，用于存储每个节点的业务数据；通过从每个节点获取具体的业务数据，并将获取的数据存储到数据仓库中，得到数据仓库中的业务数据；对所述数据仓库中的业务数据进行数据清洗操作，得到清洗后的业务数据；从清洗后的业务数据中获取每个节点的执行效率相关的数据，得到节点执行效率数据；通过对所述节点执行效率数据进行计算，获得每个节点的执行效率并计算平均执行效率；计算各节点执行效率与平均执行效率的差值，得到每个节点的相对执行效率；对所有节点的执行效率进行排序，得到执行效率排名
。4.
根据权利要求1所述的方法，其中，所述结合所述业务数据
、
所述节点执行效率和所述业务互补性，进行算法模型的构建，量化各个节点之间的协同性和互补性，生成代表任务在各节点间的理想分布的任务分布图，包括：对原始数据进行清洗和格式化操作，得到清洗后的业务数据；从所述清洗后的业务数据中提取出反映节点执行效率和业务互补性的关键特征，以及反映节点间协同性的特征，得到节点特征数据；通过计算每对节点间的业务互补性和协同性，得到互补性和协同性数
据；通过整合所述节点特征数据
、
节点执行效率数据和业务互补性数据以及协同性数据，得到一个完整的数据集；对所得到的完整数据集进行模型训练，得到预测模型；对得到的预测模型进行评估，确定模型的性能；根据模型的预测结果，生成一个代表任务在各节点间的理想分布的任务分布图
。5.
根据权利要求1所述的方法，其中，所述基于生成的所述任务分布图，进行节点融合的评估，根据评估结果，生成节点融合方案，包括：采用所述任务分布图，通过计算每个节点与其他节点的任务分布相似...

【专利技术属性】
技术研发人员：黄星耀，
申请(专利权)人：广州星屋智能科技有限公司，
类型：发明
国别省市：