一种基于CPU-GPU异构平台的营配贯通数据监控方法和装置制造方法及图纸

本发明专利技术提供了一种基于CPU

【技术实现步骤摘要】
一种基于CPU
‑
GPU异构平台的营配贯通数据监控方法和装置


[0001]本专利技术涉及大数据处理
，特别是一种基于营配贯通数据可视化平台的数据处理方法、装置及介质。

技术介绍

[0002]随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
[0003]在电力体制改革不断推进的背景下，如何推进数字化改革，研发应用电力大数据产品以提高传统电网的安全生产、经营管理和客户服务水平，如何打破信息孤岛，实现营配数据的互联互通以及如何提供经济有效的提高营配数据分析处理、存储和计算能力成为当前电力系统亟需解决的问题。

技术实现思路

[0004]本专利技术针对上述现有技术中的缺陷，提出了如下技术方案：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CPU
‑
GPU异构平台的营配贯通数据监控方法，其特征在于：S1：将供电服务指挥系统、设备资产运维精益管理系统、SG186系统、用电采集系统、同源系统的原始数据采集到云计算平台上；S2：所述云计算平台包括数据预处理模块和大数据分析模块，其中数据预处理模块采用CPU集群实现数据整合转换、数据清洗转换和数据脱敏，大数据分析模块采用GPU集群实现基于数据并行和模型并行的人工智能大数据算法；业务数据层用于接收所述原始数据生成业务数据；所述操作数据层用于将所述业务数据同步到操作数据层的数据引入层表中；通过增量抽取方式使同步到所述操作数据层的原始数据与所述业务数据保持一致，所述明细数据层用于对所述原始数据过滤，并从中抽取出重要数据；所述数据汇总层用于对所述业务数据进行轻度汇总，通过汇总收缩所述明细数据的体积；数据集市层用于接收所述数据汇总层的数据进行关联贯通后生成主题表；S3：将所述主题表中的数据生成API通过数据服务发布到API网关实现数据开放共享服务；S4：可视化显示模块采用图表结合的方式对营配贯通数据进行展示分析。2.根据权利要求1所述的营配贯通数据监控方法，其特征在于，所述主体表采用多级分区方式存储所述配贯通数据，使用设备ID作为一级分区，采集日期作为二级分区。3.根据权利要求2所述的营配贯通数据监控方法，所述可视化显示模块采用QuickBI和Tableau组件实现。4.根据权利要求3所述的营配贯通数据监控方法，所述数据并行为K
‑
means或SVM或KNN，所述模型并行为DBN或CNN或GAN。5.一种基于CPU
‑<...

【专利技术属性】
技术研发人员：张惠，王之昕，李肖，仝翠芝，王冲，田伟，武文鹏，梁雨婷，官仕卿，陈艳君，张大鹏，陈泽坤，
申请(专利权)人：国家电网有限公司北京博望华科科技有限公司，
类型：发明
国别省市：