一种基于大数据技术的电力数据分析方法和装置制造方法及图纸

本发明专利技术公开了一种基于大数据技术的电力数据分析方法和装置，通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；将指标数据进行发布，根据展示要求从数据库中查询后展示。本发明专利技术基于大数据技术对电力数据进行分类识别和存储显示，数据采集准确以及可以根据场景快速切换显示，采用了差异化存储方法，对待存储的数据全量的存储在多台缓存服务器中，这样就不会造成单个服务器宕机而影响计算的情况。

【技术实现步骤摘要】
一种基于大数据技术的电力数据分析方法和装置
本专利技术涉及数据分析
，具体涉及一种基于大数据技术的电力数据分析方法和装置。
技术介绍
区域战略经营驾驶舱实时反映企业的整体运行状态，为公司提供实时、可靠、准确的数据分析，为经营管理、科学决策提供有力的支持，进而能准确、及时的把握和调整企业发展方向，促进公司的高效发展，提升公司的经济效益和竞争力。驾驶舱的建设以合理开发利用网络和信息资源为目标，对集团公司有关信息资源和区域公司本部现有各应用系统进行有机整合，并增加公司安全生产、战略规划、财务资产、燃料物资和市场营销等方面所需功能，建设覆盖区域公司全部业务的统一信息平台，实现区域公司各系统之间的业务数据共享，为区域公司及所属单位高效管理和科学决策提供强有力的信息支持，促进区域公司系统管理流程优化和管理效率的提升。随着各区域公司信息系统的数量逐渐增多，数据量也随之增大。受数据采集的限制，无法保证数据准确性、一致性，导致驾驶舱数据分析不准确，无法为企业管理者提供准确的决策支持。为了及时把控企业经营和运转情况，企业管理者往往需要对不同的业务数据进行综合分析形成相应业务场景，但业务数据往往带有较强的专业性。传统技术限于业务场景处理能力，场景切换速度慢，无法快速响应企业管理者的需求。
技术实现思路
为解决现有技术中的不足，本专利技术提供一种基于大数据技术的电力数据分析方法和装置，解决了数据采集不准确、不一致以及无法提供场景快速切换的问题。为了实现上述目标，本专利技术采用如下技术方案：一种基于大数据技术的电力数据分析方法，通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；将指标数据进行发布，根据展示要求从数据库中查询后展示。进一步的，所述电力数据来源为区域内部电力系统和中调网站发布的电力数据。进一步的，所述通过多路复杂链路方法采集区域内的电力数据，包括：设置数据获取配置，数据获取配置的内容包括数据种类、数据请求地址、数据请求地址的协议类型、数据地址加载顺序请求频度表达式；将所述数据获取配置作为采集配置信息注册到分布式协调器Zookeeper集群中；从Zookeeper集群中获取采集配置信息，根据采集配置信息中的数据请求地址的协议类型建立不同的采集通道，根据配置中的数据请求地址、请求频度表达式、数据地址加载顺序创建采集任务，将相同的协议类型的采集任务分配到相同的采集通道中运行，采集任务运行并获取到数据后，通过采集通道返回。进一步的，所述预处理后得到电力原始数据进行存储，存储采用方法为：实时数据存储采用Redis数据库，非实时数据采用大数据Hadoop和Hbase体系进行存储，大数据存储时将数据索引到ElasticSearch中；对于保存到Redis数据库中的实时数据设置数据的有效期，到期后数据自动清除，如果Redis中的数据被访问，该数据的有效期自动延长。进一步的，所述对分类后的数据进行定义形成指标数据集合，包括：根据分类后的数据提炼数据特征；去重、合并不同分类中的相同含义指标数据；对数据指标名称进行编码。进一步的，所述数据特征包括数据的时间周期、数据所属的主数据、数据的单位、数据的值类型、数据是否计算。进一步的，所述对数据指标名称进行编码，方法为：数据指标的中文首字母加上随机码；或者由数据种类、周期、流水号三部分共同组成的唯一字符串。进一步的，所述自动归类存储过程为：在对分类后的数据进行定义形成指标数据集合后，将大数据存储Hbase数据库中访问次数高于设定阈值且查询效率低于设定阈值的数据集放入到Redis集群中，同时存放到ElasticSearch集群中，Redis集群和ElasticSearch集群分别设置在不同的缓存服务器中，数据库之间相互备份。进一步的，根据展示要求从数据库中查询后展示，包括，根据展示要求需要访问某指标数据时，首先从Redis中进行读取，如果Redis中读取不到，从ElasticSearch中读取，两级缓存任何一个读取到缓存数据即返回进行展示，如果两级缓存均没有读取到缓存数据，从Hbase数据库直接读取。一种基于大数据技术的电力数据分析装置，包括：获取存储模块，通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；指标数据集合形成模块，对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；查询展示模块，将指标数据进行发布，根据展示要求从数据库中查询后展示。本专利技术所达到的有益效果：本专利技术通过多路复杂链路方法采集区域内的电力原始数据，预处理后进行存储；通过对电力原始数据按照数据种类进行自动分类识别，对分类后的数据进行定义形成指标数据集合并自动归类存储；将指标数据进行发布，通过可视化组件进行多样化展示。基于大数据技术对电力数据进行分类识别和存储显示，数据采集准确以及可以根据场景快速切换显示。采用了差异化存储方法，对待存储的数据全量的存储在多台缓存服务器中，这样就不会造成单个服务器宕机而影响计算的情况。附图说明图1是本专利技术具体实施例中的方法流程图；图2是本专利技术具体实施例中的方法直观示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1～2所示，一种基于大数据技术的电力数据分析方法，包括步骤：步骤一，通过多路复杂链路方法采集区域内的电力原始数据，预处理后进行存储；电力数据来源一般包括区域内部系统和中调网站发布的数据，数据来源复杂，数据本身具有分布不均、分布环境差异性大、网站(系统)数量多、数据量大等特点。内部系统数据一般分为环保、燃料、营销、日利润、综合统计、人资、碳排放等多个方面，内部系统数据包括：供煤量、耗煤量、存煤量、入厂煤热值、入炉煤热值、煤场储耗、发电厂用电率年累计、等效运行小时年累计。中调网站发布数据一般分为电量情况、受电情况、负荷情况、用电情况、错峰限电情况、电能质量、水电运行情况、火电运行情况、调度运行情况九大类。中调网站发布的具体数据包括：全网发电量、全省供电量、省内供电量、周边供电量、送受电情况、负荷情况(统调最高发电负荷、统调最低发电负荷、统调负荷峰谷差)、用电情况(分地区)、错峰限电情况(分地区)。通过多路复杂链路方法采集区域内的电力数据，包括步骤：1)设置数据获取配置，数据获取配置的内容包括数据种类、数据请求地址、数据请求地址的协议类型、数据地址加载顺序请求频度表达式。数据种类，比如营销类数据、生产类数据、燃料类数据等；一种数据种类可以配置多个数据请求地址；请求频度表达式本文档来自技高网...

【技术保护点】
1.一种基于大数据技术的电力数据分析方法，其特征在于：/n通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；/n对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；/n将指标数据进行发布，根据展示要求从数据库中查询后展示。/n

【技术特征摘要】
1.一种基于大数据技术的电力数据分析方法，其特征在于：
通过多路复杂链路方法采集区域内的电力数据，预处理后得到电力原始数据进行存储；
对电力原始数据按照数据种类进行分类，对分类后的数据进行定义形成指标数据集合并差异化归类存储；
将指标数据进行发布，根据展示要求从数据库中查询后展示。


2.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述电力数据来源为区域内部电力系统和中调网站发布的电力数据。


3.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述通过多路复杂链路方法采集区域内的电力数据，包括：
设置数据获取配置，数据获取配置的内容包括数据种类、数据请求地址、数据请求地址的协议类型、数据地址加载顺序请求频度表达式；
将所述数据获取配置作为采集配置信息注册到分布式协调器Zookeeper集群中；
从Zookeeper集群中获取采集配置信息，根据采集配置信息中的数据请求地址的协议类型建立不同的采集通道，根据配置中的数据请求地址、请求频度表达式、数据地址加载顺序创建采集任务，将相同的协议类型的采集任务分配到相同的采集通道中运行，采集任务运行并获取到数据后，通过采集通道返回。


4.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述预处理后得到电力原始数据进行存储，存储采用方法为：
实时数据存储采用Redis数据库，非实时数据采用大数据Hadoop和Hbase体系进行存储，大数据存储时将数据索引到ElasticSearch中；
对于保存到Redis数据库中的实时数据设置数据的有效期，到期后数据自动清除，如果Redis中的数据被访问，该数据的有效期自动延长。


5.根据权利要求1所述的一种基于大数据技术的电力数据分析方法，其特征是：所述对分类后的数据进行定义形成指标数据集合，包括：
根据...

【专利技术属性】
技术研发人员：冷程浩，王寅，黎绍泉，孙峰，
申请(专利权)人：南京华盾电力信息安全测评有限公司，
类型：发明
国别省市：江苏;32