一种基于水电企业业务数据的大数据融合系统及方法技术方案

本发明专利技术提供一种基于水电企业业务数据的大数据融合系统，包括TSDB时序数据库、KingbaseDB数据库、Redis内存数据库和Hadoop大数据平台。本发明专利技术还提供一种应用大数据融合系统的方法。本发明专利技术提供的基于水电企业业务数据的大数据融合系统及方法，优化数据存储空间占用，数据存取速度快及数据查询操作方便；通过关系型数据引擎和非关系型数据引擎的融合，在后台数据分开存储的情形下，提供面向业务应用的统一数据访问接口，从而简化业务系统的开发；有效的整合水电企业各类数据资源，打通数据之间的壁垒。

A Large Data Fusion System and Method Based on Business Data of Hydropower Enterprises

【技术实现步骤摘要】
一种基于水电企业业务数据的大数据融合系统及方法
本专利技术属于大数据处理
，具体涉及一种基于水电企业业务数据的大数据融合系统及方法。
技术介绍
随着数字信息化时代的迅猛发展，全球的数字信息资源正进入到一个前所未有的快速增长期电力大数据是能源变革中电力工业技术革新的必然过程，电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代下发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。目前，水电及相关企业经过多年的信息化建设，各类数据资源已初具规模，但上述企业的企业级数据中心的数据一般采用分散的模式，存储空间占用较大，数据存取速度慢及数据查询操作复杂等，无法满足未来企业效率提升、能力转型等方面的数据支撑需求。为了应对大数据时代带来的机遇与挑战，同时也是为了应对未来市场环境下，国家电力体制改革的要求，如何设计一种数据采集、整合、存储的大数据融合系统来解决企业级数据中心的数据集中问题，成为本领域亟待解决的难题。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于水电企业业务数据的大数据融合系统及方法，其优化数据存储空间占用，数据存取速度快及数据查询操作方便；提供面向业务应用的统一数据访问接口，从而简化业务系统的开发；有效的整合水电企业各类数据资源，打通数据之间的壁垒。为了实现上述目的，本专利技术采用的技术方案为：一种基于水电企业业务数据的大数据融合系统，包括TSDB时序数据库、KingbaseDB数据库、Redis内存数据库和Hadoop大数据平台；所述TSDB时序数据库用于非结构化数据的数据接入；所述KingbaseDB数据库用于结构化数据和经所述TSDB时序数据库输入的部分非结构化数据的缓存，并进行深度汇总、计算，将数据传输到所述Redis内存数据库；所述Redis内存数据库将数据进行存储，保留一定时间，并对历史数据进行二次加工。进一步地，还包括Oracle结构化数据库，所述Oracle结构化数据库用于存储结构化数据，并进行后续的批处理。进一步地，还包括协同模块，所述协同模块用于执行标准SQL语句，提供统一的SQL引擎。进一步地，还包括与KingbaseDB关系数据库进行数据操作的分布式关系数据库和监控平台。进一步地，所述存储采用基于哈希的数据分布，数据及其备份通过一致性哈希算法被均匀地分布在所有存储节点构成的数据存储集群上。进一步地，所述结构化数据包括ERP、规划计划、电子商务平台、水电生产管理信息系统的交易数据中的一种或几种。进一步地，所述非结构化数据包括设备运行数据、传感器数据和外部社交数据中一种或多种。本专利技术还提供一种应用上述基于水电企业业务数据的大数据融合系统的方法，具体步骤为：1）将结构化数据通过数据同步、抽取、转换、加载方式进入Oracle结构化数据库存储，以及进行后续的批处理；2）将非结构化数据，采用流式处理进入TSDB时序数据库；3）Kingbase关系数据库将结构化数据和部分非结构化数据缓存，进行深度汇总、计算，将数据送到Redis内存数据库；4）Redis内存数据库采用基于哈希的数据分布，数据及其备份通过一致性哈希算法被均匀地分布在所有存储节点构成的数据存储集群上进行存储，并保留一定时间；在所述Redis内存数据库内对历史数据进行二次加工；5）经过数据整合和处理后，为最终用户输出分析和预测报告。进一步地，所述流式处理的具体数据接入为：a.拉取与推送解耦，数据预取、队列暂存、拉取与发送并行；b.任务分割即大任务分解成小任务，小任务水平扩展；c.任务标准化即每个任务承载固定的流量，流量增加则增加任务数量；d.调度、平衡和压榨机器性能多措并举，减少延时，达到实时接入。进一步地，所述非结构化数据每次更新，不覆盖原来的版本，生成一个新的版本，数据的新旧版本通过时间戳区分；结构化数据更新操作时数据被直接覆盖。本专利技术提供的基于水电企业业务数据的大数据融合系统及方法与现有技术相比，有益效果在于：1.本专利技术的大数据融合系统及方法，优化数据存储空间占用，数据存取速度快及数据查询操作方便；2.本专利技术的大数据融合系统及方法，通过关系型数据引擎和非关系型数据引擎的融合，在后台数据分开存储的情形下，提供面向业务应用的统一数据访问接口，从而简化业务系统的开发；3.本专利技术的大数据融合系统及方法，采用基于哈希的数据分布，有效保证了数据存储节点间的负载均衡、可靠性和一致性；4.本专利技术的大数据系统及方法，有效的整合水电企业各类数据资源，打通数据之间的壁垒，有效的改善企业级数据中心数据采集及整合过程中的各类问题。总之，本专利技术提出了一种便于使用和维护的基于水电企业业务数据的大数据融合系统及方法，其在大数据处理
中具有广泛的应用前景。附图说明图1是本专利技术大数据融合系统的示意图。图2是本专利技术大数据融合系统的流程示意图。其中，附图标记说明如下：1-大数据融合系统，2-TSDB时序数据库，3-KingbaseDB数据库，4-Redis内存数据库，5-Hadoop大数据平台。具体实施方式为了使本领域技术人员更好地理解本专利技术的技术方案，下面结合具体实施例对本专利技术作进一步的详细说明。请注意，下面描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。实施例中未注明具体技术或条件的，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用试剂或仪器未注明生产厂商者，均为可以通过市购获得的常规产品。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本专利技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。本专利技术提供一种基于水电企业业务数据的大数据融合系统及方法，通过该系统和方法，有效的整合水电企业各类数据资源，打通数据之间的壁垒，有效的改善企业级数据中心数据采集及整合过程中的各类问题。如图1-2所示，本专利技术提供的基于水电企业业务数据的大数据融合系统1，包括TSDB时序数据库2、KingbaseDB数据库3、Redis内存数据库4和Hadoop大数据平台5等。本专利技术的大数据融合系统可以对结构化数据源和非结构化数据源进行数据处理，进行统一的数据存储和管理，保障了后续的分析、利用口径一致。本专利技术的大数据融合系统还可与Oracle结构化数据库结合，构成一套完整的数据整合存储环境，当然Oracle结构化数据库也可作为本专利技术大数据融合系统的一部分。本专利技术的大数据融合系统，把业务关系较大的数据，例如数据采集点的基础信息保存在传统的关系型数据库中，同时把生产设备实时生成的时序数据保存在非关系型的时序数据库中，把文档和非关系型数据保存本文档来自技高网...

【技术保护点】
1.一种基于水电企业业务数据的大数据融合系统，包括TSDB时序数据库、KingbaseDB数据库、Redis内存数据库和Hadoop大数据平台；所述TSDB时序数据库用于非结构化数据的数据接入；所述KingbaseDB数据库用于结构化数据和经所述TSDB时序数据库输入的部分非结构化数据的缓存，并进行深度汇总、计算，将数据传输到所述Redis内存数据库；所述Redis内存数据库将数据进行存储，保留一定时间，并对历史数据进行二次加工。

【技术特征摘要】
1.一种基于水电企业业务数据的大数据融合系统，包括TSDB时序数据库、KingbaseDB数据库、Redis内存数据库和Hadoop大数据平台；所述TSDB时序数据库用于非结构化数据的数据接入；所述KingbaseDB数据库用于结构化数据和经所述TSDB时序数据库输入的部分非结构化数据的缓存，并进行深度汇总、计算，将数据传输到所述Redis内存数据库；所述Redis内存数据库将数据进行存储，保留一定时间，并对历史数据进行二次加工。2.根据权利要求1所述的大数据融合系统，其特征在于，还包括Oracle结构化数据库，所述Oracle结构化数据库用于存储结构化数据，并进行后续的批处理。3.根据权利要求2所述的大数据融合系统，其特征在于，还包括协同模块，所述协同模块用于执行标准SQL语句，提供统一的SQL引擎。4.根据权利要求3所述的大数据融合系统，其特征在于，还包括与KingbaseDB关系数据库进行数据操作的分布式关系数据库和监控平台。5.根据权利要求1所述的大数据融合系统，其特征在于，所述存储采用基于哈希的数据分布，数据及其备份通过一致性哈希算法被均匀地分布在所有存储节点构成的数据存储集群上。6.根据权利要求5所述的大数据融合系统，其特征在于，所述结构化数据包括ERP、规划计划、电子商务平台、水电生产管理信息系统的交易数据中的一种或几种。7.根据权利要求6所述的大数据融合系统，其特征...

【专利技术属性】
技术研发人员：阎峻，曹旭，李耕赜，傅嘉辉，
申请(专利权)人：国网新源控股有限公司，国家电网公司，
类型：发明
国别省市：北京,11