一种信息运营监测用数据溯源管理系统技术方案

本发明专利技术涉及数据溯源，具体涉及一种信息运营监测用数据溯源管理系统，包括用于采集数据资源的源系统，以及用于对源系统采集数据资源进行处理存储的全业务数据中心，源系统与全业务数据中心之间设有溯源服务器，溯源服务器与用于采集从源系统流入全业务数据中心数据资源的数据采集模块相连，溯源服务器与用于收集流入全业务数据中心的数据资源对应源系统信息的数据源信息收集模块相连，溯源服务器与用于生成Hash值的Hash算法生成模块相连；本发明专利技术提供的技术方案能够有效克服现有技术所存在的不能对处理后的数据进行有效溯源、无法核对数据资源的真实性、无法快速了解数据链路以及数据与业务之间关系的缺陷。

A data traceability management system for information operation and monitoring

【技术实现步骤摘要】
一种信息运营监测用数据溯源管理系统
本专利技术涉及数据溯源，具体涉及一种信息运营监测用数据溯源管理系统。
技术介绍
电网数据资产海量并且多元化，导致难以全面了解数据类别、分布、链路、数量及与业务的关联等，无法掌握数据资产全貌。当前数据服务目录方面，通过线下文档的方式提供，不便于更新及信息同步，存在数据资源检索困难，线下获取数据资源效率低的问题，需要多方协调、多方参与。由于缺乏在线数据溯源管理系统，业务人员难以直观、快速了解数据来源、数据链路以及数据与业务之间的关系，无法快速找到数据、看懂数据和使用数据，同时存在重复数据溯源、业务溯源问题，降低了资源利用效率，严重制约数据价值的挖掘，影响数据共享服务能力的提升。现有数据溯源管理系统不能对处理后的数据进行有效溯源，无法核对数据资源的真实性，无法快速了解数据链路以及数据与业务之间的关系。
技术实现思路
(一)解决的技术问题针对现有技术所存在的上述缺点，本专利技术提供了一种信息运营监测用数据溯源管理系统，能够有效克服现有技术所存在的不能对处理后的数据进行有效溯源、无法核对数据资源的真实性、无法快速了解数据链路以及数据与业务之间关系的缺陷。(二)技术方案为实现以上目的，本专利技术通过以下技术方案予以实现：一种信息运营监测用数据溯源管理系统，包括用于采集数据资源的源系统，以及用于对所述源系统采集数据资源进行处理存储的全业务数据中心，所述源系统与所述全业务数据中心之间设有溯源服务器；所述溯源服务器与用于采集从所述源系统流入所述全业务数据中心数据资源的数据采集模块相连，所述溯源服务器与用于收集流入所述全业务数据中心的数据资源对应源系统信息的数据源信息收集模块相连，所述溯源服务器与用于生成Hash值的Hash算法生成模块相连，所述溯源服务器与用于生成水印的水印算法生成模块相连，所述数据源信息收集模块与用于将源系统信息融入Hash算法、水印算法的数据源信息融合模块相连；所述溯源服务器与用于根据所述Hash算法生成模块生成对应Hash值的Hash生成模块相连，所述溯源服务器与用于根据所述水印算法生成模块生成对应水印的水印生成模块相连，所述溯源服务器与用于将Hash值、水印嵌入对应流入所述全业务数据中心数据资源的验证信息嵌入模块相连；所述溯源服务器与用于提取流入所述全业务数据中心的数据资源验证信息的验证信息提取模块相连，所述溯源服务器与用于对所述全业务数据中心处理存储的数据资源进行全过程跟踪的映射关系关联模块相连。优选地，所述源系统信息包括采集主机MAC、采集设备序列号。优选地，所述映射关系关联模块对数据资源的处理、存储、应用和共享的全过程进行链路跟踪，并将链路跟踪得到的关联映射关系嵌入验证信息。优选地，所述映射关系关联模块与用于存储所述映射关系关联模块进行链路跟踪得到关联映射关系的关联映射关系存储模块相连，所述关联映射关系存储模块与用于输入数据资源查询对应关联映射关系的关联映射关系查询模块相连。优选地，所述全业务数据中心包括数据缓冲区、Gbase数据库和Hbase数据库，所述Gbase数据库包括明细数据层和运监数据处理区。优选地，源系统采集数据资源包括结构化数据和量测数据，所述结构化数据通过ETL、OGG方式抽取到所述数据缓冲区，所述量测数据抽取到所述Hbase数据库存储。优选地，所述结构化数据采用Spark组件在Gbase数据库上进行定时计算，所述Hbase数据库存储的所述量测数据抽取到所述Gbase数据库中进行运算。优选地，所述结构化数据包括ERP、PMS、营销数据，所述量测数据包括输变电状态数据、供电电压、用电信息数据。优选地，所述运监数据处理区包含有按照数据溯源的业务逻辑关系以形成宽表的编写脚本。(三)有益效果与现有技术相比，本专利技术所提供的一种信息运营监测用数据溯源管理系统，具有以下有益效果：1、数据源信息收集模块收集流入全业务数据中心的数据资源对应源系统信息，数据源信息融合模块将源系统信息融入Hash算法、水印算法，Hash生成模块、水印生成模块分别生成含有源系统信息的Hash值、水印，验证信息嵌入模块将Hash值、水印嵌入对应流入全业务数据中心数据资源，从而能够对处理后的数据进行有效溯源，并且便于核对数据资源的真实性；2、验证信息提取模块提取流入全业务数据中心的数据资源验证信息，映射关系关联模块对全业务数据中心处理存储的数据资源进行全过程跟踪，关联映射关系存储模块存储映射关系关联模块进行链路跟踪得到关联映射关系，关联映射关系查询模块用于输入数据资源查询对应关联映射关系，使得业务人员能够快速了解数据链路以及数据与业务之间的关系。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术运营监测数据处理系统示意图；图2为本专利技术图1中源系统与全业务数据中心之间数据溯源系统示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。一种信息运营监测用数据溯源管理系统，如图1和图2所示，包括用于采集数据资源的源系统，以及用于对源系统采集数据资源进行处理存储的全业务数据中心，源系统与全业务数据中心之间设有溯源服务器；溯源服务器与用于采集从源系统流入全业务数据中心数据资源的数据采集模块相连，溯源服务器与用于收集流入全业务数据中心的数据资源对应源系统信息的数据源信息收集模块相连，溯源服务器与用于生成Hash值的Hash算法生成模块相连，溯源服务器与用于生成水印的水印算法生成模块相连，数据源信息收集模块与用于将源系统信息融入Hash算法、水印算法的数据源信息融合模块相连；溯源服务器与用于根据Hash算法生成模块生成对应Hash值的Hash生成模块相连，溯源服务器与用于根据水印算法生成模块生成对应水印的水印生成模块相连，溯源服务器与用于将Hash值、水印嵌入对应流入全业务数据中心数据资源的验证信息嵌入模块相连；溯源服务器与用于提取流入全业务数据中心的数据资源验证信息的验证信息提取模块相连，溯源服务器与用于对全业务数据中心处理存储的数据资源进行全过程跟踪的映射关系关联模块相连。源系统信息包括采集主机MAC、采集设备序列号。映射关系关联模块对数据资源的处理、存储、应用和共享的全过程进行链路跟踪，并将链路跟踪得到的关联映射关系嵌入验证信息。映射关系关联模块与用于存储映射关本文档来自技高网...

【技术保护点】
1.一种信息运营监测用数据溯源管理系统，其特征在于：包括用于采集数据资源的源系统，以及用于对所述源系统采集数据资源进行处理存储的全业务数据中心，所述源系统与所述全业务数据中心之间设有溯源服务器；/n所述溯源服务器与用于采集从所述源系统流入所述全业务数据中心数据资源的数据采集模块相连，所述溯源服务器与用于收集流入所述全业务数据中心的数据资源对应源系统信息的数据源信息收集模块相连，所述溯源服务器与用于生成Hash值的Hash算法生成模块相连，所述溯源服务器与用于生成水印的水印算法生成模块相连，所述数据源信息收集模块与用于将源系统信息融入Hash算法、水印算法的数据源信息融合模块相连；/n所述溯源服务器与用于根据所述Hash算法生成模块生成对应Hash值的Hash生成模块相连，所述溯源服务器与用于根据所述水印算法生成模块生成对应水印的水印生成模块相连，所述溯源服务器与用于将Hash值、水印嵌入对应流入所述全业务数据中心数据资源的验证信息嵌入模块相连；/n所述溯源服务器与用于提取流入所述全业务数据中心的数据资源验证信息的验证信息提取模块相连，所述溯源服务器与用于对所述全业务数据中心处理存储的数据资源进行全过程跟踪的映射关系关联模块相连。/n...

【技术特征摘要】
1.一种信息运营监测用数据溯源管理系统，其特征在于：包括用于采集数据资源的源系统，以及用于对所述源系统采集数据资源进行处理存储的全业务数据中心，所述源系统与所述全业务数据中心之间设有溯源服务器；
所述溯源服务器与用于采集从所述源系统流入所述全业务数据中心数据资源的数据采集模块相连，所述溯源服务器与用于收集流入所述全业务数据中心的数据资源对应源系统信息的数据源信息收集模块相连，所述溯源服务器与用于生成Hash值的Hash算法生成模块相连，所述溯源服务器与用于生成水印的水印算法生成模块相连，所述数据源信息收集模块与用于将源系统信息融入Hash算法、水印算法的数据源信息融合模块相连；
所述溯源服务器与用于根据所述Hash算法生成模块生成对应Hash值的Hash生成模块相连，所述溯源服务器与用于根据所述水印算法生成模块生成对应水印的水印生成模块相连，所述溯源服务器与用于将Hash值、水印嵌入对应流入所述全业务数据中心数据资源的验证信息嵌入模块相连；
所述溯源服务器与用于提取流入所述全业务数据中心的数据资源验证信息的验证信息提取模块相连，所述溯源服务器与用于对所述全业务数据中心处理存储的数据资源进行全过程跟踪的映射关系关联模块相连。


2.根据权利要求1所述的信息运营监测用数据溯源管理系统，其特征在于：所述源系统信息包括采集主机MAC、采集设备序列号。


3.根据权利要求1所述的信息运营监测用数据溯源管理系统，其特征在于：所述映射关系关联模块对数据资源的处理、存储、应用和共享的全过程进行链路跟踪，并将链...

【专利技术属性】
技术研发人员：胡聪，刘翠玲，徐敏，洪德华，
申请(专利权)人：国网安徽省电力有限公司信息通信分公司，
类型：发明
国别省市：安徽;34