本发明专利技术公开一种数据一致性管理系统，包括依次关联的原始数据层和多个业务数据处理层；原始数据层包括对应同一类型数据的不同数据采集节点的多个原始数据输入模块；各业务数据处理层包括多个业务数据处理模块，各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块；各原始数据输入模块接收对应数据采集节点的原始数据输入，各业务数据处理模块响应于满足预设的触发条件，从相关联的原始数据输入模块或业务数据处理模块获取数据，按照预设的业务数据处理规则进行数据处理，将数据处理结果传输至下一关联业务数据处理层，或者进行存储或输出。本发明专利技术能够实现水电、水利、电网、能源等系统中，数据在的多个环节之间发生变化时的关联响应，提高数据加工处理结果的一致性。一致性。一致性。
【技术实现步骤摘要】
一种基于数据分层思想的数据一致性管理系统
[0001]本专利技术涉及水电、水利、电网、能源等行业的数值质量管理控制
，具体涉及一种基于数据分层思想的数据一致性管理系统。
技术介绍
[0002]信息化的发展已经由IT时代进入了DT时代，数据已经成为了企业的战略资产，在数据资产管理时代，对数据的全生命周期管理提出了更高的要求，数据的质量成为了衡量数据管理能力的关键指标，为了不断的提升数据质量，需要从数据的采集、传输、处理、加工、共享等多个环节对数据进行全方位的管理，保障数据质量的持续提高。随着物联网时代数据采集手段的丰富多样化、数据在采集、通信传输、数据解析、数据共享和数据应用等环节过程中经常发生采集传感器故障、采集数值异常突变、数据传输延时等问题，这些问题都会影响数据加工处理的及时性和数据计算源的完整性。
[0003]数据的加工处理主要是为前端实现灵活高效调用服务的，而前端业务应用需求随着数据主体单位的职责、职能或者分工的变化而产生变化，具有难以预测性，而数据的加工处理过程也会随着需求的变化而产生一定的变化，久而久之，数据的加工处理就会烟窗化、复杂化，不利于数据质量的管理控制，经常由于各个数据加工环节之间相互不一致而导致数据在加工处理过程中产生数据的不一致，给数据主体单位造成应用困扰。
技术实现思路
[0004]本专利技术的目的是提供一种基于数据分层思想的数据一致性管理系统，能够实现水电、水利、电网、能源等系统中，数据在的多个环节之间发生变化时的关联响应，实现数据加工处理过程的全过程跟踪，提高数据加工处理结果的一致性。本专利技术采用的技术方案如下。
[0005]本专利技术提供一种数据一致性管理系统，包括依次关联的原始数据层和多个业务数据处理层；原始数据层包括多个原始数据输入模块，多个原始数据输入模块对应同一类型数据的不同数据采集节点；各业务数据处理层包括多个业务数据处理模块，各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块；原始数据层中，各原始数据输入模块接收对应数据采集节点的原始数据输入；业务数据层中，各业务数据处理模块响应于满足预设的触发条件，从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据，进而按照预设的业务数据处理规则进行数据处理，得到数据处理结果，并将数据处理结果传输至下一关联业务数据处理层，或者对数据处理结果进行存储或输出。
[0006]可选的，原始数据的数据类型包括雨量、水位、流量、电量、功率等数值型数据类型。
[0007]可选的，各业务数据处理模块对于输入数据和输出数据分别预先配置输入数据对象定义和输出数据对象定义，包括：预先配置输入数据的数据点号、数据名称和输入对象
集，以及预先配置输出数据的数据点号、数据名称和输出对象集；输入对象集和输出对象集中的数据对象分别定义为哈希键值对对象。
[0008]输入对象集中的数据对象包括：数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值，和/或数据变幅上下限值；数据输出对象集中的数据对象包括：数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值、数据加工计算是否成功，和/或数据计算失败原因。
[0009]可选的，各业务数据处理模块预设的触发条件包括：定时时间到、前一关联层的输出数据到达、延时数据到达、外部录入数据和/或外部修改数据。
[0010]可选的，各原始数据输入模块接收原始数据输入后，主动传输至相关联的业务数据处理层中预先指定的业务数据处理模块；业务数据处理模块响应于接收到数据输入，按照预设的业务数据处理规则，基于接收到的数据进行处理，将处理结果传输至其所在业务数据处理层的后一关联层中预先指定的业务数据处理模块。也即，各业务数据处理模块的触发条件为接收到前一关联层的数据输入，当然各业务数据处理模块的触发条件可根据实际需要设置为其它形式。
[0011]可选的，各业务数据处理模块响应于满足预设的触发条件，从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据，并按照预设的校验规则对获取到的数据进行完整性、正确性和/或时效性校验，若校验无误，则按照预设的业务数据处理规则进行数据处理。
[0012]可选的，各业务数据处理模块执行数据处理的时间设置为：在数据输出对象对应的时段末时刻之后，延时设定的时间。如业务数据处理模块需要统计7时～8时的累计雨量，则设置在整点延时固定的时间，比如说8:05分进行计算，这样能保障绝大多数情况下输入数据序列是完整的，也保障数据的时效。
[0013]可选的，业务数据处理模块进行校验时，若校验有误，则获取外部录入数据以满足校验；对于从前一关联层获取的数据和外部录入的数据，业务数据处理模块分别配置其优先级别标签，将基于优先级最高的数据进行处理得到的数据处理结果：传输至下一关联层的关联业务数据处理模块，或者存储数据处理结果，或者响应于查询接口调用返回数据处理结果。
[0014]在不同的应用环境中，数据的优先级别标签可根据需要设置，可以是直接采集的数据优先级最高，也可以是外部录入或外部修改的数据优先级别最高。优先级代表了数据的置信度，当外部查询或数据输出显示时，系统将选择优先级别较高的数据进行输出，可保障一数一源，从而进一步保证数据应用和数据后续加工的一致性。
[0015]可选的，对于同一优先级别的输入数据，业务数据处理模块将在后输入数据覆盖在先输入数据，并基于在后输入数据进行数据处理。
[0016]有益效果本专利技术以雨量、水位、流量、电量、功率等数据处理为研究基础，提出一种基于数据分层思想的数据一致性管理系统及其管理思路，能够实现数据加工处理流程构建和数据异常应急处理，保障数据处理节点的下游数据结点数据的一致性，同时可利用优先级别标签标记数据处理版本，可保障经过人工确认或者数据归档后的数据不再被数据处理流程连环触发
重新计算覆盖。本专利技术能够适用于所有的数值型数据的处理，适用范围较广。
附图说明
[0017]图1是雨量数据加工迁移路线示意图；图2是任一数据结点发生改变影响的雨量数据加工迁移路线示意图；图3是水位数据加工迁移路线示意图；图4是任一数据结点发生改变影响的水位数据加工迁移路线示意图；图5是水电站水库水量平衡计算数据加工迁移路线示意图；图6是任一数据结点发生改变影响的水库数据加工迁移路线示意图。
[0018]图7是数据加工处理计算判断逻辑流程示意图；图8是本专利技术数据一致性管理系统的一种应用架构示意图。
具体实施方式
[0019]以下结合附图和具体实施例进一步描述。
[0020]参考图1至图6，本专利技术的数据一致性管理系统，包括依次关联的原始数据层和多个业务数据处理层；原始数据层包括多个原始数据输入模块，多个原始数据输入模块对应同一类型数据的不同数据采集节点；各业务数据处理层包括多个业务数据处理模块，各业务数据处理模块的数据输入来源于其所在业务数据处理层的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据一致性管理系统，其特征是，包括依次关联的原始数据层和多个业务数据处理层；原始数据层包括多个原始数据输入模块，多个原始数据输入模块对应同一类型数据的不同数据采集节点；各业务数据处理层包括多个业务数据处理模块，各业务数据处理模块的数据输入来源于其所在业务数据处理层的前一关联层的原始数据输入模块或业务数据处理模块；原始数据层中，各原始数据输入模块接收对应数据采集节点的原始数据输入；业务数据层中，各业务数据处理模块响应于满足预设的触发条件，从相关联的原始数据输入模块或前一关联层的业务数据处理模块获取数据，进而按照预设的业务数据处理规则进行数据处理，得到数据处理结果，并将数据处理结果传输至下一关联业务数据处理层，或者对数据处理结果进行存储或输出。2.根据权利要求1所述的数据一致性管理系统，其特征是，原始数据的数据类型包括雨量、水位、流量、电量或功率中的一种或多种类型。3.根据权利要求1所述的数据一致性管理系统，其特征是，各业务数据处理模块对于输入数据和输出数据分别预先配置输入数据对象定义和输出数据对象定义，包括：预先配置输入数据的数据点号、数据名称和输入对象集，以及预先配置输出数据的数据点号、数据名称和输出对象集；输入对象集和输出对象集分别定义为哈希键值对对象；输入对象集中的数据对象包括：数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值，和/或数据变幅上下限值；数据输出对象集中的数据对象包括：数据开始时间、数据结束时间、数据时段类型、时段步长、数据时间序列、数据上下限值、数据变幅上下限值、数据加工计算是否成功，和/或数据计算失败原因。4.根据权利要求1所述的数据一致性管理系统，其特征...
【专利技术属性】
技术研发人员：陈建，王建平，赵宇，王峰，李春红，吴善锋，沈笛，李允军，赵琨，王蕊，单鹏珠，韩晓言，胡灿，丁理杰，滕予非，陈刚，王亮，
申请(专利权)人：国网四川省电力公司国网四川省电力公司电力科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。