一种基于表达式的数据处理系统技术方案

本发明专利技术提供了一种基于表达式的数据处理系统，其包括：数据连接管理单元其分别与数据库，数据源模板单元，数据源管理单元，时间粒度管理单元，表达式解析单元连接，其中所述表达式解析单元经数据访问接口组件获取表达式数据，以供表达式解析单元根据预设的表达式规范，解析表达式，以根据时间粒度管理单元的设定的时间粒度，向数据源模板单元及数据源管理单元查找对应的配置项目表及数据表，并执行包括读取、写回、聚合中的至少一种操作。以实现异构数据源的统一访问及灵活的数据定义功能。构数据源的统一访问及灵活的数据定义功能。构数据源的统一访问及灵活的数据定义功能。

【技术实现步骤摘要】
一种基于表达式的数据处理系统


[0001]本专利技术涉及数据处理技术，尤其涉及一种基于表达式来对数据源进行处理的技术。

技术介绍

[0002]在企业应用中存在着大量离散式的数据计算和统计场景，如企业能源管理统计中需要灵活的增减能源介质种类，并基于计划、同比、环比、自定义周期等各种场景进行偏差分析和校核，形成统计报表。
[0003]传统的报表和数据应用通常基于实现预定义的数据主题，异构数据之间的计算和呈现非常困难，不同的时间粒度参数、数据回填等场景也需要单独考虑。并且这些数据计算逻辑分散在软件业务逻辑、SQL语句以及报表逻辑中，因此难以灵活的适用于各类复合繁杂的数据场景。同时，异构数据之间的数学计算以及计算后的结果若要批量回填至数据库则更加困难，因此本
亟待能够解决此类数据处理问题的方案。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于表达式的数据处理系统，以实现异构数据源的统一访问及灵活的数据定义功能。
[0005]为了实现上述目的，本专利技术提供了一种基于表达式的数据处理系统，其包括：数据连接管理单元其分别与数据库，数据源模板单元，数据源管理单元，时间粒度管理单元，表达式解析单元连接，其中所述表达式解析单元经数据访问接口组件获取表达式数据，以供表达式解析单元根据预设的表达式规范，解析表达式，以根据时间粒度管理单元的设定的时间粒度，向数据源模板单元及数据源管理单元查找对应的配置项目表及数据表，并执行包括读取、写回、聚合中的至少一种操作。
[0006]优选地，所述预设的表达式规范包括：项目代码、数据源代码、字段名、时间偏移、及聚合函数参数，其中所述项目代码表示配置项目表的项目代码、所述数据源代码约定了数据对应的配置项目表及数据表、所述字段名对应数据源映射数据表中实际存在的列名、所述时间偏移标识系统内的时间粒度偏移量、所述聚合函数表示数据库可识别的聚合函数，用来对满足条件的数据进行聚合操作。
[0007]优选地，所述时间粒度管理单元，用于定义不同的结算周期，包括：年度、月度、日、班、旬、周中的至少一种，其中所述数据源管理单元管理的所有数据与时间粒度、时间挂钩。
[0008]优选地，所述数据源模板管理单元，其存储有数据源模板，以供在数据连接的基础上映射数据对应的配置项目表，其中所述数据源模板的管理字段包括：数据源模板代码、数据源模板名称、数据连接、配置表、是否为可写数据源，及注册对应数据表的所有必要字段信息，包括字段名、中文名、类型、长度、精度等、主键生成方式中的至少一种。
[0009]优选地，所述数据源管理单元，其存储的数据源用来映射与配置项目表的关系，同一数据源模板下，可定义多套数据源，实现数据的不同账套，同时可以将配置表对应的项目
纳入相应的数据源，其中所述数据源管理的主要字段包括：数据源代码、数据源名称。
[0010]优选地，所述数据源管理单元与时间粒度管理单元关联，以在同一数据源下，定义多种时间粒度数据，每个关联下需要指明数据表、时间粒度、主键生成方式、主键补充字段。
[0011]优选地，所述读取操作步骤包括：根据表达式的项目代码，结合时间粒度和时间字段形成查询条件生成SQL查询语句，从数据连接管理单元中获取数据库连接，执行SQL进行数据查找，并根据返回的结果集中的字段名进行数据取值，将数值代入到原输入字符串进行替换，并对完成全部替换的数值字符串进行数学运算，得到最终计算结果。
[0012]优选地，所述写回操作步骤包括：根据字段名和写入数值的关系，结合查询条件形成UPDATE或者INSERT语句，进行数据行的字段更新，其中写回时还需要依赖数据源模板上的字段定义信息，对写入的字段值进行类型处理和校验。
[0013]优选地，所述聚合操作步骤包括：根据时间粒度，结合表达式中给出的时间偏移以及聚合函数对数据进行计算。
[0014]通过本专利技术提供的该基于表达式的数据处理系统，能够便捷的实现面向数据库搭建数据源管理方案，以完成数据的统一读取、计算以及存储，特别适用于离散式、多时间粒度、异构数据计算、数据回填等场景，极大的忽略了计算和统计的复杂性，使得开发人员无需编写SQL或业务逻辑，即可无代码、配置式的应对复杂的数据应用场景。
附图说明
[0015]构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术的该基于表达式的数据处理系统功能模块示意图；图2为本专利技术的该基于表达式的数据处理系统的配置示意图；图3为本专利技术的该基于表达式的数据处理系统的表达式解析流程图。
具体实施方式
[0016]为了使本领域的技术人员能够更好的理解本专利技术的技术方案，下面将结合实施例来对本专利技术的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本专利技术。显然，本案所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本专利技术中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术的揭露及保护范围。
[0017]此外本专利技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里描述的那些以外的顺序实施。同时本专利技术中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
[0018]针对企业业务运作中，出现大量的设计复杂的时间粒度换算、多账套、复杂对比、
口径变化频繁等数据利用场景，本案专利技术构思上提出了面向时间粒度进行数据源管理的构思，以满足企业在业务执行中的异构数据源间数据计算、填报、统计、对比等需求。
[0019]其中本案所提出的该时间粒度的数据源管理，其特点是将企业的运转数据全部划分为按照年、季度、旬、月、周、日、班等可统计时间粒度，根据企业的生产管理实绩、计划、平衡、跟踪等多账套数据需求，实现数据表结构的字段定义和声明。
[0020]为此如图1至图3所示，本专利技术的该基于表达式的数据处理系统主要包括：数据连接管理单元、数据源模板单元、数据源管理单元、时间粒度管理单元，以及表达式解析单元、数据访问接口等组件。其中基础原理为通过依据在基准的时间粒度和时间的场景下，对基于相同配置的监测项目（配置表）扩展一套或多套数据账套方式（数据表）实现数据映射（字段）。
[0021]具体来说，该时间粒度管理单元，用于定义企业中不同的结算周期，如年度、月度、日、班、旬、周等。数据源管理的所有数据必须与时间粒度、时间挂钩。即数据表必须包括TIMEGRANID,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表达式的数据处理系统，其特征在于包括：数据连接管理单元其分别与数据库，数据源模板单元，数据源管理单元，时间粒度管理单元，表达式解析单元连接，其中所述表达式解析单元经数据访问接口组件获取表达式数据，以供表达式解析单元根据预设的表达式规范，解析表达式，以根据时间粒度管理单元的设定的时间粒度，向数据源模板单元及数据源管理单元查找对应的配置项目表及数据表，并执行包括读取、写回、聚合中的至少一种操作。2.根据权利要求1所述的基于表达式的数据处理系统，其特征在于，所述预设的表达式规范包括：项目代码、数据源代码、字段名、时间偏移、及聚合函数参数，其中所述项目代码表示配置项目表的项目代码、所述数据源代码约定了数据对应的配置项目表及数据表、所述字段名对应数据源映射数据表中实际存在的列名、所述时间偏移标识系统内的时间粒度偏移量、所述聚合函数表示数据库可识别的聚合函数，用来对满足条件的数据进行聚合操作。3.根据权利要求1所述的基于表达式的数据处理系统，其特征在于，所述时间粒度管理单元，用于定义不同的结算周期，包括：年度、月度、日、班、旬、周中的至少一种，其中所述数据源管理单元管理的所有数据与时间粒度、时间挂钩。4.根据权利要求3所述的基于表达式的数据处理系统，其特征在于，所述数据源模板管理单元，其存储有数据源模板，以供在数据连接的基础上映射数据对应的配置项目表，其中所述数据源模板的管理字段包括：数据源模板代码、数据源模板名称、数据连接、配置表、是否为可写数据源，及注册对应数据表的所有必要字段信息，包括字段名、中文名...

【专利技术属性】
技术研发人员：万成，茅心怡，姚文贵，
申请(专利权)人：上海宝能信息科技有限公司，
类型：发明
国别省市：