统一业务与技术的数据语言构建方法和数据自动化服务技术

一种统一业务与技术的数据语言构建方法，包括如下步骤：步骤1，根据业务模型和指标元模型指定自变量；步骤2，将所述指定的自变量进行如下运算以保证符合资管数据域的领域语言模型：所述自变量是否对应所述资管域中的一个概念或类并检测是否对应元数据，所述自变量是否形成父节点和子节点并且因此进行关联计算；步骤3，确定使用该自变量或者回到步骤1。确定使用该自变量或者回到步骤1。确定使用该自变量或者回到步骤1。

【技术实现步骤摘要】
统一业务与技术的数据语言构建方法和数据自动化服务


[0001]本专利技术设计数据库领域，特别是统一业务与技术的数据语言构建方法和数据自动化服务。

技术介绍

[0002]在资管业务数据域中，通过建立以指标元数据为领域语言弥补业务和DBMS数据模型之间的沟壑，构建自动化、智能化的数据服务层方法。
[0003]每家企业及组织都有大量的数据沉淀，后续的数据查询和浏览服务绝大部分都是通过BI报表开发、或者人工提数的方式来完成服务，少数场景会通过构建维度模型+BI工具结合，去支持有限内容(占企业数据内容的小部分)的自助浏览分析。
[0004]在如何把数据内容开放出去，让业务人员能够自由的进行数据提取、浏览和分析一直是数据领域没有很好解决方案，主要体现在：
[0005]ER模型对数据缺乏准确、一致、完备的描述：在数据系统实践中，开发人员ER模型的设计和落地存在自由度过大导致缺乏一致、准确、完备的描述，比如常见的现象：一张表缺乏准确的业务主键设定、存在冗余字段或者传递依赖、一个字段在不同时期有不同的内涵，这些都导致该表的相关字段和这个数据描述的本质实体之间失去了联系，导致后续的数据使用无法被计算机自动化
[0006]ER模型远离数据业务模型，需要有一个新的描述语言来填补这个空缺：DBMS采用的ER模型是一种技术语言表达，对于业务人员而言难以准确理解。而且，在系统设计和开发过程中，由于ER模型原理业务，导致大量业务知识在系统中没有数字化。在人工提数服务或者制作数据集(如开发报表或报告)的过程中，有大量的Know
‑
How是在开发人员的人脑中，DBMS系统并没有数字化相关业务知识，导致无法实现数据服务自动化
[0007]在现有的数据服务模式下，需求业务人员和数据工程师需要进行大量点对点的沟通，数据工程师再基于需求的理解进行开发封装、测试，然后交付业务人员测试，确认后最终完成交付，存在因缺乏统一的数据领域语言导致沟通效率低、工作重复(包括代码脚本重复)、知识未结构化沉淀的情况，导致后果：
[0008]1)业务和数据工程师之间缺乏统一的形式化语言，沟通效率低下且质量低；
[0009]2)业务需求数据集需要数据工程师人工进行专项开发，导致服务过程节点多、时间长，无法摆脱数据服务人力陷阱，满足不了业务快速获取和验证数据的需求；
[0010]3)数据服务过程中的知识无法得到有效沉淀、缺乏统一管理，对于企业数字化转型不利；
[0011]4)数据服务层对外暴露缺乏统一的接口表达形式，到会企业信息系统在数据访问层熵增现象严重。

技术实现思路

[0012]一种统一业务与技术的数据语言构建方法，包括如下步骤：
[0013]步骤1，根据业务模型和指标元模型指定自变量；
[0014]步骤2，将所述指定的自变量进行如下运算以保证符合资管数据域的领域语言模型：
[0015]所述自变量是否对应所述资管域中的一个概念或类并检测是否对应元数据，
[0016]所述自变量是否形成父节点和子节点并且因此进行关联计算；
[0017]步骤3，确定使用该自变量或者回到步骤1。
[0018]根据本专利技术的一个优选实施例，在步骤2中的所述元数据包括：指标标识名(Identifier)，名称类要素，如中英文全称及简称，指标DAG信息，数据类型，数据业务自身的更新频率，指标数据形式enum: [Scalar, Tuple, Data Frame]，是否参考数据，参考数据值域空间，量纲，币种，是否主数据，数据精度，业务含义说明，计算公式，研发状态，认责状态，认责干系人信息等。
[0019]根据本专利技术的一个优选实施例，所述父节点包括资管域概念体系，该父节点对应的子节点包括证券、当事人、地域、客户、日期、渠道、产品及服务和行业，所述每个所述子节点还作为新的父节点包括另外的子节点。
[0020]根据本专利技术的一个优选实施例，还包括步骤4，根据所确认的自变量形成表T，该表T包括：)和，其中，
[0021]R表示关系， F表示函数，C表示自变量，下标1
‑
n对应自变量的个数和不同的自变量，1
‑
m表示为该表的业务主键。
[0022]本专利技术还提出了一种数据自动化服务，上述的统一业务与技术的数据语言构建方法。
[0023]根据本专利技术的一个优选实施例，还包括在所述步骤I：通过人机界面或者写DSL脚本来描述需求即基于领域语言模型的表达，发送给服务端；步骤II，服务端收到需求后对之进行词法和语义解析。
[0024]根据本专利技术的一个优选实施例，在所述步骤II中包括：a)经词法分析得到：需求请求的指标清单、需求请求的参数设置；b)根据数据集入参和领域模型的参数映射规则求得每个指标的参数设置；c)经语义分析生成编排优化后的取数需求表达；d)执行数据请求并进行自动化数据拼装；e)根据数据结果分析在概念、关系、实例上的数据实际情况，给出智能化的数据布局方案，也可以支持用户通过提交指定设定方案来定义数据布局方案，确定最终返回数据集结构；f)通过API将最终数据集返回请求方。
[0025]根据本专利技术的一个优选实施例，还包括g)自动展示步骤:根据自变量的特性进行对应的布局，所述特性包括：顺序性和转置性。
[0026]根据本专利技术的一个优选实施例，还包括步骤h）：对每一个自变量进行特定的参数控制，所述参数包括：single_col：是否独立占一列，Flat2indicator：是否将该分量扁平化到指标中，若为真则该分量不再独立占一列，该参数和single_col只要设置一个即可，treeHeader: 数据集行列索引名称是否要用树结构，layerLevel：若为树结构索引名结构，该参数制定该分量在树的层次高度为几。
[0027]根据本专利技术的一个优选实施例，包括统一且表达一致的数据服务API，其定义为：Query(Indicator_Identifier=I1, Parameters=)，该查询接口需要传入指标标识名Indicator_Identifier和指标参数Parameters两个参数。
[0028]从而，通过本专利技术的技术方案实现了：设计面向资管数据域的领域语言模型，解决ER模型和业务之间的鸿沟，成为资管领域业务人员和数据工程师之间统一、标准的沟通语言，该表达模型需要充分对业务信息进行标准化，确保基于它能够进行数据服务的自动化；基于该领域语言模型，实现数据需求数据集的自动化拼装和智能化数据集布局；解决需求数据集入参和领域言模型的参数映射问题；基于领域语言模型，提供统一且表达一致的数据服务API。
附图说明
[0029]图1 资管域概念体系树部分示例图；
[0030]图2 系统示意逻辑简图；
[0031]图3 指标元数据模型示意图；
[0032]图4基于指标元数据实现数据自动化拼装和智能布局；
[0033]图5数据需求数据集入参和指标参数之间的映射管理。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种统一业务与技术的数据语言构建方法，包括如下步骤：a)步骤1，根据业务模型和指标元模型指定自变量；b)步骤2，将所述指定的自变量进行如下运算以保证符合资管数据域的领域语言模型：c)所述自变量是否对应所述资管域中的一个概念或类并检测是否对应元数据，d)所述自变量是否形成父节点和子节点并且因此进行关联计算；e)步骤3，确定使用该自变量或者回到步骤1。2.根据权利要求1所述的统一业务与技术的数据语言构建方法，其特征在于，在步骤2中的所述元数据包括：指标标识名(Identifier)，名称类要素，如中英文全称及简称，指标DAG信息，数据类型，数据业务自身的更新频率，指标数据形式enum: [Scalar, Tuple, Data Frame]，是否参考数据，参考数据值域空间，量纲，币种，是否主数据，数据精度，业务含义说明，计算公式，研发状态，认责状态，认责干系人信息。3.根据权利要求2所述的统一业务与技术的数据语言构建方法，其特征在于，所述父节点为资管域概念体系，该父节点对应的子节点包括证券、当事人、地域、客户、日期、渠道、产品及服务和行业，每个所述子节点还可作为新的父节点包括另外的子节点。4.根据权利要求3所述的统一业务与技术的数据语言构建方法，其特征在于，还包括步骤4，根据所确认的自变量形成表T，该表T包括：)和，其中，R表示关系， F表示函数，C表示自变量，下标1
‑
n对应自变量的个数和不同的自变量，1
‑
m表示为该表的业务主键。5.一种数据自动化服务，其特征在于，包括权利要求分1
‑
4中任一项所述的统一业务与技术的数据语言构建方法。6.根据权利要求5所述的数据自动化服务，其特征在于，还包括在所述...

【专利技术属性】
技术研发人员：汪松良，齐明，王馨，陈雨，杨竞霜，
申请(专利权)人：嘉实远见科技北京有限公司，
类型：发明
国别省市：