一种基于数据中台的数据开发方法技术

本发明专利技术公开了一种基于数据中台的数据开发方法，具体涉及计算机技术领域，本发明专利技术通过数据中台将企业项目业务办理过程中产生的数据进行采集并分库存储，判定合成单元对同一时刻所有开发人员提交的数据处理语句进行处理，避免因数据表自身的行级锁导致的同一时刻多个开发人员对数据表中同一行不同字段数据进行修改只有一个数据处理语句可以执行，造成开发效率低下情况的发生；判定合成单元对同一时刻数据处理语句中包含的字段进行相同匹配，将满足条件的字段在原数据处理语句中删除并对之后的数据处理语句进行拼接生成新的数据处理语句，避免关联性较强的字段被多人重复性修改导致数据紊乱情况的发生，保证了数据的安全。全。全。

【技术实现步骤摘要】
一种基于数据中台的数据开发方法


[0001]本专利技术涉及计算机
，具体涉及一种基于数据中台的数据开发方法。

技术介绍

[0002]数据中台是指通过数据技术，收集、存储、加工大量数据，同时统一标准和口径，多用于企业，企业通过数据中台将企业项目业务办理过程中产生的数据进行采集并依据该项目业务类型生成该项目不同业务的数据表，并依据项目类型分库进行管理这样方便该企业的开发人员进行数据开发；
[0003]现有的一种基于数据中台的数据开发方法是基于一个开发平台，企业内部开发人员基于该开发平台输入sql语句来对数据库中数据表内的数据进行操作，然而这样的开发方式如果存在多个开发人员同时对数据表中同一行数据进行操作时，由于数据表的行级锁机制，同一时刻只允许对一行数据进行操作，其余针对该行数据进行操作的sql语句都将会阻塞，且随着项目的越来越大，业务范围的越来越广，越来越细致，不同业务之间的联系将会越来越紧密，这将会导致不同的开发人员在对数据进行开发的过程都需要对同一数据表中一行数据中的某几个数据进行修改，然而因为数据表的行级锁将会严重影响开发人员对于数据开发的效率，造成整体项目开发效率降低；
[0004]为了解决上述问题，本专利技术提出了一种解决方案。

技术实现思路

[0005]本专利技术的目的在于提供一种基于数据中台的数据开发方法，目的是为了解决现有技术中目的是为了解决因为数据表中的行级锁导致的不同的开发人员在对数据进行开发的过程都需要对同一数据表中一行数据中的某几个数据进行修改，然而因为数据表的行级锁将会严重影响开发人员对于数据开发的效率，造成整体项目开发效率降低的问题。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种基于数据中台的数据开发方法，包括以下步骤：
[0008]步骤一：数据中台将企业项目业务办理过程中产生的数据进行采集并依据该项目业务类型生成该项目不同业务的数据表，所述企业的业务数据包括订单数据、客户数据、商品数据和供应链数据；
[0009]步骤二：数据分析模块对该企业所有项目业务的数据表进行分析生成所有数据表的字段关联信息数据，一个所述数据表的字段关联信息数据中包含该数据表中所有字段的关联信息列表；
[0010]步骤三：开发端包括存储模块、认证模块、数据处理模块和若干个开发模块，所述认证模块对该企业内部开发人员的身份进行认证后生成预选择指令并将其传输到开发模块；
[0011]步骤四：所述开发模块包括预加载单元和开发单元，所述开发模块接收到认证模块传输的预选择指令后将当前开发人员进行数据开发所需要的数据库进行连接并获取该
数据库所有数据表的字段关联信息数据，将其加载到内存；
[0012]所述开发单元按照一定的获取方式获取该开发人员的数据开发语句并将其传输到数据处理模块；
[0013]步骤五：所述数据处理模块接收到开发单元传输的数据开发语句后数据库中的数据进行操作，所述数据处理模块包括判定合成单元和操作单元，若同一时刻，所述数据处理模块只接收到一个开发单元传输的数据开发语句，所述数据处理模块将该开发单元传输的数据开发语句传输到操作单元，所述操作单元接收到数据处理模块传输的数据开发语句将其进行执行；
[0014]若同一时刻，所述数据处理模块接收到多个开发单元传输的数据开发语句则将其传输到判定合成单元，所述判定合成单元接收到数据处理模块传输到的多个数据开发语句后按照一定的判定步骤对其进行判定生成该时刻所有相关表的同源数据。
[0015]进一步的，所述开发人员获取该开发人员的数据开发语句的获取方式有两种：所述开发人员获取该开发人员的数据开发语句的获取方式有两种：一种是所述开发单元获取到开发人员输入主动提交指令后获取到当前时刻为止开发人员新输入的数据开发语句，另一种是所述开发单元检测到开发人员在输入“；”后W时间内未进行任何输入则获取到当前时刻位置开发人员新输入的数据开发语句，所述W为预设时间阈值。
[0016]进一步的，所述数据开发语句具体指代的是sql语句，一个所述数据开发语句代表一条SQL语句。
[0017]进一步的，所述操作单元包括sql执行器。
[0018]进一步的，所述判定合成单元判定生成该时刻所有相关表同源数据的具体判定步骤如下：
[0019]S11：以该时刻一个数据开发语句为例，依次获取该数据开发语句中包含的表名称、字段名称和字段值并依据其生成该数据开发语句的比较信息数据；
[0020]S12：按照S11，获取该时刻所有数据开发语句的比较信息数据并对其进行同步比较：
[0021]若该时刻所有数据开发语句的比较信息数据中存在表名称和字段名称一致，则将该比较信息数据标定为同源信息数据，将比较信息数据中名称相同的数据表标定为相关表，名称相同的字段标定为相关字段；
[0022]S13：以一个相关表为例，获取所有同源信息数据中表名称是该相关表且字段名称存在一致的所有数据开发语句，标记为R1、R2、...、Rr，r≥1；
[0023]获取该相关表的字段关联信息数据；
[0024]S14：以数据开发语句R1为例，若该sql语句中存在除相关字段外其余字段，则将该sql语句中存在除相关字段外的其余字段标定为待相关字段；
[0025]反之，不做任何处理；
[0026]S15：按照S14，依次获取所数据开发语句R1、R2、...、Rr中所有的待相关字段并依据其和该相关表的相关字段生成该相关表的同源数据；
[0027]S16：按照S13到S15，计算获取该时刻所有相关表的同源数据。
[0028]进一步的，所述判定合成单元依据该时刻数据开发语句中所有表的同源数据对数据开发语句进行拼接，具体步骤如下：
[0029]S21：以一个相关表的同源数据为例，获取该相关表数据中的所有相关字段U1、U2、...、Uu，u≥1，和待相关字段V1、V2、...、Vv，v≥1；
[0030]S22：获取该相关表对应字段关联信息数据中相关字段U1、U2、...、Uu关联信息列表中的字段并将其与待相关字段V1、V2、...、Vv进行同源匹配，获取所有的不可修改字段：
[0031]S221：以待相关字段V1为例，若待相关字段V1与U1、U2、...、Uu关联信息列表中的字段相同，则将待相关字段V1重新标定为不可修改字段，反之，则不做任何处理；
[0032]S222：按照S221依次将待相关字段V1、V2、...、Vv与U1、U2、...、Uu关联信息列表中的字段进行相同匹配，获取所有不可修改字段；
[0033]所述判定合成单元对该时刻所有包含该相关表的数据开发语句进行不可修改字段检索，将该时刻所有数据开发语句中表名称为该相关表的数据开发语句进行不可修改字段检索，将所有针对不可修改字段进行操作的语言删除，并返回该字段当前时刻不可修改；
[0034]所述判定合成单元将删除后的数据开发语句进行拼接生成新的数据开发语句本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据中台的数据开发方法，其特征在于，包括以下步骤：步骤一：数据中台将企业项目业务办理过程中产生的数据进行采集并依据该项目业务类型生成该项目不同业务的数据表，所述企业的业务数据包括订单数据、客户数据、商品数据和供应链数据；步骤二：数据分析模块对该企业开发人员对数据库中数据表的操作进行分析生成该企业所有数据库中所有数据表的字段关联信息数据，一个所述数据表的字段关联信息数据中包含该数据表中所有字段的关联信息列表；步骤三：开发端包括存储模块、认证模块、数据处理模块和若干个开发模块，所述认证模块对该企业内部开发人员的身份进行认证后生成预选择指令并将其传输到开发模块；步骤四：所述开发模块包括预加载单元和开发单元，所述开发模块接收到认证模块传输的预选择指令后将当前开发人员进行数据开发所需要的数据库进行连接并获取该数据库所有数据表的字段关联信息数据，将其加载到内存；所述开发单元按照一定的获取方式获取该开发人员的数据开发语句并将其传输到数据处理模块；步骤五：所述数据处理模块接收到开发单元传输的数据开发语句后数据库中的数据进行操作，所述数据处理模块包括判定合成单元和操作单元，若同一时刻，所述数据处理模块只接收到一个开发单元传输的数据开发语句，所述数据处理模块将该开发单元传输的数据开发语句传输到操作单元，所述操作单元接收到数据处理模块传输的数据开发语句将其进行执行；若同一时刻，所述数据处理模块接收到多个开发单元传输的数据开发语句则将其传输到判定合成单元，所述判定合成单元接收到数据处理模块传输到的多个数据开发语句后按照一定的判定步骤对其进行判定生成该时刻所有相关表的同源数据。2.根据权利要求1所述的一种基于数据中台的数据开发方法，其特征在于，所述开发人员获取该开发人员的数据开发语句的获取方式有两种：一种是所述开发单元获取到开发人员输入主动提交指令后获取到当前时刻为止开发人员新输入的数据开发语句，另一种是所述开发单元检测到开发人员在输入“；”后W时间内未进行任何输入则获取到当前时刻位置开发人员新输入的数据开发语句，所述W为预设时间阈值。3.根据权利要求1所述的一种基于数据中台的数据开发方法，其特征在于，所述数据开发语句具体指代的是sql语句，一个所述数据开发语句代表一条SQL语句，一个所述数据开发语句的末端用“；”结尾代表结束。4.根据权利要求1所述的一种基于数据中台的数据开发方法，其特征在于，所述操作单元包括sql执行器。5.根据权利要求1所述的一种基于数据中台的数据开发方法，其特征在于，所述判定合成单元判定生成该时刻所有相关表同源数据的具体判定步骤如下：S11：以该时刻一个数据开发语句为例，依次获取该数据开发语句中包含的表名称、字段名称和字段值并依据其生成该数据开发语句的比较信息数据；S12：按照S11，获取该时刻所有数据开发语句的比较信息数据并对其进行同步比较：若该时刻所有数据开发语句的比较信息数据中存在表名称和字段名称一致，则将该比较信息数据标定为同源信息数据，将比较信息数据中名称相同的数据表标定为相关表，名
称相同的字段标定为相关字段；S13：以一个相关表为例，获取所有同源信息数据中表名称是该相关表且字段名称存在一致的所有数据开发语句，标记为R1、R2、...、Rr，r≥1；获取该相关表的字段关联信息数据；S14：以数据开发语句R1为例，若该sql语句中存在除相关字段外其余字段，则将该sql语句中存在除相关字段外的其余字段标定为待相关字段；反之，不做任何处理；S15：按照S14，依次获取所数据开发语句R1、R2、...、Rr中所有的待相关字段并依据其和该相关表的相关字段生成该相关表的同源数据；S16：按照S13到S...

【专利技术属性】
技术研发人员：李响，唐嘉成，马滨，仇斌杰，叶顺，张柳健，
申请(专利权)人：天道金科股份有限公司，
类型：发明
国别省市：