一种接口数据按需存储的方法和系统技术方案

本申请提供了一种接口数据按需存储的方法和系统，涉及数据挖掘技术领域。旨在从不同的数据接口挖掘与实际应用需求相关的数据，并将从不同的数据接口挖掘的数据整合，得到符合数据实际的应用需求的目标数据表。首先确定多个源数据接口；利用预设的知识规则图谱解析多个源数据接口，得到多个源数据接口的主键；针对多个源数据接口中的每个源数据接口的接口数据，生成至少一个推荐表模式；将具有相同主键的数据表模式合并，得到合并后的多个推荐表模式；根据接收的确定操作，在多个推荐表模式中确定目标推荐表模式；根据接收的修改操作，生成对目标推荐表模式执行原子操作的结构化语句，修改推荐表模式，得到目标数据表。

【技术实现步骤摘要】
一种接口数据按需存储的方法和系统
本申请涉及数据挖掘
，特别是涉及一种接口数据按需存储的方法和系统
技术介绍
随着云计算、大数据、人工智能等技术的发展，数据是关键资产已成为一项共识。数据价值的发挥，关键一环在于数据的融合与挖掘。在现有的互联网体系下，数据存在于各个孤立的WEB应用业务系统或数据孤岛中。数据接口作为WEB应用业务系统中数据流通的管道和基础，为数据的融合与连接提供了一种有效的支撑方案。然而，由于不同的WEB应用业务系统的接口只能独立调用，不同数据类型的数据的接口也只能独立调用，因此基于不同的接口获取的数据分散的数据片段，如何将分散的接口数据片段融合留存为完整、连续的数据集合成为了亟待解决的问题。现有技术下，无法统一过滤和融合从不同的不同的WEB应用业务系统获取的碎片数据，形成满足实际分析需求的数据仓库，从而导致相关数据分析难以实施，只能使用原始的人工筛选方式识别数据，效率低、人工耗费大。并且由于在接口获取的是碎片化的数据，需要持续留存数据，才能形成连续的数据，以保证数据融合成满足实际分析需求的数据，但留存数据是连续的过程，这一过程包含多个阶段，一旦出现由于外部原因导致的系统留存过程中断，导致数据缺失，甚至造成严重的数据事故。
技术实现思路
本申请实施例提出一种接口数据按需存储的方法和系统，按照数据的应用需求，根据获得接口数据的生成推荐表模式，利用预设的知识规则图谱解析源数据接口，获得源数据接口的主键，将具有相同主键的推荐表模式合并，实现融合从不同源数据接口获取的碎片数据的目的。同时按照主键的顺序，建立留存任务序列，按照留存任务序列留存数据并记录相应的日志，保证在系统中断时，留存数据不会丢失。本申请实施例第一方面提供一种接口数据按需存储的方法，所述方法包括：根据接收的存储操作，确定多个源数据接口；利用预设的知识规则图谱解析所述多个源数据接口，得到所述多个源数据接口中的每个源数据接口的主键；针对所述多个源数据接口中的每个源数据接口的接口数据，分别根据所述多个源数据接口中的每个源数据接口的主键，生成至少一个推荐表模式；将具有相同主键的数据表模式合并，得到合并后的多个推荐表模式；根据接收的确定操作，在所述多个推荐表模式中确定目标推荐表模式；根据接收的修改操作，生成对所述目标推荐表模式执行原子操作的结构化语句；其中，所述原子操作包括删除列操作、调整列操作和增加列操作；利用所述结构化语句修改所述目标推荐表模式，得到目标数据表。可选地，在根据接收的确定操作，在所述多个推荐表模式中确定目标推荐表模式之后，所述方法还包括：使用预设的列提取程序，从所述接口数据中获取所述目标推荐表模式中列属性的属性值；将所述属性值插入所述目标推荐表模式对应的列属性，得到具有数据的列属性；对所述目标推荐表模式中多个具有数据的列属性做笛卡尔积，得到中间表；利用所述结构化语句修改所述目标推荐表模式，得到目标数据表，包括：利用所述结构化语句修改所述中间表，得到修改后的中间表；使用预设的行提取程序，筛选所述修改后的中间表中的行元组，得到所述目标数据表。可选地，在利用预设的知识规则图谱解析所述多个源数据接口，得到所述多个源数据接口中的每个源数据接口的主键之后，所述方法还包括：针对所述多个源数据接口，建立留存任务序列；按照所述留存任务序列，依次确定进行数据留存的目标接口；根据所述目标接口在所述留存任务序列中的留存序号，形成数据调用的记录日志；调用所述目标接口的接口数据，将所述接口数据留存至原始库；在将所述接口数据留存至所述原始库失败时，扫描所述数据调用的记录日志，获取所述留存序号；根据所述留存序号，重新调用所述目标接口的接口数据，并将所述接口数据留存至所述原始库；使用预设的列提取程序，从所述接口数据中获取所述目标推荐表模式中列属性的属性值，包括：使用预设的列提取程序，在所述原始库中，从所述接口数据中获取所述目标推荐表模式中列属性的属性值。可选地，将所述属性值插入所述目标推荐表模式对应的列属性，包括：根据所述目标推荐表模式的主键序列，生成插入任务序列；按照所述插入任务序列，依次确定所述目标推荐表模式中进行数据插入的目标位置；根据所述目标位置在所述插入任务序列中的插入序号，形成数据插入的记录日志；所述数据插入的记录日志包括所述目标位置对应的主键序列的数值、所述目标位置对应的列属性和所述属性值；在将所述属性值插入所述目标推荐表模式对应的列属性失败时，扫描数据插入的记录日志，根据所述目标位置对应的主键序列的数值和所述目标位置对应的列属性，将所述属性值插入所述目标推荐表模式对应的列属性。可选地，根据接收的修改操作，生成对所述目标推荐表模式执行原子操作的结构化语句，包括：根据接收的修改操作，生成所述原子操作，并针对所述原子操作的类型，形成列修改的日志记录；根据所述原子操作，生成对所述目标推荐表模式执行原子操作的结构化语句；在筛选所述中间数据表中的行元组之前，所述方法还包括：形成行修改的日志记录；在利用所述结构化语句修改所述中间表失败时，根据所述列修改的日志记录，删除所述修改后的中间表，并利用所述结构化语句重新修改所述中间表；或，在筛选所述修改后的中间表中的行元组失败时，根据所述行修改的日志记录删除所述目标数据表，并使用预设的行提取程序，重新筛选所述修改后的中间表中的行元组。可选地，针对所述多个源数据接口中的每个源数据接口的接口数据，分别根据所述多个源数据接口中的每个源数据接口的主键，生成至少一个推荐表模式，包括：根据目标源数据接口的分层结构树，生成所述目标源数据接口的元数据模式；所述目标源数据接口是所述多个源数据接口中的任意源数据接口；按照规划路径，遍历所述元数据模式的所有节点；将包含多个不同的非叶子节点的非叶节点，确定为第一推荐表模式的名称；按照所述规划路径，确定所述包含多个不同的非叶子节点的非叶节点的第一层子节点；将所述包含多个不同的非叶子节点的非叶节点的第一层子节点确定为所述第一推荐表模式的元组；将包含多个不同的叶子节点的非叶节点，确定为第二推荐表模式的名称；按照所述规划路径，确定所述包含多个不同的叶子节点的非叶节点的第一层子节点；将所述包含多个不同的叶子节点的非叶节点的第一层子节点确定为所述第二推荐表模式的列属性。可选地，所述方法还包括：从多个应用程序的不同数据接口获取多个数据本体；分别对所述多个数据本体中的每个数据本体打标签，得到多个对应单个数据本体的元标签的集合；分别从所述多个数据本体中的每个数据本体中获取参照主键，得到多个对应单个数据本体的元主键的集合；分别根据所述多个数据本体中的每个数据本体所在的接口的结构描述，和所述多个数据本体中的每个数据本体所在的应用程序的结构描述，得到多个对应单个数据本体的元结构描述信息的集合；分别从所述元标签的集合、所述元主键的集合和所述元结构描述信息的集合中获取对应同一数据接口的元标签、元参照主键和元结构描述信息；分别根据每个数据接口的元标签、元参照主键和元结构描述信息，建立对应该数据接口的知识元规则，得到多个知识元规则；针对所述多个知识元规则本文档来自技高网...

【技术保护点】
1.一种接口数据按需存储的方法，其特征在于，所述方法包括：/n根据接收的存储操作，确定多个源数据接口；/n利用预设的知识规则图谱解析所述多个源数据接口，得到所述多个源数据接口中的每个源数据接口的主键；/n针对所述多个源数据接口中的每个源数据接口的接口数据，分别根据所述多个源数据接口中的每个源数据接口的主键，生成至少一个推荐表模式；/n将具有相同主键的数据表模式合并，得到合并后的多个推荐表模式；/n根据接收的确定操作，在所述多个推荐表模式中确定目标推荐表模式；/n根据接收的修改操作，生成对所述目标推荐表模式执行原子操作的结构化语句；其中，所述原子操作包括删除列操作、调整列操作和增加列操作；/n利用所述结构化语句修改所述目标推荐表模式，得到目标数据表。/n

【技术特征摘要】
1.一种接口数据按需存储的方法，其特征在于，所述方法包括：
根据接收的存储操作，确定多个源数据接口；
利用预设的知识规则图谱解析所述多个源数据接口，得到所述多个源数据接口中的每个源数据接口的主键；
针对所述多个源数据接口中的每个源数据接口的接口数据，分别根据所述多个源数据接口中的每个源数据接口的主键，生成至少一个推荐表模式；
将具有相同主键的数据表模式合并，得到合并后的多个推荐表模式；
根据接收的确定操作，在所述多个推荐表模式中确定目标推荐表模式；
根据接收的修改操作，生成对所述目标推荐表模式执行原子操作的结构化语句；其中，所述原子操作包括删除列操作、调整列操作和增加列操作；
利用所述结构化语句修改所述目标推荐表模式，得到目标数据表。


2.根据权利要求1所述的方法，其特征在于，在根据接收的确定操作，在所述多个推荐表模式中确定目标推荐表模式之后，所述方法还包括：
使用预设的列提取程序，从所述接口数据中获取所述目标推荐表模式中列属性的属性值；
将所述属性值插入所述目标推荐表模式对应的列属性，得到具有数据的列属性；
对所述目标推荐表模式中多个具有数据的列属性做笛卡尔积，得到中间表；
利用所述结构化语句修改所述目标推荐表模式，得到目标数据表，包括：
利用所述结构化语句修改所述中间表，得到修改后的中间表；
使用预设的行提取程序，筛选所述修改后的中间表中的行元组，得到所述目标数据表。


3.根据权利要求2所述的方法，其特征在于，在利用预设的知识规则图谱解析所述多个源数据接口，得到所述多个源数据接口中的每个源数据接口的主键之后，所述方法还包括：
针对所述多个源数据接口，建立留存任务序列；
按照所述留存任务序列，依次确定进行数据留存的目标接口；
根据所述目标接口在所述留存任务序列中的留存序号，形成数据调用的记录日志；
调用所述目标接口的接口数据，将所述接口数据留存至原始库；
在将所述接口数据留存至所述原始库失败时，扫描所述数据调用的记录日志，获取所述留存序号；
根据所述留存序号，重新调用所述目标接口的接口数据，并将所述接口数据留存至所述原始库；
使用预设的列提取程序，从所述接口数据中获取所述目标推荐表模式中列属性的属性值，包括：
使用预设的列提取程序，在所述原始库中，从所述接口数据中获取所述目标推荐表模式中列属性的属性值。


4.根据权利要求2所述的方法，其特征在于，将所述属性值插入所述目标推荐表模式对应的列属性，包括：
根据所述目标推荐表模式的主键序列，生成插入任务序列；
按照所述插入任务序列，依次确定所述目标推荐表模式中进行数据插入的目标位置；
根据所述目标位置在所述插入任务序列中的插入序号，形成数据插入的记录日志；所述数据插入的记录日志包括所述目标位置对应的主键序列的数值、所述目标位置对应的列属性和所述属性值；
在将所述属性值插入所述目标推荐表模式对应的列属性失败时，扫描数据插入的记录日志，根据所述目标位置对应的主键序列的数值和所述目标位置对应的列属性，将所述属性值插入所述目标推荐表模式对应的列属性。


5.根据权利要求1所述的方法，其特征在于，根据接收的修改操作，生成对所述目标推荐表模式执行原子操作的结构化语句，包括：
根据接收的修改操作，生成所述原子操作，并针对所述原子操作的类型，形成列修改的日志记录；
根据所述原子操作，生成对所述目标推荐表模式执行原子操作的结构化语句；
在筛选所述中间数据表中的行元组之前，所述方法还包括：
形成行修改的日志记录；
在利用所述结构化语句修改所述中间表失败时，根据所述列修改的日志记录，删除所述修改后的中间表，并利用所述结构化语句重新修改所述中间表；或，
在筛选所述修改后的中间表中的行元组失败时，根据所述行修改的日志记录删除所述目标数据表，并使用预设的行提取程序，重新筛选所述修改后的中间表中的行元组。


6.根据权利要求1所述的方法，其特征在于，针对所述多个源数据接口中的每个源数据接口的接口数据，分别根据所述多个源数据接口中的每个源数据接口的主键，生成至少一个推荐表模式，包括：
根据目标源数据接口的分层结构树，生成所述目标源数据接口的元数据模式；所述目标源数据接口是所述多个源数据接口中的任意源数据接口；
按照规划路径，遍历所述元数据模式的所有节点；
将包含多个不同的非叶子节点的非叶节点，确定为第一推荐表模式的名称；
按照所述规划路径，确定所述包含多个不同的非叶子节点的非叶节点的第一层子节点；
将所述包含多个不同的非叶子节点的非叶节点的第一层子节点确定为所述第一推荐表模式的元组；
将包含多个不同的叶子节点的非叶节点，确定为第二推荐表模式的名称；
按照所述规划路径，确定所述包含多个不同的叶子节点的非叶...

【专利技术属性】
技术研发人员：易超，任彦民，张舒汇，贺赞贤，
申请(专利权)人：北京数立得科技有限公司，
类型：发明
国别省市：北京;11