数据采集格式更新方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:25948244 阅读:31 留言:0更新日期:2020-10-17 03:40
本申请实施例属于数据采集技术领域并能够应用于智慧政务领域,涉及一种数据采集格式更新方法,包括接收维护方提供的标准格式文档,并且提取标准格式文档中的格式报表,其中格式报表中记载了修改后数据表中包含字段的字段信息;据一个格式报表中记载的字段信息,确定一张修改后的数据表的表结构;根据修改后的数据表的表结构与相应的原数据表对比,并且变更相应的原数据表对应的字段信息,以更新数据采集格式。本申请还提供一种数据采集格式更新装置、计算机设备及存储介质。此外,本发明专利技术还涉及区块链技术,格式报表可存储于区块链中。本申请能够快速普遍的遍历数据表,并且找到要调整的数据表和字段,数据采集格式更新的效果好,速度快。

【技术实现步骤摘要】
数据采集格式更新方法、装置、计算机设备及存储介质
本申请涉及数据采集
,尤其涉及数据采集格式更新方法、装置、计算机设备及存储介质
技术介绍
一个系统或者数据仓库在进行信息采集和存储的时候,通常会定义标准格式或者是给定相应的模板,但是在系统进行改动的时候,数据的标准格式可能需要进行相应的改动以满足新的业务需要,此时就要更新数据存储的格式或者模板,而常规的更新方式是通过人工参看维护方更新的数据库表结构并对系统或者数据仓库中原始的数据表结构进行对应的调整,通常系统更新的时候维护方会发布标准格式的更新版本,以通过表格的形式对外声明更新后系统标准格式的情况,通过遍历和分析维护方提供的表格,就能够收集到所有的标准格式的更新。在一个系统当中此类的数据库表非常多,并且因为相互之间的相互关系而繁杂,通过人工排查的形式查找系统对标准格式的更新工作量巨大,并且容易出错,信息采集方案更迭速度慢。
技术实现思路
本申请实施例的目的在于提出一种能够根据维护方提供的数据库表结构进行数据采集格式更新的方法。为了解决上述技术问题,本申请实施例提本文档来自技高网...

【技术保护点】
1.一种数据采集格式更新方法,其特征在于,包括下述步骤:/n接收维护方提供的标准格式文档,并且提取所述标准格式文档中的格式报表,其中格式报表中记载了修改后数据表中包含的字段信息;/n根据一个所述格式报表确定一张修改后数据表的表结构,其中修改后数据表的表结构具体根据格式报表中记载的字段信息确定;/n对比所述修改后数据表与相应的原数据表的表结构,根据所述修改后数据表的表结构变更所述原数据表的字段信息,更新数据采集格式。/n

【技术特征摘要】
1.一种数据采集格式更新方法,其特征在于,包括下述步骤:
接收维护方提供的标准格式文档,并且提取所述标准格式文档中的格式报表,其中格式报表中记载了修改后数据表中包含的字段信息;
根据一个所述格式报表确定一张修改后数据表的表结构,其中修改后数据表的表结构具体根据格式报表中记载的字段信息确定;
对比所述修改后数据表与相应的原数据表的表结构,根据所述修改后数据表的表结构变更所述原数据表的字段信息,更新数据采集格式。


2.根据权利要求1所述的数据采集格式更新方法,其特征在于,所述根据一个所述格式报表中记载的字段信息,确定一张修改后的数据表的表结构的步骤具体包括:
读取一个格式报表的首行,根据预设的关键词判别首行中每一列的信息,以确定所述格式报表中每列所对应的字段信息;
依次读取所述格式报表的第二行至最后一行,并根据每一行中所述每列所对应的字段信息确定一个字段的名称、属性信息及约束,以确定一张修改后的数据表的表结构。


3.根据权利要求2所述的数据采集格式更新方法,其特征在于,所述依次读取所述格式报表的第二行至最后一行,并根据每一行中所述每列所对应的字段信息确定一个字段的名称、属性信息及约束,以确定一张修改后的数据表的表结构的步骤具体包括:
根据格式报表中的目标行,提取目标行中的字段信息,并且根据相应列中的字段信息确定字段名称以及属性信息;所述目标行为第二行到最后一行中的任意一行;
提取相应列中所述字段信息的特征字串,以匹配对相应字段的约束;
根据所述格式报表第二行到最后一行中每个字段的字段名称、属性信息和约束,确定修改后数据表的表结构;
根据所述修改后数据表的表结构,生成建表脚本。


4.根据权利要求3所述的数据采集格式更新方法,其特征在于,所述对比所述修改后的数据表的表结构与相应的原数据表,根据所述修改后的数据表的表结构变更相应的所述原数据表对应的字段信息,以更新数据采集格式的步骤具体包括:
根据格式报表的名称遍历所有原数据表,以确定与所述修改后的数据表相对应的原数据表;
根据所述建表脚本建立修改后的数据表;
对原数据表和修改后的数据表调用存储过程,并且确定相对于修改后的数据表产生变更的原数据表和字段;
通过变更的数据表和字段,进行数据内容的采集。


5.根据权利要求4所述的数据采集格式更新方法,其特征在于,所述根据格式报表的名称遍历所有原数...

【专利技术属性】
技术研发人员:刘雪花
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1