数据采集方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术领域，公开了一种数据采集方法、装置、设备及存储介质，用于提高数据采集效率。数据采集方法包括：接收并审批终端发送的数据采集请求，得到审批结果；当审批结果为审批通过时，解析待采集信息，得到多个待采集数据表，统计每个待采集数据表的已存数据量；当已存数据量全部小于预置阈值时，生成第一待查询关联语句；当至少一个已存数据量不小于预置阈值时，将已存数据量按照从小到大顺序确定连接顺序，并生成第二待查询关联语句；执行第一待查询关联语句或第二待查询关联语句，得到目标数据集，对目标数据集脱敏处理，将已脱敏的数据集发送到预置云端平台。本发明专利技术还涉及区块链技术，目标数据集可存储于区块链节点中。

【技术实现步骤摘要】
数据采集方法、装置、设备及存储介质
本专利技术涉及大数据技术的顺序查询领域，尤其涉及一种数据采集方法、装置、设备及存储介质。
技术介绍
数据采集是软件行业里的一个特殊工种，区别于版本交付，它是一个个零碎的脚本，有时就是一个小的业务需求，它是满足用户临时取数和数据探索的工作，也是校验某些汇总类的报表的重要途径，由于有了这项工作使得追随业务的变动小步快速迭代，从而让业务需求探索期缩短。目前，数据采集工作需要专项的分析师来跟进，但是面对众多机构提出种类繁多的业务需求，数据采集的工作效率难以得到提升，同时还要投入大量的人力去支持，因此对复杂需求的数据采集业务，检索比较耗时，并且采集数据效率比较低。
技术实现思路
本专利技术的主要目的在于解决了对复杂需求的数据采集业务，检索比较耗时，并且采集数据效率比较低的技术问题。为实现上述目的，本专利技术第一方面提供了一种数据采集方法，包括：接收终端发送的数据采集请求，并对所述数据采集请求进行审批，得到审批结果，所述数据采集请求包括待采集信息和连接字段信息，所述连接字段信息用于指示本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，所述数据采集方法包括：/n接收终端发送的数据采集请求，并对所述数据采集请求进行审批，得到审批结果，所述数据采集请求包括待采集信息和连接字段信息，所述连接字段信息用于指示不同表之间的字段连接关系；/n当所述审批结果为审批通过时，对所述待采集信息进行解析，得到多个待采集字段和多个待采集数据表，并统计每个所述待采集数据表的已存数据量；/n当每个所述待采集数据表的已存数据量全部小于预置阈值时，按照所述连接字段信息、所述多个待采集字段和所述多个待采集数据表生成第一待查询关联语句；/n当至少一个待采集数据表的已存数据量大于或者等于预置阈值时，将每个所述待采集数据表的已存数...

【技术特征摘要】
1.一种数据采集方法，其特征在于，所述数据采集方法包括：
接收终端发送的数据采集请求，并对所述数据采集请求进行审批，得到审批结果，所述数据采集请求包括待采集信息和连接字段信息，所述连接字段信息用于指示不同表之间的字段连接关系；
当所述审批结果为审批通过时，对所述待采集信息进行解析，得到多个待采集字段和多个待采集数据表，并统计每个所述待采集数据表的已存数据量；
当每个所述待采集数据表的已存数据量全部小于预置阈值时，按照所述连接字段信息、所述多个待采集字段和所述多个待采集数据表生成第一待查询关联语句；
当至少一个待采集数据表的已存数据量大于或者等于预置阈值时，将每个所述待采集数据表的已存数据量按照从小到大顺序确定连接顺序，设置多个连接条件，并按照所述连接顺序和所述多个连接条件对所述连接字段信息、所述多个待采集字段和所述多个待采集数据表进行语句拼接，得到第二待查询关联语句；
执行所述第一待查询关联语句或者所述第二待查询关联语句，得到所述数据采集请求对应的目标数据集，并对所述目标数据集进行脱敏处理，将已脱敏的数据集发送到预置云端平台，以供所述预置云端平台通过链接地址指示目标用户进行数据下载。


2.根据权利要求1所述的数据采集方法，其特征在于，所述接收终端发送的数据采集请求，并对所述数据采集请求进行审批，得到审批结果，所述数据采集请求包括待采集信息和连接字段信息，所述连接字段信息用于指示不同表之间的字段连接关系，包括：
接收终端发送的数据采集请求，并解析所述数据采集请求，得到目标用户的唯一标识、查询日期、待采集信息和连接字段信息，所述连接字段信息用于指示不同表之间的字段连接关系；
对所述目标用户的唯一标识、所述查询日期、所述待采集信息和所述连接字段信息进行记录；
基于所述目标用户的唯一标识和所述待采集信息确定审批事项和审批信息，所述审批信息包括审批层级、审批类型和目标审批人；
按照所述审批层级和所述审批类型将所述审批事项分发至所述目标审批人对应的审批终端；
接收所述审批终端发送的审批结果，并根据所述审批结果更新所述数据采集请求对应的审批状态。


3.根据权利要求1所述的数据采集方法，其特征在于，所述当所述审批结果为审批通过时，对所述待采集信息进行解析，得到多个待采集字段和多个待采集数据表，并统计每个所述待采集数据表的已存数据量，包括：
当所述审批结果为审批通过时，按照预置分隔符对所述待采集信息进行解析，得到多个待采集字段和多个待采集数据表；
对每个所述待采集数据表生成对应的数量查询语句，并执行所述对应的数量查询语句，得到每个所述待采集数据表的已存数据量。


4.根据权利要求1所述的数据采集方法，其特征在于，所述当至少一个待采集数据表的已存数据量大于或者等于预置阈值时，将每个所述待采集数据表的已存数据量按照从小到大顺序确定连接顺序，设置多个连接条件，并按照所述连接顺序和所述多个连接条件对所述连接字段信息、所述多个待采集字段和所述多个待采集数据表进行语句拼接，得到第二待查询关联语句，包括：
当至少一个待采集数据表的已存数据量大于或者等于预置阈值时，对每个所述待采集数据表的已存数据量按照从小到大顺序进行排序，得到初始排序序列；
采用所述查询日期从预置映射表中读取所述多个待采集数据表各自对应的关联数据表，所述关联数据表包括日表、年表和历史全量表；
根据所述连接字段信息对所述初始排序序列进行关联数据表筛选，得到目标排序序列，并基于所述目标排序序列确定连接顺序；
对所述多个待采集字段和所述各自对应的关联数据表分别生成多个初始查询语句；
按照所述连接字段信息设置多个连接条件，并按照所述连接顺序和所述多个连接条件对所述多个初始查询语句进行语句拼接，得到第二待查询关联语句。


5.根据权利要求1所述的数据采集方法，其特征在于，所述执行所述第一待查询关联语句或者所述第二待查询关联语句，得到所述数据采集请求对应的目标数据集，并对所述目标数据集进行脱敏处理，将已脱敏的数据集发送到预置云端平台，以供所述预置云端平台通过链接地址指示目标用户进行数据下载...

【专利技术属性】
技术研发人员：陈润红，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44