数据抽取方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种数据抽取方法、装置、电子设备及存储介质，所述方法包括：创建Jmeter脚本，生成初始jmeter脚本；使用初始Jmeter脚本读取EXCEL表格得到第一文本；在数据运营层中使用初始Jmeter脚本对第一文本进行清洗过滤得到第二文本；在数据仓库层使用初始Jmeter脚本对第二文本进行脱敏得到第三文本；在数据服务层中使用初始Jmeter脚本对第三文本进行数据抽取得到目标文本。本发明专利技术通过使用初始Jmeter脚本自动抽取目标文本，形成完整的数据流转闭环，提高了数据仓库抽取数据的抽取效率。此外，本申请还涉及区块链技术领域，待抽取数据存储于区块链节点中。

【技术实现步骤摘要】
数据抽取方法、装置、电子设备及存储介质
本专利技术涉及人工智能
，具体涉及一种数据抽取方法、装置、电子设备及存储介质。
技术介绍
传统的数据仓库ETL技术对数据抽取、清洗，都需要编写对应的配置文件，而数据仓库需要抽取所有业务库的数据，每个业务库的库表结构又有差异，现有技术无法满足全覆盖测试所有库表结构进行数据抽取的要求，无法形成完整的数据流转闭环进行数据仓库的数据抽取，抽取数据的效率低下。此外，针对库表结构的性能测试，现有的手工抽表很难满足性能测试对并发量的要求，通常一张表已经抽完，下一张表的配置还没完成，导致数据仓库抽取数据的抽取效率低下。
技术实现思路
鉴于以上内容，有必要提出一种数据抽取方法、装置、电子设备及存储介质，通过使用初始Jmeter脚本对待抽取数据进行自动抽取得到的目标文本，形成了完整的数据流转闭环，提高了数据仓库抽取数据的抽取效率。本专利技术的第一方面提供一种数据抽取方法，所述方法包括：创建Jmeter脚本，生成初始jmeter脚本；根据预设的配置文件从多个数据源中获取本文档来自技高网...

【技术保护点】
1.一种数据抽取方法，其特征在于，所述方法包括：/n创建Jmeter脚本，生成初始jmeter脚本；/n根据预设的配置文件从多个数据源中获取待抽取数据，提取所述待抽取数据中的表结构；/n将根据所述表结构生成的EXCEL表格存储至CSV文件库中，并使用所述初始Jmeter脚本在所述CSV文件库中读取所述EXCEL表格得到第一文本；/n将所述第一文本装载到数据仓库的数据运营层，在所述数据运营层中使用所述初始Jmeter脚本对所述第一文本进行清洗过滤得到第二文本；/n将所述第二文本抽取到所述数据仓库的数据仓库层，在所述数据仓库层使用所述初始Jmeter脚本对所述第二文本进行脱敏得到第三文本；/n将所...

【技术特征摘要】
1.一种数据抽取方法，其特征在于，所述方法包括：
创建Jmeter脚本，生成初始jmeter脚本；
根据预设的配置文件从多个数据源中获取待抽取数据，提取所述待抽取数据中的表结构；
将根据所述表结构生成的EXCEL表格存储至CSV文件库中，并使用所述初始Jmeter脚本在所述CSV文件库中读取所述EXCEL表格得到第一文本；
将所述第一文本装载到数据仓库的数据运营层，在所述数据运营层中使用所述初始Jmeter脚本对所述第一文本进行清洗过滤得到第二文本；
将所述第二文本抽取到所述数据仓库的数据仓库层，在所述数据仓库层使用所述初始Jmeter脚本对所述第二文本进行脱敏得到第三文本；
将所述第三文本抽取到数据服务层，在所述数据服务层中使用所述初始Jmeter脚本对所述第三文本进行数据抽取，得到目标文本。


2.如权利要求1所述的数据抽取方法，其特征在于，所述使用所述初始Jmeter脚本在所述CSV文件库中读取所述EXCEL表格得到第一文本包括：
将所述EXCEL表格保存为CSV格式文件；
新增配置元件至所述初始Jmeter脚本中，并使用所述初始Jmeter脚本中新增的配置文件在所述CSV文件库中读取所述CSV格式文件的文件名；
根据所述CSV格式文件的文件名确定目标CSV文件；
使用所述初始Jmeter读取所述目标CSV文件对应的EXCEL表格中的参数得到第一文本。


3.如权利要求1所述的数据抽取方法，其特征在于，所述创建Jmeter脚本，生成初始jmeter脚本包括：
根据客户端的抽取需求封装Jmeter脚本关键字；
设置数据清洗规则和数据过滤规则；
从所述封装的Jmeter脚本关键字中选取第一关键字，根据所述数据清洗规则对所述第一关键字进行参数配置，及从所述封装的Jmeter脚本关键字中选取第二关键字，根据所述数据过滤规则对所述第二关键字进行参数配置；
按照预设的校验规则对所述第一关键字和所述第二关键字分别进行校验，得到校验结果；
从所述校验结果中选取校验通过的第一关键字和第二关键字，对所述校验通过的第一关键字和第二关键字按照所述Jmeter脚本生成规范生成初始jmeter脚本。


4.如权利要求1所述的数据抽取方法，其特征在于，所述将所述第一文本装载到数据仓库的数据运营层包括：
解析所述第一文本获取所述待抽取数据的业务类型；
根据所述业务类型确定接口报文形式；
根据所述接口报文形式配置所述业务类型的接口报文模板；
根据所述业务类型的接口报文模板和所述业务类型调用所述待抽取数据的接口；
通过所述待抽取数据的接口调用配置的table_config，使用所述table_config从所述第一文本中获取多个字段；
根据所述多个字段确定位于所述接口报文模板对应的位置坐标，及将所述多个字段写入所述接口报文模板，得到目标接口报文模板，并将所述目标接口报文模板装载到数据仓库的数据运营层。


5.如权利要求1所述的数据抽取方法，其特征在于，所述在所述数据运...

【专利技术属性】
技术研发人员：张婉，
申请(专利权)人：平安好医投资管理有限公司，
类型：发明
国别省市：上海;31