一种智能生成抽取脚本的方法、装置及介质制造方法及图纸

本发明专利技术涉及数据仓库辅助技术领域，具体提供了一种智能生成抽取脚本的方法，基于ETL，对数据进行数据源配置，完成数据源映射关系配置，数据表进行配置，完成表到表的映射关系配置，选择数据表之后，进行字段映射配置，再进行数据清洗，最后生成脚本。与现有技术相比，本发明专利技术通过选择数据源、数据表、字段映射等信息，生成可供ETL工具打开使用或程序直接调用的数据抽取脚本，方便快捷。方便快捷。方便快捷。

A method, device and medium for intelligently generating extraction script

【技术实现步骤摘要】
一种智能生成抽取脚本的方法、装置及介质


[0001]本专利技术涉及数据仓库辅助
，具体提供一种智能生成抽取脚本的方法、装置及介质。

技术介绍

[0002]随着社会信用体系的逐渐完善，提供的涉及行政处罚、行政许可、红黑名单和失信被执行人等领域的数据成为分析法人和自然人信用情况的关键。通常采用ETL技术将征集的各类数据经过抽取、清洗和转换之后加载到本地数据仓库。
[0003]将不同数据来源中分散、零乱、标准不统一的数据整合到一起，为数据分析和政府决策提供重要依据。使用ETL过程中，最大的难点就在于数据抽取过程需要使用特定的数据抽取工具进行数据源、表到表映射、数据清洗规则等繁琐的配置，对操作人员的技术要求较高。

技术实现思路

[0004]本专利技术是针对上述现有技术的不足，提供一种实用性强的智能生成抽取脚本的方法。
[0005]本专利技术进一步的技术任务是提供一种设计合理，安全适用的智能生成抽取脚本的装置。
[0006]本专利技术进一步的技术任务是提供计算机可读介质。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种智能生成抽取脚本的方法，基于ETL，对数据进行数据源配置，完成数据源映射关系配置，数据表进行配置，完成表到表的映射关系配置，选择数据表之后，进行字段映射配置，再进行数据清洗，最后生成脚本。
[0009]进一步的，在数据源配置中，查看配置好的数据源连接信息，支持在线测试连接状态，根据项目实际情况选择输入数据源和输出数据源，完成数据源映射关系配置。
[0010]进一步的，选择数据源之后，展示出所述数据源下全部数据表信息，根据项目情况选择数据来源表和数据接收表，完成表到表的映射关系配置。
[0011]进一步的，选择数据表之后，展示出输入表和输出表全部字段信息，先根据字段名称进行默认映射，未能映射上的字段可以再通过手动选择进行映射。
[0012]进一步的，在数据清洗中进行规则的配置，配置数据抽取过程中清洗关键特征的字段，包括判重字段、增量检查字段和删除检查字段。
[0013]进一步的，在生成脚本的过程中，首先输入脚本名称，选择脚本生成位置，进行数据上报信息，完成数据抽取脚本流程，在服务器对应位置生成脚本。
[0014]一种智能生成抽取脚本的装置，包括：至少一个存储器和至少一个处理器；
[0015]所述至少一个存储器，用于存储机器可读程序；
[0016]所述至少一个处理器，用于调用所述机器可读程序，执行一种智能生成抽取脚本
的方法。
[0017]一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行一种智能生成抽取脚本的方法。
[0018]本专利技术的一种智能生成抽取脚本的方法、装置及介质和现有技术相比，具有以下突出的有益效果：
[0019]本专利技术将数据源、数据表、字段映射、数据清洗规则配置和生成脚本繁琐的配置进行了简化，操作人员根据项目实际情况选择数据源和数据表后，程序自动进行字段映射和数据清洗规则配置，提交后即可创建一个完整的数据抽取脚本。
[0020]省去了操作人员使用ETL工具创建数据抽取脚本的步骤，改为直接通过平台只能生成抽取脚本的功能。通过选择数据源、数据表、字段映射等信息，生成可供ETL工具打开使用或程序直接调用的数据抽取脚本，方便快捷。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]附图1是一种智能生成抽取脚本的方法的流程示意图。
具体实施方式
[0023]为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0024]下面给出一个最佳实施例：
[0025]如图1所示，本实施例中的一种智能生成抽取脚本的方法，基于 ETL，对数据进行数据源配置，完成数据源映射关系配置，数据表进行配置，完成表到表的映射关系配置，选择数据表之后，进行字段映射配置，再进行数据清洗，最后生成脚本。
[0026]具体的步骤如下：
[0027]S1、数据源配置：
[0028]查看配置好的数据源连接信息，包括数据库名称、地址、端口、实例、用户名、密码等信息，支持在线测试连接状态。根据项目实际情况选择输入数据源和输出数据源，完成数据源映射关系配置。
[0029]S2、数据表配置：
[0030]选择数据源后展示出该数据源下全部数据表信息，包括表名称、表注释等信息。根据项目情况选择数据来源表和数据接收表，完成表到表的映射关系配置。
[0031]S3、字段映射配置：
[0032]选择数据表后，展示出输入表和输出表全部字段信息，包括字段名、注释、字段长度、字段类型等信息。先根据字段名称进行默认映射，未能映射上的字段可以再通过手动选
择进行映射。
[0033]S4、数据清洗规则配置：
[0034]配置数据抽取过程中清洗关键特征的字段，包括判重字段、增量检查字段、删除检查字段等。
[0035]S5、生成脚本：
[0036]输入脚本名称，选择脚本生成位置，数据上报单位等信息后，可以完成数据抽取脚本流程，在服务器对应位置可以生成该脚本。
[0037]上述具体的实施方式仅是本专利技术具体的个案，本专利技术的专利保护范围包括但不限于上述具体的实施方式，任何符合本专利技术的一种智能生成抽取脚本的方法、装置及介质权利要求书的且任何所述
普通技术人员对其做出的适当变化或者替换，皆应落入本专利技术的专利保护范围。
[0038]尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能生成抽取脚本的方法，其特征在于，基于ETL，对数据进行数据源配置，完成数据源映射关系配置，数据表进行配置，完成表到表的映射关系配置，选择数据表之后，进行字段映射配置，再进行数据清洗，最后生成脚本。2.根据权利要求1所述的一种智能生成抽取脚本的方法，其特征在于，在数据源配置中，查看配置好的数据源连接信息，支持在线测试连接状态，根据项目实际情况选择输入数据源和输出数据源，完成数据源映射关系配置。3.根据权利要求2所述的一种智能生成抽取脚本的方法，其特征在于，选择数据源之后，展示出所述数据源下全部数据表信息，根据项目情况选择数据来源表和数据接收表，完成表到表的映射关系配置。4.根据权利要求3所述的一种智能生成抽取脚本的方法，其特征在于，选择数据表之后，展示出输入表和输出表全部字段信息，先根据字段名称进行默认映射，未能映射上的字段可以再...

【专利技术属性】
技术研发人员：张鹏，彭光，林大伟，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：