一种大数据导入导出方法技术

本发明专利技术涉及数据处理技术领域，具体公开了一种大数据导入导出方法，依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，将导出的数据转换为统一的格式，并在导入数据之前，会先判断是否需要进行数据处理，只有再需要进行数据处理的时候才进行数据处理，还按照排序，基于设定的数据传输协议将数据导入数据库中，方便数据的传输使用，每次执行都会从各源数据获取最新数据，从而提高数据实效性。据实效性。据实效性。

【技术实现步骤摘要】
一种大数据导入导出方法


[0001]本专利技术涉及数据处理
，尤其涉及一种大数据导入导出方法。

技术介绍

[0002]数据分析类软件产品都具备将数据从数据源抽取出来，加载到定义好的数据分析模型中去的功能。但是这些数据存在于不同的数据库或者文件，并且数据格式标准不统一，因此这类产品需要提供相应的功能将企业中的分散、零乱、标准不统一的数据进行清洗、转换、集成，对这些数据进行处理需要对数据库比较熟练的技术人员才能实现，这无疑降低了数据的时效性。

技术实现思路

[0003]本专利技术的目的在于提供一种大数据导入导出方法，提高数据时效性。
[0004]为实现上述目的，本专利技术提供了一种大数据导入导出方法，包括以下步骤：
[0005]依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；
[0006]当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；
[0007]当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中。
[0008]其中，依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件，包括：
[0009]从FONE数据库中依次读取ETLNode和ETLEdge进行信息初始化；
[0010]将初始化后得到的导出数据转换成xml格式文件，并同时生成元数据标签、节点标签和边标签；
[0011]基于预设的传输规则将所述xml格式文件传输至数据处理组件。
[0012]其中，所述数据处理组件包括数据解析模块、数据判断模块和数据数据处理模块。
[0013]其中，所述数据处理模块的数据至少为一个，多个所述数据处理模块之间级联。
[0014]其中，当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理，包括：
[0015]当所述数据处理组件中的所述数据解析模块接收到所述xml格式文件后，对所述xml格式文件进行解密和解析；
[0016]利用所述数据判断模块判断解析后的数据是否需要进行数据处理，若需要进行数据处理，则利用所述数据处理模块基于处理规则进行处理。
[0017]其中，当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，包括：
[0018]当数据处理完成后或者判断不需要进行数据处理后，将接收到的数据进行缓存并排序；
[0019]按照设定的数据传输协议，基于排序顺序将数据导入到数据库中进行存储。
[0020]本专利技术的一种大数据导入导出方法，依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中，将导出的数据转换为统一的格式，并在导入数据之前，会先判断是否需要进行数据处理，只有再需要进行数据处理的时候才进行数据处理，还按照排序，基于设定的数据传输协议将数据导入数据库中，方便数据的传输使用，每次执行都会从各源数据获取最新数据，从而提高数据实效性。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术第一实施例提供的一种大数据导入导出方法的步骤示意图。
[0023]图2是本专利技术第二实施例提供的一种大数据导入导出方法的步骤示意图。
具体实施方式
[0024]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0025]在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0026]请参阅图1，本专利技术第一实施例提供一种大数据导入导出方法，包括以下步骤：
[0027]S101、依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件。
[0028]具体的，从FONE数据库中依次读取ETLNode和ETLEdge，并分别进行信息初始化，然后，将初始化后的两种数据均转换成xml格式文件发送给数据处理组件，在转换生成xml格式文件的同时，生成元数据(Metadata)标签、节点(Node)标签和边(Edge)标签。其中，每个Metadata标签，用于记录端口输出字段信息；每个Node标签，用于记录基础信息如类型、标识、数据转换规则；每个Edge标签，记录数据流向。
[0029]在将xml格式文件传输至数据处理组件的过程中，需要按照预设的传输规则进行传输，在传输的时候，获取当前xml格式文件对应的三种标签数据，并按照元数据标签、节点表标签和边标签的数据对所述xml格式文件进行加密封装，同时，将所述节点标签赋值为1，边标签也赋值为1，然后将其转换成压缩包文件后，按照压缩完成时间，依照时间先后顺序传输至所述数据处理组件中。
[0030]S102、当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理。
[0031]具体的，所述数据处理组件包括数据解析模块、数据判断模块和数据数据处理模块，所述数据处理模块的数据至少为一个，多个所述数据处理模块之间级联，所述数据处理
模块的数量是根据当前数据需要进行处理的种类确定的，每一组数据需要进行处理的种类不同，级联的所述数据处理模块的数量也就不一样。
[0032]当所述数据处理组件中的所述数据解析模块接收到所述压缩包文件后，对所述压缩包文件进行解压缩，分析出所述xml格式文件中的graph文件中的数据库连接对象、Metadata(元数据)、Node(节点)、Edge(边)及相关有向无环图，去掉未能使用的组件，并分别将所述节点标签和所述边标签新增赋值2，使其变成1，2这种标签值，确保数据流是按有向且无环的顺序在FONE系统内部执行；
[0033]当解析完成后，将数据传输至所述数据判断模块中判断当前的数据是否需要进行数据处理，若需要进行数据处理，在将数据传输至所述数据处理模块中进行数据处理，若不需要进行数据处理，则将其输出所述数据处理组件，其中，所述数据判断模块的节点标签和边标签均为3，所述数据处理模块的节点标签和边标签均为4，参照所述数据解析模块的赋值方式进行赋值。其中，数据处理包括：清洗、转换、集成，可以添加数据准备、数据关联、数据转换分类下的组件，将数据源组件的输出端口与该组件的输入端口连接，使源组件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据导入导出方法，其特征在于，包括以下步骤：依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件；当所述数据处理组件接收到对应的数据之后，对数据进行解析并判断是否需要进行数据处理；当不需要进行数据处理后，按照设定的数据传输协议将数据导入数据库中。2.如权利要求1所述的大数据导入导出方法，其特征在于，依次获取ETLNode和ETLEdge并进行信息初始化，转换成xml格式文件后传输至对应的数据处理组件，包括：从FONE数据库中依次读取ETLNode和ETLEdge进行信息初始化；将初始化后得到的导出数据转换成xml格式文件，并同时生成元数据标签、节点标签和边标签；基于预设的传输规则将所述xml格式文件传输至数据处理组件。3.如权利要求1所述的大数据导入导出方法，其特征在于，所述数据处理组件包括数据解析模块、数据判断模块...

【专利技术属性】
技术研发人员：唐君伟，王娟，
申请(专利权)人：上海绎维软件系统有限公司，
类型：发明
国别省市：