一种可配置的自动化解析方法和装置制造方法及图纸

本发明专利技术公开了一种可配置的自动化解析方法和装置，包括：将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。该方法和装置能够满足各类数据源的快速接入和处理，具有普适性。具有普适性。具有普适性。

【技术实现步骤摘要】
一种可配置的自动化解析方法和装置


[0001]本专利技术属于数据解析领域，具体涉及一种可配置的自动化解析方法和装置。

技术介绍

[0002]针对医疗行业等数据集成平台，需要接收并解析来自各医疗机构提供的医疗相关数据，但是医疗机构通常以DB接口以及WebService接口和HTTP接口方式提供医疗相关数据。这样数据集成平台面临一个问题，即各类接口返回各种类型数据，需要采用多种多样的解析方式。针对数据集成平台，可以定制化开发解析方式来适配一种类型的医疗机构数据接口。当医疗机构提供的数据接口类型多时，定制化的开发解析方式显然并不适用，因此，亟需一种可同时满足各种数据借楼类型的数据解析方式。
[0003]现有技术中，针对不同业务场景的数据解析任务，通过对计算引擎进行不同代码开发以构建解析算法，如果针对一些简单、且重复性较高的业务场景，相同模块需要重新开发，造成人力资源和时间成本的浪费。
[0004]针对解析算法的开发，现有市场没有快捷方便的成熟可靠技术方案，都是依靠人工书写，面临这繁琐，通用性差，工作量大以及效率低的问题。
[0005]专利文献CN109240998A公开了一种可配置的文件解析方法，包括：接收原文件，确定所述原文件的文件类型信息；根据所述文件类型信息对应的文件解析规则获取所述原文件包含的原始数据；根据所述文件类型信息对应的数据运算规则对所述原始数据进行计算，得到更新数据；通过预设的文件输出规则、所述原始数据和所述更新数据生成新文件。该方法是利用预定义的文件解析规则进行文件解析的，并不具有通用性和灵活性。
[0006]专利文献CN109788346A公开了一种视频文件配置解析方法，利用视频文件配置解析系统来解析视频文件，其中，视频文件配置解析系统包括：现场显示设备，用于在接收到所述儿童剧识别信号时，显示与所述儿童剧识别信号对应的红色文字；视频存储设备，用于预先存储视频文件数据库，所述视频文件数据库保存了各个视频文件夹，每一个视频文件夹内放置有包括视频内容的单个目标文件以及与所述目标文件对应的配置文件。该方法是利用与单个目标文件对应的配置文件来实现解析，同样并不具有通用性和灵活性。

技术实现思路

[0007]鉴于上述，本专利技术的目的是提供一种可配置的自动化解析方法和装置，通过自定义配置生成适配各种数据接口的数据解析命令并执行，降低生成数据解析命令的工作量，提高生成数据解析命令的效率高。
[0008]为实现上述专利技术目的，本专利技术一个实施例提供了一种可配置的自动化解析方法，包括：
[0009]将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；
[0010]提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；
[0011]根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；
[0012]以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。
[0013]在一个实施例中，在进行数据的自动化解析时，通过Akka Actor消息作为节点的配置参数的加载驱动，依次加载读取节点、解析节点以及写入节点的配置参数，实现数据的自动化解析。
[0014]在一个实施例中，通过Akka Actor消息作为节点的配置参数的加载驱动时，根据当前节点的Akka Actor消息反馈的配置参数情况，驱动加载后续节点的配置参数；
[0015]当Akka Actor消息反馈的配置参数情况为成功时，驱动加载后续节点的配置参数；
[0016]当Akka Actor消息反馈的配置参数情况为错误时，停止驱动加载后续节点的配置参数。
[0017]在一个实施例中，所述数据读取节点的配置文件包括WebService接口数据接入参数、HTTP接口数据接入参数、DB接口数据接入参数、Kafka数据接入参数、游标数据接入参数、文件接入参数、存储过程数据接入参数，后续新增接入接口，只要在配置文件中增加新增接入参数，即可以通过选择配置参数，完成开发功能。
[0018]在一个实施例中，所述数据解析节点的配置文件包括XML解析工具、JSON解析工具、HL7解析工具以及字段映射解析工具，如有后续新增通用解析工具，只需在配置文件中新增数据解析工具，即可完成开发功能。
[0019]在一个实施例中，所述数据写入节点的配置文件包括Oracle数据库、Csv文件类型、Console数据测试，有后续新增写入接口，只要在配置文件中增加新增数据接入接口类参数，即可以通过选择配置参数，完成开发功能。
[0020]为实现上述目的，本专利技术另一个实施例还提供了一种可配置的自动化解析装置，包括：
[0021]节点化模块，用于将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；
[0022]配置文件模块，用于提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；
[0023]配置模块，根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；
[0024]解析模块，用于以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。
[0025]为实现上述专利技术目的，本专利技术另一实施例还提供了一种可配置的自动化解析装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0026]步骤1，根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数
据解析节点以及数据写入节点的配置参数；
[0027]所述配置文件包括数据读取节点、数据解析节点以及数据写入节点的配置参数；
[0028]步骤2，根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；
[0029]步骤3，以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。
[0030]与现有技术相比，本专利技术具有的有益效果至少包括：
[0031]本专利技术实施例提供的可配置的自动化解析方法和装置，通过将数据接入工作流节点化，即根据配置文件参数信息去自动化组装数据读取节点、数据解析节点以及数据写入节点，组装为一个低耦合、插槽式、节点化开发的可配置的数据接入工作流，并为每个节点提供配置文件，应用时，根据不同的业务逻辑，从配置文件中选择适配数据类型和需求的数据读取节点、数据解析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可配置的自动化解析方法，其特征在于，包括：将形成数据接入工作流的数据读取步骤、数据解析步骤以及数据写入步骤节点化，形成数据读取节点、数据解析节点以及数据写入节点；提供包括数据读取节点、数据解析节点以及数据写入节点的配置文件；根据数据类型从配置文件中选择适配数据类型和需求的数据读取节点、数据解析节点以及数据写入节点的配置参数；以spark计算引擎为基础，根据选择分别从配置文件中加载数据读取节点、数据解析节点以及数据写入节点的配置参数，并结合数据接入工作流的内在逻辑图参数，实现数据的自动化解析。2.根据权利要求1所述的可配置的自动化解析方法，其特征在于，在进行数据的自动化解析时，通过Akka Actor消息作为节点的配置参数的加载驱动，依次加载读取节点、解析节点以及写入节点的配置参数，实现数据的自动化解析。3.根据权利要求2所述的可配置的自动化解析方法，其特征在于，通过Akka Actor消息作为节点的配置参数的加载驱动时，根据当前节点的Akka Actor消息反馈的配置参数情况，驱动加载后续节点的配置参数；当Akka Actor消息反馈的配置参数情况为成功时，驱动加载后续节点的配置参数；当Akka Actor消息反馈的配置参数情况为错误时，停止驱动加载后续节点的配置参数。4.根据权利要求1所述的可配置的自动化解析方法，其特征在于，所述数据读取节点的配置文件包括WebService接口数据接入参数、HTTP接口数据接入参数、DB接口数据接入参数、Kafka数据接入参数、游标数据接入参数、文件接入参数、存储过程数据接入参数。5.根据权利要求1所述的可配置的自动化解析方法，其特征在于，所述数据解析节点的配置文件包括XML解析工具、JSON解析工具、HL7解析工具以及字段映射解析工具。6.根据权利要求1所述的可配置的自动化解析方法...

【专利技术属性】
技术研发人员：杨晓晨，
申请(专利权)人：杭州火树科技有限公司，
类型：发明
国别省市：