基于动态规则的数据转换方法和转换系统技术方案

本发明专利技术公开了一种基于动态规则的数据转换方法和转换系统，所述的数据转换方法引入Map数据结构对源数据进行处理，将源数据按集合的方式分批传递给Drools规则引擎，Drools规则引擎对源数据进行处理得到目标数据。本发明专利技术可以提高数据转换效率，实现动态加载规则文件。

Data transformation method and system based on dynamic rules

【技术实现步骤摘要】
基于动态规则的数据转换方法和转换系统
本专利技术涉及一种数据转换，特别涉及一种基于动态规则的数据转换方法和转换系统。
技术介绍
数据集成过程中，涉及对数据进行抽取、清洗、转换、加载四个步骤将数据从源数据库(或者文件)加载到目的数据库。这个过程中，将不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中。需要对数据进行转换，形成目的数据库的统一格式。这个数据集成过程中存在很多转换处理，这些处理耗时很长，对数据的处理效率影响很大。现有的很多处理转换的方法，是通过微服务调用的方式来实现数据转换；这存在网络通信时间的问题，很难适应大数据量需求。也有通过js代码来处理数据转换，这样的设计无法处理数据集合，只能一个一个的处理数据，存在耗时问题。另外每一次转换逻辑需要改变，需要新生成文件，更换文件是需要先停止原来的任务，或者等待原来的任务结束，然后重新加载，无法动态加载文件。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于动态规则的数据转换方法和转换系统，用于解决现有技术存在的无法动态加载文件，数据转换效率低下的问题。<本文档来自技高网...

【技术保护点】
1.一种基于动态规则的数据转换方法，其特征在于：引入Map数据结构对源数据进行处理，将源数据按集合的方式分批传递给Drools规则引擎，Drools规则引擎对源数据进行处理得到目标数据。/n

【技术特征摘要】
1.一种基于动态规则的数据转换方法，其特征在于：引入Map数据结构对源数据进行处理，将源数据按集合的方式分批传递给Drools规则引擎，Drools规则引擎对源数据进行处理得到目标数据。


2.根据权利要求1所述的基于动态规则的数据转换方法，其特征在于：Drools规则引擎包括工作存储器和规则文件，所述工作存储器分批接收源数据；规则文件对工作存储器中的源数据进行匹配和处理，以实现源数据到目的数据的转换。


3.根据权利要求2所述的基于动态规则的数据转换方法，其特征在于：规则文件采用条件语句结构，当条件满足时，执行语句对工作存储器中的源数据进行新增、删除或者修改。


4....

【专利技术属性】
技术研发人员：汤同伟，
申请(专利权)人：紫光云南京数字技术有限公司，
类型：发明
国别省市：江苏;32