【技术实现步骤摘要】
一种基于NiFi的关系型数据库增量数据的入库方法
本专利技术涉及数据处理
，具体的说是一种基于NiFi的关系型数据库增量数据的入库方法。
技术介绍
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据是如此重要，以至于其数据采集、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。而数据采集和入库是一切大数据应用分析的开始和前提。关系型数据库目前在各行各业中仍然占据很大的市场份额，例如Oracle等成熟的商业数据库，由于其强大的性能和可靠性在政府、金融、电信等行业中占有率极高，MySQL等开源数据库由于其开源、免费、易用等特性，在互联网企业中被广泛应用。进行数据应用分析时需要在这些关系型数据库之间进行数据的流转汇聚。在进行数据的增量同步时，源库表的数据中往往会同时存在新增、更新或者删除的场景，同时针对数据更新的场景，一般目标库表的某些字段是不允许再次被覆盖更新的，例如status等字段。专利技术内...
【技术保护点】
1.一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于,该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。/n
【技术特征摘要】
1.一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于,该入库方法基于增设在关系型数据库的处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；在从源关系型数据库获取增量数据时，通过处理组件去目标关系型数据库中查询该增量数据是否存在，并根据查询结果，在目标关系型数据库中进行更新、插入或删除操作，完成增量数据的入库。
2.根据权利要求1所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，该入库方法的具体实现内容包括：
步骤1、基于NiFi，在关系型数据库中增设一个处理组件，该处理组件用于判断新增、更新或者删除的增量数据，同时，该处理组件还用于支持新增、更新或者删除的增量数据入库，并支持设置忽略更新字段；
步骤2、从源关系型数据库中获取增量数据；
步骤3、将获取的增量数据传送至目标关系型数据库，根据源关系型数据库的处理组件设置的删除标识，目标关系型数据库的处理组件对该数据库的对应数据进行同步删除；
步骤4、随后，目标关系型数据库的处理组件通过比对查询该数据库是否包含从源关系型数据库获取的增量数据，
若存在，则处理组件进行更新操作，此时，还可以根据设置的忽略更新字段进行忽略，
若不存在，则处理组件进行插入操作；
步骤5、完成源关系型数据库中增量数据到目标关系型数据库的入库。
3.根据权利要求2所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，步骤2中，增量数据的来源可以是MySQL、Oracle、SqlServer、postgreSQL任一关系型数据库，也可以是关系型数据库包含的不同格式的文件。
4.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，通过时间戳字段从源关系型数据库MySQL的库表中获取增量数据，或者，通过读取源关系型数据库MySQL的binlog日志获取增量数据。
5.根据权利要求3所述的一种基于NiFi的关系型数据库增量数据的入库方法，其特征在于，在执行步骤3之前，首先查看获取增量数据的格式，
若增量数据为avro格式，则直接执行步骤3，
若增量数据不是avro格式，则基于NiFi默认的数据格式为avro，应当将获取...
【专利技术属性】
技术研发人员：李贵振，胡清，王建华，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。