【技术实现步骤摘要】
本专利技术涉及kubernetes和nifi，具体地说是一种基于云原生的nifi多实例实现方法、系统、设备及介质。
技术介绍
1、在一体化大数据平台建设过程中，首先要做的就是把各方数据进行采集汇聚，同时数据采集汇聚也是最耗时耗力的工作。能够及时、快速、准确、完整的将外部数据抽取到大数据平台，对数据进行治理，将数据进行标准化是很多开发运维人员面临的难题。
2、在利用nifi作为底层引擎进行数据采集同步过程中会面临很多问题。如：nifi集群模式中若存在其中一个节点异常会导致整个集群不可用的状态；nifi集群节点出现异常时中间处理数据丢失问题；数据采集汇聚过程中，整个流程的速率主要受限于数据采集和数据入库两端的处理速度，中间的数据清洗转换处理速度会远快于两端，而数据采集入库无法利用nifi集群的分发处理特性，横向扩展节点并不能提升数据采集入库的能力，反而降低了集群的稳定性等等。这些问题都是必须要考虑和解决的。
3、原有的nifi集群模式采用zero-master clustering架构，见图一，其所有的集群节点均保持...
【技术保护点】
1.一种基于云原生的Nifi多实例实现方法，其特征在于，该方法采用基于云原生部署Nifi单节点作为一个引擎实例，同时给予云原生实现Nifi引擎实例的快速扩展；具体如下：
2.根据权利要求1所述的基于云原生的Nifi多实例实现方法，其特征在于，Nifi引擎实例的压力情况的计算公式如下：
3.根据权利要求1所述的基于云原生的Nifi多实例实现方法，其特征在于，Nifi引擎可支撑的任务数量与Nifi引擎实例数量呈线性增长关系的公式如下：
4.根据权利要求1所述的基于云原生的Nifi多实例实现方法，其特征在于，通过Kubernetes部署N...
【技术特征摘要】
1.一种基于云原生的nifi多实例实现方法，其特征在于，该方法采用基于云原生部署nifi单节点作为一个引擎实例，同时给予云原生实现nifi引擎实例的快速扩展；具体如下：
2.根据权利要求1所述的基于云原生的nifi多实例实现方法，其特征在于，nifi引擎实例的压力情况的计算公式如下：
3.根据权利要求1所述的基于云原生的nifi多实例实现方法，其特征在于，nifi引擎可支撑的任务数量与nifi引擎实例数量呈线性增长关系的公式如下：
4.根据权利要求1所述的基于云原生的nifi多实例实现方法，其特征在于，通过kubernetes部署nifi节点具体如下：
5.根据权利要求1所述的基于云原生的nifi多实例实现方法，其特征在于，横向扩展nifi引擎实例具体如下：
6.根据权利要求1-5中任一项所述...
【专利技术属性】
技术研发人员：李贵振，周庆勇，郎永贺，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。