【技术实现步骤摘要】
本专利技术涉及电厂数据灾难恢复，具体为基于doris数据同步的灾难恢复系统。
技术介绍
1、doris（原名palo）是一个开源的分布式关系型数据库系统，由阿里巴巴集团在2017年开源。它被设计用于处理大规模的分析性业务，并提供了实时查询和高并发性能。doris的目标是通过将在线事务处理oltp和在线分析处理olap引入同一个系统中，为用户提供更好的分析能力。doris采用分布式架构，可以在多个节点上水平扩展，以满足大规模数据存储和查询的需求。传统方式是采用多级传输等方式，利用组件原生的方式做数据同步。
2、电厂等工业领域，数据采集、传输和灾难恢复是关键的运营和管理环节。传统系统采用多级传输方式在数据同步和恢复方面存在一些问题，如数据延迟、效率低下、缺乏智能评估等。为了解决这些问题，提高数据同步的容错性和灾难恢复的效率，本专利技术提供了一种基于doris数据同步的灾难恢复系统。
技术实现思路
1、（一）解决的技术问题
2、针对现有技术的不足，本专利技术提供了基于doris数据同步的灾难恢复系统，以解决
技术介绍
中提到的问题。
3、（二）技术方案
4、为实现以上目的，本专利技术通过以下技术方案予以实现：基于doris数据同步的灾难恢复系统，包括电厂数据采集模块、数据传输模块、kafka缓冲模块、监控组件模块、数据评估模块、筛选模块、数据恢复模块和优化模块；
5、所述电厂数据采集模块用于采集电厂设备运行数据、生产数据、人员管理数
6、所述数据传输模块用于将边侧数据库发送到emqx数据中间件，emqx将数据发送到所述kafka缓冲模块中做数据缓冲，然后通过doris数据库自带的routineload功能将kafka中的数据同步到doris数据库，形成kafka数据流；
7、所述监控组件模块用于对kafka数据流进行清洗和校验原始数据后，对kafka数据流进行建模分析和计算获得：自然灾难预测指数znyc、供电故障系数gzx和备份重要性系数bfx；并通过数据评估模块将自然灾难预测指数znyc和供电故障系数gzx相关联，获得综合评估系数pg，并将综合评估系数pg与第一灾难阈值进行对比，获得第一评估结果；
8、并采集所述kafka缓冲模块的网络数据，建立传输数据库，并分析计算获得：备份态势评估系数bfas；并将n个备份任务的备份重要系数bfx由高至低进行排列，并分别和第二阈值和第三阈值进行对比后，获取第二分级备份结果；
9、所述数据恢复模块用于依据第一评估结果和第二分级备份结果，进行相对应的数据恢复模式，包括增量同步恢复、全量同步恢复和混合同步恢复三种模式；
10、所述优化模块用于将备份态势评估系数bfas与第四阈值进行对比，生成第三评估结果，并对第三评估结果进行相对应的备份优化。
11、优选的，所述电厂设备运行数据包括设备运行状态、设备故障状态和设备维护记录数据；
12、所述生产数据包括发电量数据、燃烧消耗数据和电网连接数据；
13、所述人员管理数据包括人员信息数据和考勤数据；
14、所述安全监控数据包括废气排放数据、废水监测数据、设备运行的温度、湿度和振动数据；
15、所述环境监测数据包括电厂区域内部的烟雾监测数据、地震监测数据、地表水位监测数据和降雨量监测数据；
16、所述能源管理数据包括生产用电和非生产用电数据；
17、所述gis数据包括电厂的地理位置、地形和管网数据。
18、优选的，所述kafka缓冲模块进行数据缓冲的步骤包括：
19、s11、kafka首先通过offset来管理综合数据库的位置信息，通过保存在consumer上的currentoffset，保证每次consumer的消费的消息都有唯一序号并标记此位置信息，如果出现新的消息也会对新的消息进行递增式位置标注，以便下次读取的时候能够不重复消息；
20、s12、routineload所采用的是通过读取kafka的log日志进行数据实时同步，而当kafka中的数据格式与doris表格中所定义格式不相符时，routineload就会自动停止，停止后不会自动重启，而当routineload停止后数据就不会再进行同步，而监控组件首先会监控routineload的状态当状态停止时会记录当前消费点的offset重启任务时更新同步任务并提供起始消费点。
21、优选的，所述监控组件模块用于对kafka数据流进行建模分析和计算获得：自然灾难预测指数znyc、供电故障系数gzx和备份重要性系数bfx；所述自然灾难预测指数znyc的获取方式如下：
22、提取kafka数据流中的废气排放值fqpfz、电厂内部区域的烟雾浓度值ywndz、废水排放值fspfz、降水量jsl、地面振动值dmzdz和温度值wdz，所述废气排放值fqpfz通过气体浓度传感器测量获得；所述电厂内部区域的烟雾浓度值ywndz通过烟雾传感器测量获得；所述废水排放值fspfz通过水质传感器测量获得；所述降水量jsl通过降雨传感器测量获得；所述地面振动值dmzdz通过振动传感器测量获得；所述温度值wdz通过温度传感器测量获得；
23、无量纲处理后，通过以下公式生成自然灾难预测指数znyc：
24、；
25、式中，、、和均表示为预设比例系数，其中，0.20≤≤0.50，0.15≤≤0.30，0.10≤≤0.35，0.20≤≤0.55，且0.55≤+++≤1.0，c表示为第一修正常数。
26、优选的，所述供电故障系数gzx的获取方式如下：
27、提取kafka数据流中的电网连接断开次数dkcs、电网过渡时间gdsj、设备停机或离线时间lxsj、电能数据产出量ccl和电能负荷值dnfhz；所述电网连接断开次数dkcs通过电网状态监测器采集获得；所述电网过渡时间gdsj通过电网切换时间检测器测量获得；所述设备停机或离线时间lxsj通过设备状态监测器测量获得；所述电能数据产出量ccl通过电能计量测量获得；所述电能负荷值dnfhz通过负荷传感器测量获得；
28、无量纲处理后，通过以下公式生成供电故障系数gzx：
29、；
30、式中，c1、c2、c3、c4、c5和c6分别表示电能数据产出量ccl、电能负荷值dnfhz、电网连接断开次数dkcs、电网过渡时间gdsj、设备停机或离线时间lxsj的比例系数，其具体值由用户调整设置，d表示第二修正常数。
31、优选的，所述备份重要性系数bfx的获取方式为：提取kafka数据流的历史同类数据备份频率lspl和业务数据重要性评分ywjb，无量纲处理后，通过以下公式生成备份重要性系数bfx；
32、
33、式中，a1和a2分别表示历史同类数据本文档来自技高网...
【技术保护点】
1.基于doris数据同步的灾难恢复系统，其特征在于：包括电厂数据采集模块、数据传输模块、kafka缓冲模块、监控组件模块、数据评估模块、筛选模块、数据恢复模块和优化模块；
2.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述电厂设备运行数据包括设备运行状态、设备故障状态和设备维护记录数据；
3.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述kafka缓冲模块进行数据缓冲的步骤包括：
4.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述监控组件模块用于对kafka数据流进行建模分析和计算获得：自然灾难预测指数Znyc、供电故障系数Gzx和备份重要性系数Bfx；所述自然灾难预测指数Znyc的获取方式如下：
5.根据权利要求4所述的基于doris数据同步的灾难恢复系统，其特征在于：所述供电故障系数Gzx的获取方式如下：
6.根据权利要求4所述的基于doris数据同步的灾难恢复系统，其特征在于：所述备份重要性系数Bfx的获取方式为：提取kafka数
7.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述数据评估模块包括第一评估单元、第二评估单元和第三评估单元；
8.根据权利要求7所述的基于doris数据同步的灾难恢复系统，其特征在于：所述第二评估单元用于将N个备份任务，匹配相对应的备份重要系数Bfx；并将备份重要系数Bfx按照从高到低进行排序；
9.根据权利要求7所述的基于doris数据同步的灾难恢复系统，其特征在于：所述第三评估单元用于并采集所述kafka缓冲模块的网络数据，建立传输数据库，并分析计算获得：备份态势评估系数BFAs；所述备份态势评估系数BFAs的获取方式为：提取传输数据库中的备份重复率平均值Q1、备份传输抖动值Q2、备份延迟平均值Q3和备份还原测试成功率Q4，无量纲处理后，通过以下公式生成备份态势评估系数BFAs；
10.根据权利要求9所述的基于doris数据同步的灾难恢复系统，其特征在于：所述数据恢复模块用于当第一评估结果为高风险时，选择全量同步恢复模式；
...【技术特征摘要】
1.基于doris数据同步的灾难恢复系统，其特征在于：包括电厂数据采集模块、数据传输模块、kafka缓冲模块、监控组件模块、数据评估模块、筛选模块、数据恢复模块和优化模块；
2.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述电厂设备运行数据包括设备运行状态、设备故障状态和设备维护记录数据；
3.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述kafka缓冲模块进行数据缓冲的步骤包括：
4.根据权利要求1所述的基于doris数据同步的灾难恢复系统，其特征在于：所述监控组件模块用于对kafka数据流进行建模分析和计算获得：自然灾难预测指数znyc、供电故障系数gzx和备份重要性系数bfx；所述自然灾难预测指数znyc的获取方式如下：
5.根据权利要求4所述的基于doris数据同步的灾难恢复系统，其特征在于：所述供电故障系数gzx的获取方式如下：
6.根据权利要求4所述的基于doris数据同步的灾难恢复系统，其特征在于：所述备份重要性系数bfx的获取方式为：提取kafka数据流的历史同类数据备...
【专利技术属性】
技术研发人员：赵震，何传鑫，孙增福，
申请(专利权)人：上海融和元储能源有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。