【技术实现步骤摘要】
本专利技术涉及大数据同步处理，具体为一种基于大数据的数据同步处理系统。
技术介绍
1、随着5g、6g技术的普及和迅猛发展，收集、存储、处理和分析的大数据日益剧增，致使存储处理数据的数据库服务器也日益繁多，但由于大数据包含不确定性数据，则会出现的问题是：多个数据库处理大量数据后，系统很难快速更新事件并同步大量数据，效率低下的同时很有可能其中一个数据库出现故障，则影响其他数据库的同步更新事件和处理数据工作，最终导致系统整体运行不稳定，所以有必要提出一种新的大数据同步处理的技术方案，做到一个数据库只对一个区块数据进行处理，在多个数据库同步处理数据时，即使其中一个出现故障，也不影响系统整体数据同步更新的正常进行，来提高大数据同步处理系统的稳定性以及效率和容错率。
技术实现思路
1、本专利技术的目的在于提供一种基于大数据的数据同步处理系统，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的数据同步处理方法，该方法包括以下步骤：
3、步骤一：在系统内建立三大数据库，并向数据库对接相应的模块，写入事件同步服务；
4、步骤二：前两大数据库采集处理数据后同步更新到第三大数据库进行备份，若前两大数据库处理数据时产生故障，则第三大数据库根据备份数据比对处理前两大数据库产生的故障数据；
5、步骤三：第三大数据库处理系统故障数据成功与否会以更新事件的形式向前两大数据库补全故障数据或通过人工数据处理端的协助补
6、根据上述技术方案，所述在系统内建立三大数据库的步骤，包括：
7、建立采集模块数据服务数据库h1并接入采集模块、控制模块；
8、建立用户数据服务数据库h2并接入园区住宅用户app端、web端、上位机端；
9、建立故障数据处理数据库h3并通过事件同步服务同步备份h1、h2中存储的数据，同时h3跟人工数据处理端对接。
10、根据上述技术方案，所述写入事件同步服务的步骤，包括：
11、向系统写入以t为更新周期的事件同步服务；
12、h1、h2、h3以t为周期同步交互更新数据。
13、根据上述技术方案，所述前两大数据库采集处理数据并同步更新到第三大数据库进行备份的步骤，包括：
14、h1存储处理采集模块形成的数据；
15、h2生成携带有h1数据的更新事件t；
16、调用事件同步接口，将数据更新事件t发送至用户数据服务数据库h2；
17、h2根据数据更新事件t中存储的h1的新数据来替换上一次h2中存储的h1的原有数据；
18、h2将获得到的h1数据和与用户端对接的数据一并发送到故障数据处理数据库h3中进行同步更新，h3备份全部数据。
19、根据上述技术方案，所述系统故障数据处理的步骤，包括：
20、当h1处理数据时发生故障，h1不再处理故障数据，会立刻跳过故障数据继续处理下一条数据；
21、h1通过数据更新事件t将处理好的数据与故障数据一并发送到h2；
22、h2收到故障数据将故障数据存储到故障数据数据表q2中；
23、当h2处理用户端数据时发生故障，h2不再处理故障数据，会立刻跳过故障数据继续处理下一条数据，同时将故障数据存储到故障数据数据表q2中；
24、h2随着每一次更新事件周期t，定期将故障数据表q2中存储的故障数据发送至故障数据处理数据库h3中；
25、h3获得到故障数据后，会通过与上一次更新事件tn-1h2发来的系统整体备份数据进行比对处理。
26、根据上述技术方案，所述系统补全故障数据的步骤，包括：
27、当h3通过与备份数据对比处理好故障数据时：
28、h3会在下一个更新事件tn+1发生时，同步发送至h2；
29、h2通过更新事件tn+1，将属于h2部分的数据存储到当时故障数据空缺的数据表q2中；
30、将属于采h1部分的数据发送至h1；
31、h1收到处理好的故障数据后，会存储到当时故障数据空缺的数据表q1中；
32、当故障数据处理数据库h3在下一个更新事件tn+1发生时还未处理好故障数据时：
33、h3会生成一个失败事件f并将f发送至人工数据处理端；
34、人工数据处理端会根据h3中最新更新事件tn备份的系统整体数据处理故障数据；
35、当人工数据处理端成功处理故障数据时：
36、人工数据处理端会向h3发送一个成功事件x；
37、根据成功事件x中存储的处理好的故障数据，h2将属于h2部分的数据存储到当时故障数据空缺的数据表q2中；
38、h2再将x中剩余的数据发送到h1中；
39、h1将x中剩余的数据存储到当时故障数据空缺的数据表q1中；
40、当人工数据处理端仍未成功处理故障数据时：
41、人工数据处理端会向h3发送一个不缺事件y；
42、h2和h1收到补全事件y后，自动找到因故障数据而空缺的数据表q1、q2；h1、h2数据库会通过q1、q2表中的整体数据求平均值而补全空缺的数据。
43、根据上述技术方案，所述采集模块包括：
44、温、湿度传感器模块，用于采集园区内植物生长环境的温湿度，也可用于采集园区住宅室内的温湿度，也可用于采集、监测园区内电缆线布置环境的温湿度；
45、库仑计用电量采集模块，用于采集监测园区内住宅用户每户的电量使用情况；
46、co浓度传感器采集模块，用于采集监测园区内住宅用户室内天然气浓度数据；
47、红外感应模块、摄像头视频采集模块，用于采集监测园区禁区非法闯入、识别用户身份信息等数据。
48、根据上述技术方案，所述控制模块包括：
49、阀门锁模块，用于系统或用户控制燃气管道阀门打开和关闭或控制其他设备；
50、舵机模块，用于系统或用户控制管理园区内车锁的开关或其他设备的开关；
51、驱动器模块，用于系统或用户控制管理充电桩、电闸等的开关。
52、根据上述技术方案，所述园区用户包括：
53、app端用户，用于园区内住宅用户通过手机app登入系统，监管自家的各项智能设备或智能终端；
54、web端用户，用于园区内物业用户通过访问web端系统，监管园区环境的各项参数以及园区内的各项设备；
55、上位机平台用户，用于掌管多个园区的高级用户通过登入上位机平台可以监管众多园区的整体运作情况。
56、与现有技术相比，本专利技术所达到的有益效果是：本专利技术，通过设置在系统内建立三大数据库，并向数据库对接相应的模块，写入事件同步服务，前两大数据库采集处理数据后同步更新到第三大数据库进行备份，若前两大数据库处理数据本文档来自技高网...
【技术保护点】
1.一种基于大数据的数据同步处理方法，其特征在于：所述该方法包括以下步骤：
2.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述在系统内建立三大数据库并向数据库对接相应模块的步骤，包括：
3.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述写入事件同步服务的步骤，包括：
4.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述前两大数据库采集处理数据并同步更新到第三大数据库进行备份的步骤，包括：
5.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述系统故障数据处理的步骤，包括：
6.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述系统补全故障数据的步骤，包括：
7.一种基于大数据的数据同步处理系统，其特征在于：所述该系统包括：
8.根据权利要求7所述的一种基于大数据的数据同步处理系统，其特征在于：所述采集模块包括：
9.根据权利要求7所述的一种基于大数据的数据同步处理系统，其特征在
10.根据权利要求7所述的一种基于大数据的数据同步处理系统，其特征在于：所述园区用户包括：
...【技术特征摘要】
1.一种基于大数据的数据同步处理方法，其特征在于：所述该方法包括以下步骤：
2.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述在系统内建立三大数据库并向数据库对接相应模块的步骤，包括：
3.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述写入事件同步服务的步骤，包括：
4.根据权利要求1所述的一种基于大数据的数据同步处理方法，其特征在于：所述前两大数据库采集处理数据并同步更新到第三大数据库进行备份的步骤，包括：
5.根据权利要求1所述的一种基于大数据的数据同步处...
【专利技术属性】
技术研发人员：李锋，
申请(专利权)人：长沙市峰回路转网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。