一种全生命周期运维系统的三网业务数据同步方法与系统技术方案

本申请提出了一种全生命周期运维系统的三网业务数据同步方法，应用于数据同步系统，所述数据同步系统包括互联网系统、视频网系统以及公安网系统，该方法具体还包括：获取所述数据同步系统内数据变化的内容并写入文件中；所述ftp服务端将所述文件写入所述ftp服务端的datasend文件夹；网闸从所述ftp服务端获取所述文件传输至另一个所述数据同步系统的ftp服务端的datasend文件夹；所述数据同步系统解析所述文件的内容，并存储至对应数据库。通过数据同步系统对多个网络的业务数据进行自动同步，实现多个网络的系统操作，数据变化能够实时同步到另外一个网络的系统，无感知同步能够减少人工成本，数据的单向传输增加了数据传输之间的安全性。输之间的安全性。输之间的安全性。

【技术实现步骤摘要】
一种全生命周期运维系统的三网业务数据同步方法与系统


[0001]本申请属于数据实时同步
，具体涉及一种全生命周期运维系统的三网业务数据同步方法与系统。

技术介绍

[0002]随着Internet技术的迅速发展和信息共享要求的不断提高,数据库系统由小型化向大型化发展,由集中式向分布式发展。能处理分散地域的分布式数据库系统成为一个重要研究方向，对于分布式数据库系统来说，为了提高运行效率，数据就要分布在各个不同的结点，同一数据被存储在多个结点上，即存在多个副本(数据冗余)，这样就存在维护数据一致性即数据同步的问题。
[0003]在多个网络多个平台的场景下，对数据的读写同步就显得相当重要。然而，现有的若系统处于不同网络之间数据同步需要人工拷贝数据库文件到另外一个网络进行比对再进行数据处理，采用这样的人工同步方式，存在数据同步的延时大、失误率大等问题。
[0004]有鉴于此，设计制造出一种全生命周期运维系统的三网业务数据同步方法与系统能够克服上述问题，提高数据的同步效率以及安全性就显得尤为重要。
[0005]有鉴于此，提出一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全生命周期运维系统的三网业务数据同步方法，其特征在于，应用于数据同步系统，所述数据同步系统包括互联网系统、视频网系统以及公安网系统，所述方法包括：获取数据信息从互联网系统传输至视频网系统，从所述视频网系统传输至所述公安网系统；所述数据同步系统内分别设置ftp服务端，所述ftp服务端之间通过网闸进行数据传输；该方法具体还包括：获取所述数据同步系统内数据变化的内容并写入文件中；所述ftp服务端将所述文件写入所述ftp服务端的datasend文件夹；网闸从所述ftp服务端获取所述文件传输至另一个所述数据同步系统的ftp服务端的datasend文件夹；所述数据同步系统解析所述文件的内容，并存储至对应数据库。2.根据权利要求1所述的全生命周期运维系统的三网业务数据同步方法，其特征在于，所述数据同步系统内的数据包括：结构化的热数据，存在于mysql数据库，通过canal进行监听数据的变化并写入文件；结构化的冷数据，存在于mongodb数据库，通过mongoshack进行监听数据的变化并写入文件；非结构化数据，存在于go
‑
fastdfs，通过FileMonitorRunner监听文件夹的变化并进行文件传输。3.根据权利要求2所述的全生命周期运维系统的三网业务数据同步方法，其特征在于，在所述互联网系统的操作中，通过canal以及mongoshack监听相应数据库的log变化，监听到的变化数据写入文件，发送至所述ftp服务端的datasend文件夹里，网闸获取所述文件并传输至所述视频网系统的dataread文件夹。4.根据权利要求3所述的全生命周期运维系统的三网业务数据同步方法，其特征在于，所述数据同步系统同时监听所述dataread文件夹的变化，读取从所述互联网系统传输到所述视频网系统的所述文件，对所述文件进行解析并存储至mysql、mongodb以及go
‑
fastdfs，并实时记录解析至某一行。5.根据权利...

【专利技术属性】
技术研发人员：卢林威，卢天发，张翔，
申请(专利权)人：罗普特厦门系统集成有限公司，
类型：发明
国别省市：