一种分层系统之间大数据量实时数据的同步方法技术方案

本发明专利技术公开了一种分层系统之间大数据量实时数据的同步方法，涉及工业自动化领域大型分层监控系统平台，同步数据范围灵活可配置。使用“同步点表”为待同步的信息点动态按属性分类排序，获得与项目紧密关联的“临时”同步属性值以及同步信息体地址，以保证同步过程里最大限度地节省报文空间。接着启动通讯模块开始同步，同步两端系统首先请求握手确认请求同步点表上/下行全数据初始化自由主动上送，每个环节报文均有严格的字节定义，同步数据类型支持全部工业监控常规信息类型，满足大型分层平台的同步需求，保证了高频变化的大数据量工业信息点同步的可靠性和数据有效性。数据量工业信息点同步的可靠性和数据有效性。数据量工业信息点同步的可靠性和数据有效性。

【技术实现步骤摘要】
一种分层系统之间大数据量实时数据的同步方法


[0001]本专利技术涉及工业自动化领域大型监控系统软件，分层分布的网络架构下，大容量实时数据可靠同步的技术手段，适用于综合监控、电力监控、环境与设备监控、火灾监控、煤矿、冶金、石油等各种自动化工业监控行业。

技术介绍

[0002]在传统的工业监控领域，不同厂家的设备在数据机构、技术架构不同的情况下，只要遵循同一标准化规约，即可互通数据。但这种方式仅能针对特殊的应用领域，此时数据类型有限，利用严格定义的数据格式与通讯过程，能够可靠的解决数据通信需求。然而，随着工业监控平台集成化程序越来越高，数据量和逻辑复杂度也随之水涨船高，在业务逻辑上处于不同层的数据服务单元，在网络结构上被要求分层分布管理。层级之间的数据同步需求不仅存在于不同结构不同功能的数据服务单元，也存在于相同数据结构相同功能的数据服务单元。对于后者，最典型的就是地铁综合监控系统控制中心数据服务层（中心级）与车站数据服务层（车站级）之间的数据同步，车站级主要负责平台集成各专业数据的数据采集和命令执行，中心级主要负责地铁全线的数据展示，命令下发，以及高端数据应用，不同于传统后台间的数据同步，该情况下接入数据来自于多专业不同的采集量，不仅类型众多，量级也非常大，对通讯质量要求极高，另一方面，中心级与车站级同步双方具有相同的系统结构和数据组织方式，因此，可以依赖该种系统特性，设计定义一种新的高效可靠且支持全数据类型的数据同步策略。

技术实现思路

[0003]根据现有工业监控系统平台内部层级间大数据量同步的设计局限性，本专利技术的目的是：使用可编辑的“同步数据配置模板”灵活确定待同步数据范围；使用动态的“同步点表”保证待同步的各领域数据按数据类型顺次排列，高效使用通讯报文数据包空间；支持全数据类型的同步保证满足高度集成化的全领域综合监控平台的需求。
[0004]为了实现上述目的，本专利技术所采用的技术方案为：一种分层系统之间大数据量实时数据的同步方法，包括：创建编辑“同步数据配置模板”步骤：当工业监控集成平台层级间有同步需求时，首先创建编辑“同步数据配置模板”，根据该次同步需求待同步的数据点范围，是全范围还是仅需同步某个或某几个母节点下层的数据，选择该范围内待同步的对象类型以及对象属性。，根据模板格式填写编辑“同步数据配置模板”。
[0005]生成并加载“同步点表”步骤：模板文件完成后，使用同步转换工具把所有满足“同步数据配置模板”的监控信息点从项目数据库中检索出来，生成同步通讯模块可直接使用的“同步点表”。在“同步点表”中，待同步的信息点实例按属性类型顺序排列，并依次生成连续的信息体地址，这样在全范围数据初始化同步过程中，每帧同步数据报文只需要包含数据类型、信息体的首地址和信息体数目就可以正确解析出报文的数据，并定位到数据库中
相应的信息体对象。首地址可以定位到该帧报文的第一个信息体数据点，数据类型可以决定每个信息体所占的字节数，这种设计可在报文里省略除首个信息体外其余信息体的索引信息，保证了最精简高效的同步报文。同步系统通过加载“同步点表”文件来确定系统平台待同步的具体信息点，“同步点表”文件仅须同步两端的一端加载，另一端通过召唤“同步点表”文件来获得；数据同步通讯步骤：首先，同步两端进行“同步握手”，确认同步初始信息；之后，两端同步“同步点表”，即确认待同步的具体数据内容；然后，两端进行全范围数据初始化同步，此过程又分为先后顺序的两个子过程，上行全数据同步和下行全数据同步；最后，同步两端变化数据主动上送，具体为：步骤一，同步双方握手，完成上层系统和下层系统的同步验证，并检验两端的同步点表版本是否一致。
[0006]步骤二（可选），根据步骤1的结果决定，如果上层系统验证本地保存的同步点表版本与对端一致，则跳过该步骤。若版本不一致，则由上层系统发起步骤二，请求同步点表。
[0007]步骤三，同步两端模块加载相同版本的同步点表后即开始真正的数据信息同步，该步骤根据同步方向又可以分为上行同步过程和下行同步过程。上行同步过程即数据由下层系统同步到上层系统，数据内容是同步点表中<UpLink></UpLink>标签里所包含的数据点。下行同步过程则完全相反，数据由上层系统同步到下层系统，数据内容是同步点表中<DownLink></DownLink>标签里所包含的数据点。
[0008]步骤四，全范围数据初始化同步结束后，同步两端的信息体数值完全相同，此时系统两端进入自由的变化数据主动上送，低层系统负责监视上行数据，高层系统负责监视下行数据，不论哪个信息点发生数值变化，都会被捕捉到并第一时间封装主动上送报文发送给对端，对端负责接收解析并更新本地值，保持数据信息的实时同步。
[0009]这里需要单独强调的是，由于数据优先级的不一致，步骤三和步骤四并不是严格的先后关系，本设计针对的大数据量的同步，因此步骤三很可能会持续一段时间才能完成，而此时如果有高优先级的数据（如某些报警信号）发生了变化，进行中的步骤三会被打断，优先主动上送优先级更好的数据，然后再继续未完成的步骤三。这种情况下，如何正确方便地区分出哪些是初始化同步数据，哪些是主动上送的高优先级信息，就需要用到下一段中描述的标识码。
[0010]为了甄别不同步骤的数据帧，快捷了解该帧报文的类型（请求/响应请求/数据内容/响应结束），本设计在每帧数据里都携带识别码。识别码位于每帧报文的第四个字节，用于发起请求的数据帧携带的识别码是16进制“0X”，“X”为一个0
‑
F之间的值，如请求同步点表的标识码为0x06。接收方接收后用于响应的识别码为0x80+ 0X =0x8X，若请求内容多，超过一帧，最后一帧报文的标识码以0x10+ 0X =0x1X来表示响应请求结束；以同步点表为例，0x16即表示响应同步点表结束。每帧报文的首字节固定为0x89H，结尾字节固定为0x19H，所有的多字节数据内容均使用小端字节序。
[0011]目前本专利技术主要支持五种标识码，分别是：0x01/0x02：分别标识主/备同步通道同步申请；0x03/0x04：为参与同步的设备节点注册；0x05：全数据初始化同步；
0x07：变化数据主动上送；0x06：请求传输同步点表；进一步的，“同步数据配置模板”使用xml格式，根据数据同步方向可分为上行<UpLink></UpLink>和下行<DownLink></DownLink>两个方向，上行方向是数据从低层系统向高层系统同步，即数据采集，下行方向是高层系统向低层系统同步，即下控制命令；确定数据方向后，使用标签<ATypeRef>用于定义待同步的对象属性，每对<ATypeRef></ATypeRef>之间是该属性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分层系统之间大数据量实时数据的同步方法，其特征在于，包括：创建编辑“同步数据配置模板”步骤：使用“同步数据配置模板”来定义待同步的系统对象类型以及对象属性，再使用模板文件解析工具来解析该模板；生成并加载“同步点表”步骤：根据数据模板内定义的对象类型和属性生成与待同步系统绑定的“同步点表”文件；数据同步通讯步骤：首先，同步两端进行“同步握手”，确认同步初始信息；之后，两端同步“同步点表”，即确认待同步的具体数据内容；然后，两端进行全范围数据初始化同步，此过程又分为先后顺序的两个子过程，上行全数据同步和下行全数据同步；最后，同步两端变化数据主动上送。2.根据权利要求1所述的一种分层系统之间大数据量实时数据的同步方法，其特征在于，所述创建编辑“同步数据配置模板”步骤具体为：当工业监控集成平台层级间有同步需求时，首先创建编辑“同步数据配置模板”，根据该次同步需求待同步的数据点范围，是全范围还是仅需同步某个或某几个母节点下层的数据，选择该范围内待同步的对象类型以及对象属性，根据模板格式填写编辑“同步数据配置模板”。3.根据权利要求1所述的一种分层系统之间大数据量实时数据的同步方法，其特征在于，所述生成并加载“同步点表”步骤具体为：模板文件完成后，使用同步转换工具把所有满足“同步数据配置模板”的监控信息点从项目数据库中检索出来，生成由项目实际信息数据点组成的“同步点表”文件，在“同步点表”文件中，待同步的信息点实例按属性类型顺序排列，并依次生成连续的信息体地址，这样在全范围数据初始化同步过程中，每帧同步数据报文只需要包含数据类型、信息体的首地址和信息体数目就可以正确解析出报文的数据，并定位到数据库中相应的信息体对象。4.根据权利要求1所述的一种分层系统之间大数据量实时数据的同步方法，其特征在于，所述数据同步通讯步骤：首先，同步两端建立TCP/IP连接，低层系统作为通讯主端发起连接请求，高层系统响应连接请求，建立TCP/IP连接，然后开始数据同步流程，具体包括：步骤一：同步双方握手，完成低层系统和高层系统的同步验证，并检验两端的“同步点表”版本是否一致；若一致则进入步骤三，若不一致则进入步骤二；步骤二：同步“同步点表”，高层系统发起召唤“同步点表”请求，低层系统收到该请求后回馈请求确认/响应报文，并紧跟着发送“同步点表”内容，“同步点表”内容分多帧数据报文发送，按次序发送，直到最后一帧发送完成，所有内容发送完后紧跟着发送确认“同步点表”传输结束报文；步骤三：全范围数据初始化同步，根据同步方向分成两个过程，先进行上行方向数据同步，再进行下行方向数据同步；上行方向数据同步是数据由下层系统同步到上层系统，上行方向数据为低层系统负责管理的数据，其范围为“同步点表”里<UpLink> </UpLink>标签囊括的数据，下行方向数据同步是数据由上层系统同步到下层系统，下行方向数据为高层系统负责管理的数据，其范围为“同步点表”里<DownLink> </DownLink>标签囊括的数据；步骤四：全范围数据初始化同步结束后，同步两端的信息体数值完全相同，此时系统两端进入自由的变化数据主动上送，低层系统负责监视上行数据，高层系统负责监视下行数据，不论哪个信息点发生数值变化，都会被捕捉到并第一时间封装主动上送报文发送给对
端，对端负责接收解析并更新本地值，保持数据信息的实时同步。5.根据权利要求4所述的一种分层系统之间大数据量实时数据的同步方法，其特征在于，所述步骤一具体为：TCP/IP连接建立后，低层系统发起数据同步申请，同步申请报文中携带同步点表版本号，高层系统收到后验证自身点表版本号，并返回确认同步请求；高层系统验证“同步点表”版本号，若收到的同步申请报文里包含的版本号与本身保存的版本号不一致，则向对端申请传输“同步点表”；版本号如一致，则跳过请求“同步点表”，直接开始“全范围数据初始化同步”。6. 根据权利要求4所述的一种分层系统之间大数据量实时数...

【专利技术属性】
技术研发人员：经玉健，周金国，
申请(专利权)人：南京国电南自轨道交通工程有限公司，
类型：发明
国别省市：