一种多用户节点间非结构化数据传输方法技术

本发明专利技术涉及一种多用户节点间非结构化数据传输方法，该方法根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。

【技术实现步骤摘要】

本专利技术属于数据传输领域，尤其涉及多用户节点间非结构化数据传输方法。
技术介绍
一般情况下，非结构化数据在节点间的转发不考虑数据的更新，非结构化数据从源节点发送到中间节点后，源节点处的非结构化数据又发生了更新，而中间节点缓存的数据没有进行及时更新，转发给第三节点的数据通常不是最新的，不能保证转发数据的实时性和一致性。另外，数据传输规则通常是系统设定好的，不能根据用户的需求进行个性化设置，而不同的用户对于数据传输数度和数据实时性有不同的需求。基于上述问题，现在亟需一种新的多用户节点间非结构化数据传输方法，根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种多用户节点间非结构化数据传输方法。本专利技术采用的技术方案如下：一种多用户节点间非结构化数据传输方法，其特征在于，每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块，其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；(6-1)如果两个时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过传输模块将二次复制的非结构化数据组传输给第三用户节点；(6-2)如果两个时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；其中所述用户自定义预设规则包括下述规则中的一种：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新；(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新；(3)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新。(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。本专利技术的有益效果包括：根据时间戳对中间节点的非结构化数据进行一致性判断，并根据用户自定义预设规则对不一致的非结构化数据进行处理后再传输，兼顾了数据的实时性和传输速度，更加符合用户特定需求。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1是本专利技术多用户节点间非结构化数据传输方法的流程图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，一种多用户节点间非结构化数据传输方法，在一个实施方式中，所述多用户节点处于分布式系统中，在其他实施方式中所述多个用户节点还可以处于云系统中。每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块。其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；(6-1)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组没有进行数据更新，时间戳也没有进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过传输模块将二次复制的非结构化数据组传输给第三用户节点；(6-2)如果指定非结构化数据组复制到第二用户节点后，在第一用户节点中对上述指定非结构化数据组通过更新模块又进行了数据更新，时间戳也进行更新，则指定非结构化数据组在第一用户节点中对应的时间戳和复制的非结构化数据组在第二节点中对应的时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数本文档来自技高网...

【技术保护点】
一种多用户节点间非结构化数据传输方法，其特征在于，每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块，其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定非结构化数据组所携带的时间戳进行比较，判断两个时间戳是否一致；(6‑1)如果两个时间戳一致，则第二用户节点将上述复制的指定非结构化数据组直接进行二次复制并通过传输模块将二次复制的非结构化数据组传输给第三用户节点；(6‑2)如果两个时间戳不一致，则第二用户节点根据用户自定义预设规则对上述复制的指定非结构化数据组处理后通过传输模块将上述处理后的复制的指定非结构化数据组传输给第三用户节点；其中所述用户自定义预设规则包括下述规则中的一种：(a)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行全量更新；(b)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组根据第一用户节点本地存储的上述指定非结构化数据组进行增量更新；(3)第二用户节点缓存的上述复制的指定非结构化数据组与第一用户节点本地存储的上述指定非结构化数据组的数据差异如果没有超过预设阈值，则第二用户节点缓存的上述复制的指定非结构化数据组不更新；(7)第三用户节点接收并在缓存中缓存第二节点设备发送的非结构化数据组。...

【技术特征摘要】
1.一种多用户节点间非结构化数据传输方法，其特征在于，每个用户节点上设置有前端模块、协议模块、消息模块、数据传输模块、存储模块、缓存模块，其中前端模块，用于用户节点上非结构化数据的采集、交互和呈现；协议模块，用于封装所述用户节点与消息模块、传输模块的通信协议；消息模块，用于多线程并发处理消息的接收、处理；数据传输模块，用于非结构化数据文件内容的传输；存储模块，用于将前端模块采集的非结构化数据内容存储在本地数据库中，所述非结构化数据内容分组为数据组进行存储，每个非结构化数据组对应一个时间戳；更新模块，当通过前端模块采集的非结构化数据发生数据更新时，对存储模块之前存储的相应非结构化数据进行上述数据更新以保持数据一致，并更新时间戳；缓存模块，用于将通过传输模块接收的非结构化数据存储在缓存中；判断模块，用于进行时间戳是否一致的判断；该方法包括如下步骤：(1)第一用户节点通过消息模块接收来自第二用户节点发送的指定非结构化数据组的数据请求消息；(2)第一用户节点从本地数据库中获取数据请求消息中请求的指定非结构化数据组并进行一次复制，所述非结构化数据组携带有相应的时间戳；(3)第一用户节点通过传输模块将上述复制的指定非结构化数据组传输给第二用户节点；(4)第二用户节点接收并在缓存中缓存第一节点设备发送的上述复制的指定非结构化数据组；(5)第二用户节点通过消息模块接收来自第三用户节点发送的上述复制的指定非结构化数据组的数据请求消息；(6)第二用户节点通过判断模块，对第二用户节点缓存的上述复制的指定非结构化数据组所携带的时间戳和第一用户节点本地存储的上述指定...

【专利技术属性】
技术研发人员：林殷，安西民，徐凤桐，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京;11