高时效数据智能同步方法、系统、设备及存储介质技术方案

本申请提出一种高时效数据智能同步方法、系统、设备及存储介质，高时效数据智能同步方法包括：服务器端实时获取增量数据，依据所述增量数据生成数据更新通知；所述服务器端将所述增量数据存储为备选增量数据，并推送出所述数据更新通知；所述服务器端接收到数据同步请求后，依据所述数据同步请求从所述备选增量数据中检索待同步增量数据；所述服务器端将所述待同步增量数据发送至客户端，以更新所述客户端中的待更新数据应用对应的数据表并完成数据同步。该方法可以利用服务前端独立存储物联网中实时生成的增量数据，从而在进行大量数据同步任务时减轻物联网核心服务器的负载，提升物联网的稳定性，从而提升数据同步的时效性。从而提升数据同步的时效性。从而提升数据同步的时效性。

【技术实现步骤摘要】
高时效数据智能同步方法、系统、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种高时效数据智能同步方法、系统、设备及存储介质。

技术介绍

[0002]随着信息科技的发展，越来越多的企业、组织、甚至是家庭都倾向于在工作和生活中使用物联网设备，以提升工作效率或生活品质。物联网中的设备实时产生增量数据，因此数据同步对物联网系统的可用性和稳定性至关重要。
[0003]目前，在实时接收到新的增量数据时，都会通知物联网设备中的数据应用，以进行数据同步。然而，物联网设备的数据同步通常经过核心数据库的处理，大量的数据同步任务通常导致核心数据库的负载较大，进而导致数据同步的时效性较差。

技术实现思路

[0004]鉴于以上内容，有必要提供一种高时效数据智能同步方法、系统、设备及存储介质，以解决如何提高数据同步的时效性这一技术问题。
[0005]第一方面，本申请实施例提供一种高时效数据智能同步方法，所述方法包括：
[0006]服务器端实时获取增量数据，依据所述增量数据生成数据更新通知；
[0007]所述服务器端将所述增量数据存储为备选增量数据，并推送出所述数据更新通知；
[0008]所述服务器端接收到数据同步请求后，依据所述数据同步请求从所述备选增量数据中检索待同步增量数据；
[0009]所述服务器端将所述待同步增量数据发送至客户端，以更新所述客户端中的待更新数据应用对应的数据表并完成数据同步。
[0010]在一些可选的实施例中，所述服务器端实时获取增量数据之后，所述方法还包括：
[0011]所述服务器端将所述增量数据存储为先进先出的消息队列，并将所述消息队列中的增量数据依据所述先进先出的顺序存储为备选增量数据。
[0012]在一些可选的实施例中，所述服务器端接收所述增量数据的方式包括异步接收和同步接收，所述服务器端将所述增量数据存储为备选增量数据，包括：
[0013]所述服务器端将异步接收到的所述增量数据存储为第一增量数据；
[0014]所述服务器端将同步接收到的所述增量数据存储为第二增量数据；
[0015]所述服务器端将所述第一增量数据和所述第二增量数据联合存储为备选增量数据。
[0016]在一些可选的实施例中，所述数据同步请求包括待更新数据应用的索引，所述依据所述数据同步请求从所述备选增量数据中检索待同步增量数据，包括：
[0017]所述服务器端依据所述索引从所述备选增量数据中检索与所述索引对应的第一增量数据和第二增量数据；
[0018]所述服务器端对所述第一增量数据和所述第二增量数据进行预处理，获得待同步增量数据。
[0019]第二方面，本申请实施例提供一种高时效数据智能同步方法，所述方法包括：
[0020]客户端依据接收到的数据更新通知生成数据同步请求；
[0021]所述客户端依据所述数据同步请求检索待同步增量数据；
[0022]所述客户端依据所述待同步增量数据更新所述客户端中的待更新数据应用对应的数据表以完成数据同步。
[0023]第三方面，本申请实施例还提供一种高时效数据智能同步系统，所述系统包括数据分发模块、数据存储模块和数据应用模块；
[0024]所述数据分发模块用于实时获取增量数据，依据所述增量数据生成数据更新通知；
[0025]所述数据存储模块用于将所述增量数据存储为备选增量数据，并向数据应用模块推送所述数据更新通知；
[0026]所述数据存储模块还用于接收所述数据应用模块发送的数据同步请求，并依据所述数据同步请求从所述备选增量数据中检索待同步增量数据；
[0027]所述数据存储模块还用于将所述待同步增量数据发送至所述数据应用模块；
[0028]所述数据应用模块用于依据接收到的数据更新通知生成数据同步请求；
[0029]所述数据应用模块还用于依据所述数据同步请求检索待同步增量数据；
[0030]所述数据应用模块还用于依据所述待同步增量数据更新所述数据应用模块中的待更新数据应用对应的数据表以完成数据同步。
[0031]在一些可选的实施例中，所述增量数据存储为先进先出的消息队列，所述系统还包括消息中间件，所述消息中间件用于接收所述数据分发模块推送的所述增量数据，并将所述消息队列中的增量数据依据所述先进先出的顺序发送至所述数据存储模块；
[0032]所述数据存储模块接收所述增量数据的方式包括异步接收和同步接收，所述数据存储模块包括：
[0033]独立数据源，所述独立数据源用于将异步接收到的所述增量数据存储为第一增量数据；
[0034]缓存集群，所述缓存集群用于在预设有效期内将同步接收到的所述增量数据存储为第二增量数据；
[0035]所述数据存储模块还用于将所述第一增量数据和所述第二增量数据联合存储为备选增量数据。
[0036]在一些可选的实施例中，所述数据同步请求包括待更新数据应用的索引，所述系统还包括更新服务模块，所述更新服务模块用于：
[0037]依据所述索引从所述备选增量数据中检索与所述索引对应的第一增量数据和第二增量数据；
[0038]对所述第一增量数据和所述第二增量数据进行预处理，获得待同步增量数据。
[0039]第四方面，本申请实施例还提供一种设备，所述设备包括：
[0040]存储器，存储计算机可读指令；及
[0041]处理器，执行所述存储器中存储的计算机可读指令以实现所述高时效数据智能同
步方法。
[0042]第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被设备中的处理器执行以实现所述高时效数据智能同步方法。
[0043]上述高时效数据智能同步方法通过在物联网系统中的部署服务器端独立存储物联网中实时生成的增量数据，并利用服务器端向数据应用发送数据更新通知，最终，响应于接收到数据更新通知，服务器端将检索到的待同步增量数据传输至客户端中的数据应用以完成高时效数据智能同步，能够在进行大量数据同步任务时减轻物联网核心服务器的负载，提升物联网的稳定性，从而提升数据同步的时效性。
附图说明
[0044]图1是本申请所涉及的一种高时效数据智能同步方法的较佳实施例的流程图。
[0045]图2是本申请实施例所涉及的增量数据的可视化示意图。
[0046]图3是本申请实施例所涉及的数据更新通知的可视化示意图。
[0047]图4是本申请实施例所涉及的TCP长连接的工作原理示意图。
[0048]图5是本申请所涉及的一种高时效数据智能同步方法的另一实施例的流程图。
[0049]图6是本申请所涉及的高时效数据智能同步系统的较佳实施例的功能模块图。
[0050]图7是本申请所涉及的高时效数据智能同步系统的另一实施例的功能模块图。
[0051]图8是本申请所涉及的高时效数据智能同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高时效数据智能同步方法，其特征在于，所述方法包括：服务器端实时获取增量数据，依据所述增量数据生成数据更新通知；所述服务器端将所述增量数据存储为备选增量数据，并推送出所述数据更新通知；所述服务器端接收到数据同步请求后，依据所述数据同步请求从所述备选增量数据中检索待同步增量数据；所述服务器端将所述待同步增量数据发送至客户端，以更新所述客户端中的待更新数据应用对应的数据表并完成数据同步。2.如权利要求1所述的高时效数据智能同步方法，其特征在于，所述服务器端实时获取增量数据之后，所述方法还包括：所述服务器端将所述增量数据存储为先进先出的消息队列，并将所述消息队列中的增量数据依据所述先进先出的顺序存储为备选增量数据。3.如权利要求1所述的高时效数据智能同步方法，其特征在于，所述服务器端接收所述增量数据的方式包括异步接收和同步接收，所述服务器端将所述增量数据存储为备选增量数据，包括：所述服务器端将异步接收到的所述增量数据存储为第一增量数据；所述服务器端将同步接收到的所述增量数据存储为第二增量数据；所述服务器端将所述第一增量数据和所述第二增量数据联合存储为备选增量数据。4.如权利要求3所述的高时效数据智能同步方法，其特征在于，所述数据同步请求包括待更新数据应用的索引，所述依据所述数据同步请求从所述备选增量数据中检索待同步增量数据，包括：所述服务器端依据所述索引从所述备选增量数据中检索与所述索引对应的第一增量数据和第二增量数据；所述服务器端对所述第一增量数据和所述第二增量数据进行预处理，获得待同步增量数据。5.一种高时效数据智能同步方法，其特征在于，所述方法包括：客户端依据接收到的数据更新通知生成数据同步请求；所述客户端依据所述数据同步请求检索待同步增量数据；所述客户端依据所述待同步增量数据更新所述客户端中的待更新数据应用对应的数据表以完成数据同步。6.一种高时效数据智能同步系统，其特征在于，所述系统包括数据分发模块、数据存储模块和数据应用模块；所述数据分发模块用于实时获取增量数据，依据所述增量数据生成数据更新通知；所述数据存储模块用于将所...

【专利技术属性】
技术研发人员：夏文，袁文，
申请(专利权)人：深圳市欧瑞博科技股份有限公司，
类型：发明
国别省市：