数据处理方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术涉及一种数据处理方法、装置、存储介质和电子设备，涉及电子信息技术领域，该方法包括：监听目标数据库，获取目标数据库中发生更新的目标数据；响应于在窗口队列中查找到存在与目标数据匹配的数据，更新窗口队列中的数据；根据滚动时间窗口预设条件将窗口队列中更新后的数据写入数据存储区。本发明专利技术根据目标数据对放入窗口队列的数据进行筛选，并将窗口队列中保留的数据写入数据存储区，能够降低数据库的查询压力，节省网络带宽的消耗。节省网络带宽的消耗。节省网络带宽的消耗。

【技术实现步骤摘要】
数据处理方法、装置、存储介质和电子设备


[0001]本专利技术涉及电子信息
，具体地，涉及一种数据处理方法、装置、存储介质和电子设备。

技术介绍

[0002]随着电子信息技术的快速发展，互联网上会产生的大量数据，并且这些数据也会频繁地发生变化。通常情况下，数据每发生一次变化，用户端一侧的数据都需要进行刷新，但是用户对于这些数据的敏感度可能并不高，也就是说用户往往不需要获知每一次数据的变化。因此，按照数据的变化频率来刷新用户端的数据，会对数据库产生较大的查询压力导致拥堵，并且浪费了网络带宽。

技术实现思路

[0003]本专利技术的目的是提供一种数据处理方法、装置、存储介质和电子设备，用于降低数据库的查询压力，节省网络带宽的消耗。
[0004]根据本专利技术实施例的第一方面，提供一种数据处理方法，所述方法包括：
[0005]监听目标数据库，获取所述目标数据库中发生更新的目标数据；
[0006]响应于在窗口队列中查找到存在与所述目标数据匹配的数据，更新窗口队列中的数据；
[0007]根据滚动时间窗口预设条件将所述窗口队列中更新后的数据写入数据存储区。
[0008]可选地，所述监听目标数据库，获取所述目标数据库中发生更新的目标数据，包括：
[0009]将监听工具作为所述目标数据库的从实例，以监听所述目标数据库；
[0010]通过所述监听工具获取所述目标数据库中发生更新的所述目标数据，将所述目标数据发送至消息队列；
[0011]通过数据流处理工具从所述消息队列中获取所述目标数据。
[0012]可选地，所述方法还包括：
[0013]获取所述目标数据的键值；
[0014]基于所述目标数据的键值查找所述窗口队列中是否存在与所述目标数据匹配的数据。
[0015]可选地，所述获取所述目标数据的键值之前，包括：
[0016]将所述目标数据放入所述窗口队列；
[0017]所述更新窗口队列中的数据，包括：
[0018]删除所述窗口队列中与所述目标数据匹配的数据。
[0019]可选地，所述更新窗口队列中的数据，包括：
[0020]删除所述窗口队列中与所述目标数据匹配的数据；
[0021]将所述目标数据放入所述窗口队列中与所述目标数据匹配的数据在删除之前所
在的位置。
[0022]可选地，所述滚动时间窗口预设条件包括：
[0023]所述窗口队列中的数据的数量超出所述窗口队列的大小；或者，所述窗口队列的时长超过所述窗口队列的滑动时间。
[0024]可选地，所述方法还包括：
[0025]响应于在窗口队列中未查找到与所述目标数据匹配的数据，则将所述目标数据放入所述窗口队列。
[0026]根据本专利技术实施例的第二方面，提供一种数据处理装置，所述装置包括：
[0027]监听模块，用于监听目标数据库，获取所述目标数据库中发生更新的目标数据；
[0028]处理模块，用于响应于在窗口队列中查找到存在与所述目标数据匹配的数据，更新窗口队列中的数据；
[0029]存储模块，用于根据滚动时间窗口预设条件将所述窗口队列中更新后的数据写入数据存储区。
[0030]可选地，所述监听模块，包括：
[0031]监听子模块，用于将监听工具作为所述目标数据库的从实例，以监听所述目标数据库；
[0032]第一获取子模块，用于通过所述监听工具获取所述目标数据库中发生更新的所述目标数据，将所述目标数据发送至消息队列；
[0033]第二获取子模块，用于通过数据流处理工具从所述消息队列中获取所述目标数据。
[0034]可选地，所述装置还包括：
[0035]获取模块，用于获取所述目标数据的键值；
[0036]查找模块，用于基于所述目标数据的键值查找所述窗口队列中是否存在与所述目标数据匹配的数据。
[0037]可选地，所述装置还包括：
[0038]放入模块，用于在所述获取所述目标数据的键值之前，将所述目标数据放入所述窗口队列；
[0039]所述处理模块用于：
[0040]删除所述窗口队列中与所述目标数据匹配的数据。
[0041]可选地，所述处理模块包括：
[0042]删除子模块，用于删除所述窗口队列中与所述目标数据匹配的数据；
[0043]放入子模块，用于将所述目标数据放入所述窗口队列中与所述目标数据匹配的数据在删除之前所在的位置。
[0044]可选地，所述滚动时间窗口预设条件包括：
[0045]所述窗口队列中的数据的数量超出所述窗口队列的大小；或者，所述窗口队列的时长超过所述窗口队列的滑动时间。
[0046]可选地，所述放入模块还用于：
[0047]响应于在窗口队列中未查找到与所述目标数据匹配的数据，则将所述目标数据放入所述窗口队列。
[0048]根据本专利技术实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术第一方面中所述方法的步骤。
[0049]根据本专利技术实施例的第四方面，提供一种电子设备，包括：
[0050]存储器，其上存储有计算机程序；
[0051]处理器，用于执行所述存储器中的所述计算机程序，以实现本专利技术第一方面中所述方法的步骤。
[0052]通过上述技术方案，本专利技术首先监听目标数据库，获取目标数据库中发生更新的目标数据，之后响应于在窗口队列中查找到存在与目标数据匹配的数据，更新窗口队列中的数据，最后，根据滚动时间窗口预设条件将窗口队列中更新后的数据写入数据存储区。本专利技术根据目标数据对放入窗口队列的数据进行筛选，并将窗口队列中保留的数据写入数据存储区，能够降低数据库的查询压力，节省网络带宽的消耗。
[0053]本专利技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0054]附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：
[0055]图1是根据一示例性实施例示出的一种数据处理方法的流程图；
[0056]图2是根据一示例性实施例示出的另一种数据处理方法的流程图；
[0057]图3是根据一示例性实施例示出的另一种数据处理方法的流程图；
[0058]图4是根据一示例性实施例示出的另一种数据处理方法的流程图；
[0059]图5是根据一示例性实施例示出的另一种数据处理方法的流程图；
[0060]图6是根据一示例性实施例示出的另一种数据处理方法的流程图；
[0061]图7是根据一示例性实施例示出的一种数据处理装置的框图；
[0062]图8是根据一示例性实施例示出的另一种数据处理装置的框图；
[0063]图9是根据一示例性实施例示出的另一种数据处理装置的框图；
[0064]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：监听目标数据库，获取所述目标数据库中发生更新的目标数据；响应于在窗口队列中查找到存在与所述目标数据匹配的数据，更新窗口队列中的数据；根据滚动时间窗口预设条件将所述窗口队列中更新后的数据写入数据存储区。2.根据权利要求1所述的方法，其特征在于，所述监听目标数据库，获取所述目标数据库中发生更新的目标数据，包括：将监听工具作为所述目标数据库的从实例，以监听所述目标数据库；通过所述监听工具获取所述目标数据库中发生更新的所述目标数据，将所述目标数据发送至消息队列；通过数据流处理工具从所述消息队列中获取所述目标数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述目标数据的键值；基于所述目标数据的键值查找所述窗口队列中是否存在与所述目标数据匹配的数据。4.根据权利要求3所述的方法，其特征在于，所述获取所述目标数据的键值之前，包括：将所述目标数据放入所述窗口队列；所述更新窗口队列中的数据，包括：删除所述窗口队列中与所述目标数据匹配的数据。5.根据权利要求3所述的方法，其特征在于，所述更新窗口队列中的数据，包括：删除所述窗口队列中与所述目标数据匹配的数据；将所述目标数据放...

【专利技术属性】
技术研发人员：杨锐，
申请(专利权)人：北京金堤科技有限公司，
类型：发明
国别省市：