一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据处理方法、装置、电子设备和存储介质，所述方法包括：调用所述Redis存储系统的主从同步接口，获取针对所述键值对数据的操作指令；统计根据所述操作指令发生更改后的所述数据的数据大小；将所述数据标识和所述数据大小存储为目标键值对数据；将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识；将所述主数据库中与所述异常数据标识对应的键值对数据确定为异常键值对数据。可实时地从主数据库中查找出异常数据，避免问题扩大化，提高主数据库运行的稳定性。提高主数据库运行的稳定性。提高主数据库运行的稳定性。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质


[0001]本专利技术实施例涉及数据处理
，特别是涉及一种数据处理方法、一种数据处理装置、电子设备和存储介质。

技术介绍

[0002]Redis(Remote Dictionary Server)，即远程字典服务，是一个开源的、支持网络、可基于内存亦可持久化的日志型、Key(键)
‑
Value(值)数据库，Key和Value之间是映射关系，Redis具有数据类型丰富和高性能等优点。
[0003]在实际使用中，如果Redis中存在数据容量很大的Value，当通过Key去获取该数据容量很大的Value时，会严重影响Redis的性能，因此，需要将数据容量过大的Value对应的Key找出来并进行优化处理。目前常用的方法是，采用离线分析的方式扫描Redis的全部数据表，查找出数据容量过大的Value对应的Key，然而这种方式的查找速度很慢，无法及时发现异常数据，可能导致Redis的性能进一步下降。

技术实现思路

[0004]本专利技术实施例是提供一种数据处理方法，以解决现有技术中Redis存储系统查找异常数据速度慢的问题。
[0005]相应的，本专利技术实施例还提供了一种数据处理装置，用以保证上述方法的实现及应用。
[0006]为了解决上述问题，本专利技术实施例公开了一种数据处理方法，其特征在于，应用于Redis存储系统，所述Redis存储系统中包括主数据库，所述主数据库中存储有键值对数据，所述键值对数据包括数据标识和数据，所述方法包括：
[0007]调用所述Redis存储系统的主从同步接口，获取针对所述键值对数据的操作指令；
[0008]统计根据所述操作指令发生更改后的所述数据的数据大小；
[0009]将所述数据标识和所述数据大小存储为目标键值对数据；
[0010]将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识；
[0011]将所述主数据库中与所述异常数据标识对应的键值对数据确定为异常键值对数据。
[0012]可选地，所述将所述数据标识和所述数据大小存储为所述目标键值对数据，包括：
[0013]判断所述目标键值对数据中是否存在所述数据标识；
[0014]若是，则根据所述操作指令，将所述数据标识和所述数据大小存储为目标键值对数据；若否，则将所述数据标识和所述数据大小转换为新增键值对数据，将所述新增键值对数据存储在所述目标键值对数据中。
[0015]可选地，所述根据所述操作指令，将所述数据标识和所述数据大小存储为目标键值对数据，包括：
[0016]若所述操作指令为修改指令，则从所述目标键值对数据中获取与所述数据标识对应的原始数据大小，将所述原始数据大小修改为所述数据大小；
[0017]若所述操作指令为删除指令，则删除所述目标键值对数据中与所述数据标识对应的键值对数据。
[0018]可选地，所述将所述数据标识和所述数据大小转换为新增键值对数据，包括：
[0019]获取所述主数据库的主数据库标识；
[0020]将所述主数据库标识和所述数据标识组合得到指定数据标识；
[0021]将所述数据标识转换为所述指定数据标识；
[0022]将所述指定数据标识和所述数据大小转换为新增键值对数据。
[0023]可选地，所述将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识，包括：
[0024]将所述目标键值对数据中的数据大小与预设阈值进行比较；
[0025]当所述数据大小超过所述预设阈值时，确定所述数据大小对应的数据标识为异常数据标识。
[0026]可选地，所述方法还包括：
[0027]将所述异常数据标识对应的数据标识，作为目标数据标识；
[0028]根据所述目标数据标识，生成用于提示所述主数据库中与所述目标数据标识对应的键值对数据存在异常的提示信息。
[0029]本专利技术实施例还公开了一种数据处理装置，其特征在于，应用于Redis存储系统，所述Redis存储系统中包括主数据库，所述主数据库中存储有键值对数据，所述键值对数据包括数据标识和数据，所述装置包括：
[0030]操作指令获取模块，用于调用所述Redis存储系统的主从同步接口，获取针对所述键值对数据的操作指令；
[0031]数据大小统计模块，用于统计根据所述操作指令发生更改后的所述数据的数据大小；
[0032]目标键值对数据转换模块，用于将所述数据标识和所述数据大小存储为目标键值对数据；
[0033]异常数据标识确定模块，用于将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识；
[0034]异常键值对数据确定模块，用于将所述主数据库中与所述异常数据标识对应的键值对数据确定为异常键值对数据。
[0035]可选地，所述目标键值对数据转换模块，包括：
[0036]目标键值对数据转换子模块，用于判断所述目标键值对数据中是否存在所述数据标识；若是，则根据所述操作指令，将所述数据标识和所述数据大小存储为目标键值对数据；若否，则将所述数据标识和所述数据大小转换为新增键值对数据，将所述新增键值对数据存储在所述目标键值对数据中。
[0037]可选地，所述目标键值对数据转换子模块，用于若所述操作指令为修改指令，则从所述目标键值对数据中获取与所述数据标识对应的原始数据大小，将所述原始数据大小修改为所述数据大小；若所述操作指令为删除指令，则删除所述目标键值对数据中与所述数
据标识对应的键值对数据。
[0038]可选地，所述目标键值对数据转换子模块，用于
[0039]获取所述主数据库的主数据库标识；
[0040]将所述主数据库标识和所述数据标识组合得到指定数据标识；
[0041]将所述数据标识转换为所述指定数据标识；
[0042]将所述指定数据标识和所述数据大小转换为新增键值对数据。
[0043]可选地，所述异常数据标识确定模块，用于
[0044]将所述目标键值对数据中的数据大小与预设阈值进行比较；
[0045]当所述数据大小超过所述预设阈值时，确定所述数据大小对应的数据标识为异常数据标识。
[0046]可选地，所述装置还包括：
[0047]将所述异常数据标识对应的数据标识，作为目标数据标识；
[0048]根据所述目标数据标识，生成用于提示所述主数据库中与所述目标数据标识对应的键值对数据存在异常的提示信息。
[0049]本专利技术实施例公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
[0050]本专利技术实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于Redis存储系统，所述Redis存储系统中包括主数据库，所述主数据库中存储有键值对数据，所述键值对数据包括数据标识和数据，所述方法包括：调用所述Redis存储系统的主从同步接口，获取针对所述键值对数据的操作指令；统计根据所述操作指令发生更改后的所述数据的数据大小；将所述数据标识和所述数据大小存储为目标键值对数据；将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识；将所述主数据库中与所述异常数据标识对应的键值对数据确定为异常键值对数据。2.根据权利要求1所述的方法，其特征在于，所述将所述数据标识和所述数据大小存储为所述目标键值对数据，包括：判断所述目标键值对数据中是否存在所述数据标识；若是，则根据所述操作指令，将所述数据标识和所述数据大小存储为目标键值对数据；若否，则将所述数据标识和所述数据大小转换为新增键值对数据，将所述新增键值对数据存储在所述目标键值对数据中。3.根据权利要求2所述的方法，其特征在于，所述根据所述操作指令，将所述数据标识和所述数据大小存储为目标键值对数据，包括：若所述操作指令为修改指令，则从所述目标键值对数据中获取与所述数据标识对应的原始数据大小，将所述原始数据大小修改为所述数据大小；若所述操作指令为删除指令，则删除所述目标键值对数据中与所述数据标识对应的键值对数据。4.根据权利要求2所述的方法，其特征在于，所述将所述数据标识和所述数据大小转换为新增键值对数据，包括：获取所述主数据库的主数据库标识；将所述主数据库标识和所述数据标识组合得到指定数据标识；将所述数据标识转换为所述指定数据标识；将所述指定数据标识和所述数据大小转换为新增键值对数据。5.根据权利要求1所述的方法，其特征在于，所述将所述目标键值对数据中不满足预设条件的所述数据大小对应的数据标识，确定为异常数据标识，包括：将所述目标键值对数据中的数据大小与预设阈值进行比较；...

【专利技术属性】
技术研发人员：程利，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：