一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据处理方法、装置、电子设备和存储介质，包括：获取客户端发送的批量待处理数据的关键字和第一数据版本号；针对每条待处理数据，从基于固态硬盘存储的缓存数据库中，查询与关键字对应的第二数据版本号；将查询到的第二数据版本号与第一数据版本号进行比对，并基于比对结果对批量待处理数据进行筛选；根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，后台数据库中更新后的数据用于进行任务处理。本发明专利技术采用基于固态硬盘存储的数据库进行数据查询，将数据的关键字和数据版本号字段存储在固态硬盘上，由于固态硬盘的存储容量大，可以减少对内存的占用率，从而降低存储成本。从而降低存储成本。从而降低存储成本。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种数据处理方法、一种数据处理装置、一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]随着智能终端的不断发展，可以通过智能终端上的视频客户端观看视频，用户可以针对视频内容发布评论、弹幕等，可以将这些数据通过消息队列投递至后台进行处理。
[0003]由于网络延迟等原因容易产生冗余数据，通常需要查询内存中存储的数据，以对投递数据中的冗余数据进行拦截。然而，在高并发场景下，会有大批量数据投递至后台，因此内存中需要存储大量数据以供查询，容易导致内存占用率高，进而导致存储成本升高。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法、一种数据处理装置、一种电子设备和一种计算机可读存储介质。
[0005]为了解决上述问题，本专利技术实施例公开了一种数据处理方法，所述方法包括：
[0006]获取客户端发送的批量待处理数据的关键字和第一数据版本号；
[0007]针对每条待处理数据，从基于固态硬盘存储的缓存数据库中，查询与所述关键字对应的第二数据版本号；
[0008]将查询到的第二数据版本号与所述第一数据版本号进行比对，并基于比对结果对所述批量待处理数据进行筛选；
[0009]根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，所述后台数据库中更新后的数据用于进行任务处理。/>[0010]可选地，所述基于比对结果对所述批量待处理数据进行筛选，包括：
[0011]若查询到的第二数据版本号大于所述第一数据版本号，则丢弃所述待处理数据；
[0012]若查询到的第二数据版本号小于等于所述第一数据版本号，则保留所述待处理数据，并将所述缓存数据库中记录的第二数据版本号更新为所述第一数据版本号。
[0013]可选地，在所述查询与所述关键字对应的第二数据版本号之后，还包括：
[0014]若未查询到与所述关键字对应的第二数据版本号，将所述待处理数据存入所述缓存数据库。
[0015]可选地，所述根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，包括：
[0016]对筛选得到的待处理数据进行业务逻辑处理；
[0017]根据业务逻辑处理后的数据，对后台数据库中存储的数据进行更新。
[0018]可选地，所述根据业务逻辑处理后的数据，对后台数据库中的数据进行更新，包括：
[0019]针对每条业务逻辑处理后的数据，从后台数据库中，查询与所述业务逻辑处理后的数据的关键字对应的第三数据版本号；
[0020]将查询到的第三数据版本号，与所述业务逻辑处理后的数据的第一数据版本号进行比对，并基于比对结果对所述后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新。
[0021]可选地，所述基于比对结果对所述后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新，包括：
[0022]若查询到的第三数据版本号小于等于所述业务逻辑处理后的数据的第一数据版本号，采用所述业务逻辑处理后的数据，对后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新；
[0023]若查询到的第三数据版本号大于所述业务逻辑处理后的数据的第一数据版本号，保持所述后台数据库中的数据不变。
[0024]可选地，所述获取客户端发送的用户行为数据的关键字和第一数据版本号，包括：
[0025]监听客户端发送的批量待处理数据；
[0026]解析所述批量待处理数据，得到所述批量待处理数据的关键字和第一数据版本号。
[0027]本专利技术实施例还公开了一种数据处理装置，所述装置包括：
[0028]获取模块，用于获取客户端发送的批量待处理数据的关键字和第一数据版本号；
[0029]查询模块，用于针对每条待处理数据，从基于固态硬盘存储的缓存数据库中，查询与所述关键字对应的第二数据版本号；
[0030]比对模块，用于将查询到的第二数据版本号与所述第一数据版本号进行比对，并基于比对结果对所述批量待处理数据进行筛选；
[0031]更新模块，用于根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，所述后台数据库中更新后的数据用于进行任务处理。
[0032]可选地，所述比对模块，包括：
[0033]丢弃子模块，用于若查询到的第二数据版本号大于所述第一数据版本号，则丢弃所述待处理数据；
[0034]保留子模块，用于若查询到的第二数据版本号小于等于所述第一数据版本号，则保留所述待处理数据，并将所述缓存数据库中记录的第二数据版本号更新为所述第一数据版本号。
[0035]可选地，在所述查询与所述关键字对应的第二数据版本号之后，还包括：
[0036]插入模块，用于若未查询到与所述关键字对应的第二数据版本号，将所述待处理数据存入所述缓存数据库。
[0037]可选地，所述更新模块，包括：
[0038]业务逻辑处理子模块，用于对筛选得到的待处理数据进行业务逻辑处理；
[0039]数据更新子模块，用于根据业务逻辑处理后的数据，对后台数据库中存储的数据进行更新。
[0040]可选地，所述数据更新子模块，包括：
[0041]版本号查询单元，用于针对每条业务逻辑处理后的数据，从后台数据库中，查询与
所述业务逻辑处理后的数据的关键字对应的第三数据版本号；
[0042]版本号比对单元，用于将查询到的第三数据版本号，与所述业务逻辑处理后的数据的第一数据版本号进行比对，并基于比对结果对所述后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新。
[0043]可选地，所述版本号比对单元，包括：
[0044]后台数据更新子单元，用于若查询到的第三数据版本号小于等于所述业务逻辑处理后的数据的第一数据版本号，采用所述业务逻辑处理后的数据，对后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新；
[0045]后台数据不更新子单元，用于若查询到的第三数据版本号大于所述业务逻辑处理后的数据的第一数据版本号，保持所述后台数据库中的数据不变。
[0046]可选地，所述获取模块，包括：
[0047]监听子模块，用于监听客户端发送的批量待处理数据；
[0048]解析子模块，用于解析所述批量待处理数据，得到所述批量待处理数据的关键字和第一数据版本号。
[0049]本专利技术实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
[0050]本专利技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取客户端发送的批量待处理数据的关键字和第一数据版本号；针对每条待处理数据，从基于固态硬盘存储的缓存数据库中，查询与所述关键字对应的第二数据版本号；将查询到的第二数据版本号与所述第一数据版本号进行比对，并基于比对结果对所述批量待处理数据进行筛选；根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，所述后台数据库中更新后的数据用于进行任务处理。2.根据权利要求1所述的方法，其特征在于，所述基于比对结果对所述批量待处理数据进行筛选，包括：若查询到的第二数据版本号大于所述第一数据版本号，则丢弃所述待处理数据；若查询到的第二数据版本号小于等于所述第一数据版本号，则保留所述待处理数据，并将所述缓存数据库中记录的第二数据版本号更新为所述第一数据版本号。3.根据权利要求1所述的方法，其特征在于，在所述查询与所述关键字对应的第二数据版本号之后，还包括：若未查询到与所述关键字对应的第二数据版本号，将所述待处理数据存入所述缓存数据库。4.根据权利要求1所述的方法，其特征在于，所述根据筛选得到的待处理数据，对后台数据库中存储的数据进行更新，包括：对筛选得到的待处理数据进行业务逻辑处理；根据业务逻辑处理后的数据，对后台数据库中存储的数据进行更新。5.根据权利要求4所述的方法，其特征在于，所述根据业务逻辑处理后的数据，对后台数据库中存储的数据进行更新，包括：针对每条业务逻辑处理后的数据，从后台数据库中，查询与所述业务逻辑处理后的数据的关键字对应的第三数据版本号；将查询到的第三数据版本号，与所述业务逻辑处理后的数据的第一数据版本号进行比对，并基于比对结果对所述后台数据库中与所述业务逻辑处理后的数据的关键字对应的数据进行更新。6.根...

【专利技术属性】
技术研发人员：欧阳勤，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：