【技术实现步骤摘要】
数据处理方法、装置、设备及计算机存储介质
本专利技术涉及数据处理领域,尤其涉及一种数据处理方法、装置、设备及计算机存储介质。
技术介绍
在信息数据研究中,用户通过在数据库的搜索引擎中输入查询关键词或查询条件,然后搜索引擎在数据库中根据查询关键词或查询条件进行查询数据,当查询条件有多个时,搜索引擎会利用一个查询线程逐一遍历查询每一个查询条件,导致查询时间会随着用户输入的查询条件数量倍数增长,不仅给搜索引擎带来巨大的计算压力,还影响用户的使用感。
技术实现思路
本专利技术提供一种数据处理方法、装置、设备及计算机存储介质,旨在解决现有技术中采用单一查询线程逐一遍历每个查询条件而导致查询耗时长的技术问题。为实现上述目的,本专利技术提供一种数据处理方法,所述数据处理方法包括以下步骤:接收客户端发送的数据查询请求,并确定所述数据查询请求对应的至少一个查询条件;分别获取各个查询条件对应的查询线程,并分别通过查询线程从数据存储库中获取各个查询条件对应的目标查询数据;对至少一个目标查询数据进 ...
【技术保护点】
1.一种数据处理方法,其特征在于,所述数据处理方法包括以下步骤:/n接收客户端发送的数据查询请求,并确定所述数据查询请求对应的至少一个查询条件;/n分别获取各个查询条件对应的查询线程,并分别通过查询线程从数据存储库中获取各个查询条件对应的目标查询数据;/n对至少一个目标查询数据进行聚合归类,以获取所述数据查询请求对应的查询结果。/n
【技术特征摘要】
1.一种数据处理方法,其特征在于,所述数据处理方法包括以下步骤:
接收客户端发送的数据查询请求,并确定所述数据查询请求对应的至少一个查询条件;
分别获取各个查询条件对应的查询线程,并分别通过查询线程从数据存储库中获取各个查询条件对应的目标查询数据;
对至少一个目标查询数据进行聚合归类,以获取所述数据查询请求对应的查询结果。
2.如权利要求1所述的数据处理方法,其特征在于,所述分别通过查询线程从数据存储库中获取各个查询条件对应的目标查询数据的步骤之前,还包括:
若检测到数据存储请求,则确定源数据库中所述数据存储请求对应的待存储数据;
确定所述待存储数据对应的时间维度,并根据所述时间维度将所述待存储数据从源数据库中存储至数据存储库中。
3.如权利要求2所述的数据处理方法,其特征在于,所述若检测到数据存储请求,则确定所述数据存储请求对应的待存储数据的步骤包括:
对源数据库进行实时监控;
若监测到源数据库中数据更新,则判定检测到数据存储请求;
确定源数据库中数据更新对应的更新数据,并将所述更新数据作为所述数据存储请求对应的待存储数据。
4.如权利要求2所述的数据处理方法,其特征在于,所述确定所述待存储数据对应的时间维度,并根据所述时间维度将所述待存储数据从源数据库中存储至数据存储库中的步骤包括:
确定当前数据存储库中是否存在所述时间维度对应的索引;
若当前数据存储库中存在所述时间维度对应的索引,则将所述待存储数据从源数据库中存储至所述时间维度对应的索引中;或者
若当前数据存储库中不存在所述时间维度对应的索引,则构建所述时间维度对应的索引,并将所述待存储数据从源数据库中存储至所述时间维度对应的索引中。
5.如权利要求4所述的数据处理方法,其特征在于,所述将所述待存储数据从源数据库中存储至所述时间维度对应的索引中的步骤包括:
调用读线程将源数据库中的待存储数据读取至存储队列,并从线程池中调用空闲的写线程将所述存储队列中的待存储数据取出;...
【专利技术属性】
技术研发人员:肖翔,吴海山,殷磊,
申请(专利权)人:深圳前海微众银行股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。