一种数据处理方法、装置、介质制造方法及图纸

技术编号:40054559 阅读:20 留言:0更新日期:2024-01-16 21:44
本申请涉及数据库领域,公开了一种数据处理方法、装置、介质,包括:获取应用数据库所发送的第一统计数据;根据第一目标字段的参数信息对第一统计数据进行分组以获取第一指标数据集合,并根据第一数据统计规则对各第一指标数据集合的非第一目标字段的参数信息进行压缩处理,以生成第二统计数据;根据第二统计数据对系统性能进行分析。本申请通过根据第一数据统计规则,对非第一目标字段的参数信息进行压缩处理,减少与第一目标字段对应的参数信息中数据的量,以减少服务器需要处理的数据的量,从而提高服务器对系统性能的分析效率。

【技术实现步骤摘要】

本申请涉及数据库领域,特别是涉及一种数据处理方法、装置、介质


技术介绍

1、随着网络技术的发展,越来越多的网络服务供应商通过应用程序(application,app)的形式为用户提供网络服务。为了保证用户的使用体验,网络服务供应商需要通过对用户数据信息分析,以判断通过app是否存在异常。

2、随着app功能的完善和用户数量的增加,所涉及到用户数据的数据量也越来越大。目前服务器系统中通常使用数据库来存储用户数据,用户数据以数据表的形式保存,并基于数据库和数据表实现数据分析、数据查找等工作。但随着数据量的增加,若将数据全部存储于同一张数据表,会导致数据表过于臃肿,数据查找速度过慢,导致服务器无法及时对用户数据进行分析,影响服务器的正常工作。但若采用分库分表的问题,则会存在跨表查询数据不方便、数据库扩容不方便的问题。为了提高数据查找速度,现有技术中通常选择为数据增加索引,但增加的数据索引并不能应用于全部的场景,例如:在使用like、in等关键字作为数据索引时,在某些场景中可能失效,数据查找和分析速度也会随之降低,影响系统的正常工作。

3本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述根据第一目标字段的参数信息对所述第一统计数据进行分组以获取第一指标数据集合的步骤前,还包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述第一预设条件为所述服务器中所述第一统计数据的数据量大于第一数据量阈值或当前时间满足预设时间周期。

4.根据权利要求1所述的数据处理方法,其特征在于,所述第一统计数据为当应用程序数据库满足第一预设条件时根据第二目标字段和第二数据统计规则对各数据信息进行处理后生成的数据;其中,所述数据信息中包括多个信息字段,且各所述...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述根据第一目标字段的参数信息对所述第一统计数据进行分组以获取第一指标数据集合的步骤前,还包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述第一预设条件为所述服务器中所述第一统计数据的数据量大于第一数据量阈值或当前时间满足预设时间周期。

4.根据权利要求1所述的数据处理方法,其特征在于,所述第一统计数据为当应用程序数据库满足第一预设条件时根据第二目标字段和第二数据统计规则对各数据信息进行处理后生成的数据;其中,所述数据信息中包括多个信息字段,且各所述信息字段均包括数据类型信息和参数信息。

5.根据权利要求4所述的数据处理...

【专利技术属性】
技术研发人员:李宵何谨灿齐翊黎城
申请(专利权)人:政采云有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1