数据处理方法和系统、电子设备及存储介质技术方案

技术编号:41455009 阅读:21 留言:0更新日期:2024-05-28 20:42
本申请公开了一种数据处理方法和系统、电子设备及存储介质,方法包括:根据Hive提供的扩展支持,构建位图函数;获取与业务处理相关的数据集,并根据数据集,构建标签整合层;所述标签整合层用于回溯标签明细数据;为前端应用插件做交互事件,生成基于所述标签整合层的数据应用;基于所述数据应用,接收对象圈选标签,确定数据查询语句,并根据所述数据查询语句,确定业务数据。本申请实施例通过标签整合层结合位图函数,可实现基于圈选标签自动生成查询语句,实现数据的快速查询,提升查询效率和数据的复用率。本申请可以广泛应用于互联网大数据技术领域。

【技术实现步骤摘要】

本申请涉及互联网大数据,尤其涉及一种数据处理方法和系统、电子设备及存储介质


技术介绍

1、随着互联网技术的发展,大数据时代的到来,在一些应用场景中,需要存储和处理的数据越来越多,这就对数据的存储、检索、处理提出了更高的要求。相关技术中,通过位图索引的方式以提升检索效率,然而,该方案面向于单一的元数据,对深层业务逻辑的检索效率不佳。另一方案中,通过查询引擎进行数据查询,该方案也无法缓解数据量大时数据易混淆的问题,数据查询效率不高。


技术实现思路

1、本申请实施例的主要目的在于提出一种高效的数据处理方法和系统、电子设备及存储介质。

2、为实现上述目的,本申请实施例的一方面提出了一种数据处理方法,所述方法包括:根据hive提供的扩展支持,构建位图函数;获取与业务处理相关的数据集,并根据数据集,构建标签整合层;所述标签整合层用于回溯标签明细数据;为前端应用插件做交互事件,生成基于所述标签整合层的数据应用;基于所述数据应用,接收对象圈选标签,确定数据查询语句,并根据所述数据查询语句,确定业务数据。本申请实本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据Hive提供的扩展支持,构建位图函数,包括:

3.根据权利要求1所述的方法,其特征在于,所述获取与业务处理相关的数据集,并根据数据集,构建标签整合层,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述为前端应用插件做交互事件,生成基于所述标签整合层的数据应用,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求4所述的方法,...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据hive提供的扩展支持,构建位图函数,包括:

3.根据权利要求1所述的方法,其特征在于,所述获取与业务处理相关的数据集,并根据数据集,构建标签整合层,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述为前端应用插件做交互事件,生成基于所述标签整合层的数据应用,包括:

6.根据权利要求...

【专利技术属性】
技术研发人员:麦俊豪
申请(专利权)人:天翼爱音乐文化科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1