埋点数据管理方法、装置、计算设备及存储介质制造方法及图纸

技术编号:40739145 阅读:16 留言:0更新日期:2024-03-25 19:59
本申请实施例公开了一种埋点数据管理方法、装置、计算设备及存储介质,其中,该方法包括:按照埋点数据的采集时间确定数据目录,将埋点数据存储至数据目录下的所属埋点相对应的文件中,并得到存储描述数据;根据所属埋点的生命周期确定埋点数据的过期时间,并将过期时间添加至存储描述数据中,形成埋点数据的第一元数据;其中,生命周期是根据埋点的数据重要性等级而配置的;依据第一元数据,筛选过期的目标埋点数据,并确定目标数据目录和目标文件;对目标数据目录下的目标文件进行清理处理。本申请按照时间维度和埋点维度对埋点数据进行分类存储,根据埋点的数据重要性等级来配置埋点的生命周期,并基于文件清理过期的埋点数据。

【技术实现步骤摘要】

本申请实施例涉及数据处理,具体涉及一种埋点数据管理方法、装置、计算设备及存储介质


技术介绍

1、数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,能够用于支持管理决策。数据仓库能够从各个业务源中收集数据,存储到大数据系统中。随着时间的演进,收集的数据越来越多,会逐渐达到大数据系统的承载峰值,为了维持数据仓库的可用性,通常会根据一些数据清理机制对数据进行清理。由于埋点数据大多是采集到的用户行为数据,数据量较大,占用存储空间较多,且数据重要性低于业务数据,以数据重要性和时间为主要考虑因素,通常优先清理历史较早的埋点数据。然而,埋点也分为不同数据重要性等级,现有技术中在对埋点数据进行清理时并没有区分埋点的数据重要性等级,使得数据重要性等级较高的埋点数据也被删除,导致影响对应的数据分析。


技术实现思路

1、鉴于上述问题,本申请提出了一种埋点数据管理方法、装置、计算设备及存储介质,用于解决以下问题:现有技术在对埋点数据进行清理时没有区分埋点的数据重要性等级。

2、根据本申请实施例的一个本文档来自技高网...

【技术保护点】

1.一种埋点数据管理方法,包括:

2.根据权利要求1所述的方法,所述按照所述埋点数据的采集时间确定数据目录进一步包括:

3.根据权利要求1所述的方法,在所述将所述埋点数据存储至所述数据目录下的与所述埋点数据所属埋点相对应的文件中之前,所述方法还包括:

4.根据权利要求1所述的方法,所述方法还包括:

5.根据权利要求4所述的方法,所述使用情况数据包括以下数据中的一项或多项:

6.根据权利要求1-5任一项所述的方法,在所述对所述目标数据目录下的目标文件进行清理处理之前,所述方法还包括:

7.根据权利要求1-6任一项所述的...

【技术特征摘要】

1.一种埋点数据管理方法,包括:

2.根据权利要求1所述的方法,所述按照所述埋点数据的采集时间确定数据目录进一步包括:

3.根据权利要求1所述的方法,在所述将所述埋点数据存储至所述数据目录下的与所述埋点数据所属埋点相对应的文件中之前,所述方法还包括:

4.根据权利要求1所述的方法,所述方法还包括:

5.根据权利要求4所述的方法,所述使用情况数据包括以下数据中的一项或多项:

6.根据权利要求1-5任一项所述的方法,在所述对所述目标数据目录下的目标文件...

【专利技术属性】
技术研发人员:董子平吴剑雄张靖
申请(专利权)人:上海哔哩哔哩科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1