一种数据存储方法及装置制造方法及图纸

技术编号:42843679 阅读:20 留言:0更新日期:2024-09-27 17:14
本申请公开了一种数据存储方法,包括:获取待存储特征组的元信息,所述元信息包括:所述待存储特征组中每个特征在所述待存储特征组中的位置、所述每个特征的特征名称以及所述每个特征的特征类型。针对所述待存储特征组中的每个特征,若所述特征的值为空,则将所述特征在所述待存储特征组中的位置存储至空值对应的数组中,若所述特征的值不为空,则将所述特征的值存储至与所述特征的特征类型对应的数组中。进一步地,根据前述多个数组,得到目标序列化方式对应的对象,并基于所述目标序列化方式对所述对象进行序列化,得到序列化之后的第一数据流,并进一步存储所述第一数据流。利用本方案,减少了待存储特征组的存储成本。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据存储方法及装置


技术介绍

1、随着计算机技术的发展,出现了越来越多的算法服务。算法服务可以由模型(例如深度学习模型或者机器学习模型)、模型需要的特征以及其它处理逻辑组成。特征是模型在推理过程中必不可少的要素,且每次推理所需要的特征数量往往比较多。在一些场景中,可以把海量的离线特征写入到存储组件(例如键值(key-value,kv)存储组件)中,相应的,在模型推理阶段从存储组件中读取相应的特征以便于模型进行推理。

2、目前,前述特征的存储成本较高,因此,亟需一种方案,能够解决上述问题。


技术实现思路

1、为了解决或者至少部分解决上述技术问题,本申请提供了一种数据存储方法及装置。

2、第一方面,本申请提供了一种数据存储方法,所述方法包括:

3、获取待存储特征组的元信息,所述元信息包括:所述待存储特征组中每个特征在所述待存储特征组中的位置、所述每个特征的特征名称以及所述每个特征的特征类型;

4、针对所述待存储特征组中的每个特征:若本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述空值对应的数组包括所述待存储特征组中每个特征在所述待存储特征组中的位置对应的指示位,若所述待存储特征组中的目标特征的值为空,则所述空值对应的数组中、所述目标特征在所述待存储特征组中的位置对应的指示位被置位。

3.根据权利要求1所述的方法,其特征在于,所述存储所述序列化之后的第一数据流,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述序列化之后的数据流进行压缩并存储,包括:

5.根据权利要求1所述的方法,其特征在于,所述目标序列化方式包...

【技术特征摘要】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述空值对应的数组包括所述待存储特征组中每个特征在所述待存储特征组中的位置对应的指示位,若所述待存储特征组中的目标特征的值为空,则所述空值对应的数组中、所述目标特征在所述待存储特征组中的位置对应的指示位被置位。

3.根据权利要求1所述的方法,其特征在于,所述存储所述序列化之后的第一数据流,包括:

4.根据权利要求3所述的方法,其特征在于,所述对所述序列化之后的数据流进行压缩并存储,包括:<...

【专利技术属性】
技术研发人员:陈少钦牛贞昊谢磊
申请(专利权)人:北京有竹居网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1