一种数据处理方法及装置、电子设备、芯片及介质制造方法及图纸

技术编号:46598363 阅读:0 留言:0更新日期:2025-10-10 21:30
本公开公开了一种数据处理方法、装置及电子设备,涉及数据处理领域,包括:根据待存储数据的使用场景,确定待存储数据的存储策略;基于存储策略,将待存储数据存储至存储系统中的至少一个存储介质,存储系统包括多类存储介质。本公开可以降低大量数据存储和维护的成本,增加了数据灵活性。

【技术实现步骤摘要】

本公开涉及数据处理,具体涉及一种数据处理方法及装置、电子设备、芯片及介质


技术介绍

1、近年来,随着大数据、人工智能、云计算等新技术的迅速发展和广泛应用,数据量大幅增加已成为一个普遍现象。数据存储、处理的场景及工程复杂性也在逐渐提升。

2、目前常见的数据使用方法是线上业务通过缓存+db持久化处理的方式使用数据,算法则通过离线服务甚至传统的文件方式使用数据。但是在数据量增多后,db存储成本显著增高,性能也会受到挑战;其次,训练数据在整合、流转、线上实时使用的场景下均很难使用;且在数据量增多后,由于数据分散,会造成不易维护。


技术实现思路

1、本公开提供一种数据处理方法及装置、电子设备、芯片及介质,以解决相关技术中数据量增多后,存储、流转、使用难以统一和存储成本、维护成本高的问题。

2、本公开的第一方面实施例提出了一种数据处理方法,该方法包括:根据待存储数据的使用场景,确定待存储数据的存储策略;基于存储策略,将待存储数据存储至存储系统中的至少一类存储介质,存储系统包括多类存储介质。...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求2所述的方法,其特征在于,所述根据待存储数据的使用场景,确定所述待存储数据的存储策略,包括以下任一项:

4.根据权利要求3所述的方法,其特征在于,所述基于所述存储策略,将所述待存储数据存储至存储系统中的至少一类存储介质,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.一种数据处理装置,其特征在于,所述装置包括:

8...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求2所述的方法,其特征在于,所述根据待存储数据的使用场景,确定所述待存储数据的存储策略,包括以下任一项:

4.根据权利要求3所述的方法,其特征在于,所述基于所述存储策略,将所述待存储数据存储至存储系统中的至少一类存储介质,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

...

【专利技术属性】
技术研发人员:黄鹤南
申请(专利权)人:作业帮教育科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1