【技术实现步骤摘要】
本公开涉及数据处理,具体涉及一种数据处理方法及装置、电子设备、芯片及介质。
技术介绍
1、近年来,随着大数据、人工智能、云计算等新技术的迅速发展和广泛应用,数据量大幅增加已成为一个普遍现象。数据存储、处理的场景及工程复杂性也在逐渐提升。
2、目前常见的数据使用方法是线上业务通过缓存+db持久化处理的方式使用数据,算法则通过离线服务甚至传统的文件方式使用数据。但是在数据量增多后,db存储成本显著增高,性能也会受到挑战;其次,训练数据在整合、流转、线上实时使用的场景下均很难使用;且在数据量增多后,由于数据分散,会造成不易维护。
技术实现思路
1、本公开提供一种数据处理方法及装置、电子设备、芯片及介质,以解决相关技术中数据量增多后,存储、流转、使用难以统一和存储成本、维护成本高的问题。
2、本公开的第一方面实施例提出了一种数据处理方法,该方法包括:根据待存储数据的使用场景,确定待存储数据的存储策略;基于存储策略,将待存储数据存储至存储系统中的至少一类存储介质,存储系统包括
...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,所述根据待存储数据的使用场景,确定所述待存储数据的存储策略,包括以下任一项:
4.根据权利要求3所述的方法,其特征在于,所述基于所述存储策略,将所述待存储数据存储至存储系统中的至少一类存储介质,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
7.一种数据处理装置,其特征在于,所述装置包
8...
【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,所述根据待存储数据的使用场景,确定所述待存储数据的存储策略,包括以下任一项:
4.根据权利要求3所述的方法,其特征在于,所述基于所述存储策略,将所述待存储数据存储至存储系统中的至少一类存储介质,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
...【专利技术属性】
技术研发人员:黄鹤南,
申请(专利权)人:作业帮教育科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。