【技术实现步骤摘要】
本专利技术涉及人工智能数据处理，具体涉及一种用于加速ai数据处理的多阶段缓存方法。
技术介绍
1、在人工智能和深度学习的模型训练中，ai数据处理是重要的前置阶段，因此如何提高ai数据处理速度成为现实需求。
2、现有的quiver和icache等缓存技术使用关注数据加载层的缓存策略，调用gpu对原始数据的缓存，保留重要数据，并对不重要的数据进行驱逐，从而提高数据处理效率。
3、但是现有技术仅考虑了缓存原始数据，并未考虑对预处理后数据的缓存，而数据预处理在数据加载阶段占据的时间往往很高，因此现有技术对数据处理的加速效果较为有限，并且现有技术大多仅限在gpu上使用，缺少跨多个硬件平台的兼容性，因此本专利技术提供一种用于加速ai数据处理的多阶段缓存方法，解决现有技术存在的问题。
技术实现思路
1、本专利技术的目的在于提供一种用于加速ai数据处理的多阶段缓存方法，解决以下技术问题：
2、现有数据处理过程中的缓存技术没有考虑对预处理后的数据进行缓存，导致在数据处理方...
【技术保护点】
1.一种用于加速AI数据处理的多阶段缓存方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于加速AI数据处理的多阶段缓存方法，其特征在于，缓存客户端与缓存服务器之间使用gRPC框架时，为缓存客户端向缓存服务器发送的每个请求设置变量rq和reply，所述rq用于记录需要发送到缓存服务器的信息，所述reply用于获取从缓存服务器发送的响应信息。
3.根据权利要求1所述的一种用于加速AI数据处理的多阶段缓存方法，其特征在于，对图结构进行验证的具体过程为：
4.根据权利要求3所述的一种用于加速AI数据处理的多阶段缓存方法，其特...
【技术特征摘要】
1.一种用于加速ai数据处理的多阶段缓存方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于加速ai数据处理的多阶段缓存方法，其特征在于，缓存客户端与缓存服务器之间使用grpc框架时，为缓存客户端向缓存服务器发送的每个请求设置变量rq和reply，所述rq用于记录需要发送到缓存服务器的信息，所述reply用于获取从缓存服务器发送的响应信息。
3.根据权利要求1所述的一种用于加速ai数据处理的多阶段缓存方法，其特征在于，对图结构进行验证的具体过程为：
4.根据权利要求3所述的一种用于加速ai数据处理的多阶段缓存方法，其特征在于，判断验证通过后，对图结构进行转换的具体过程为：
5.根据权利要求4所述的一种用于加速ai...
【专利技术属性】
技术研发人员：顾乃杰，王聪，张辉，曹延飞，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。