数据处理方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

技术编号:29671922 阅读:23 留言:0更新日期:2021-08-13 21:53
本公开提供一种数据处理方法、装置、设备、存储介质及计算机程序产品。接收第一虚拟容器对象组件发送的针对存储系统的磁盘挂载请求;存储系统包括:用于存储数据量小于预设阈值的数据且可进行并行写操作和并行读操作的第一磁盘、用于存储数据量大于预设阈值的数据且可进行除并行写操作之外的其它读写操作的第二磁盘,用于存储数据量大于预设阈值的数据且只进行读操作的第三磁盘;从磁盘挂载请求中获取目标磁盘的信息和目标挂载模式;按照目标挂载模式,将目标磁盘和第一虚拟容器对象组件挂载,以使第一虚拟容器对象组件基于目标磁盘对目标数据进行处理。本公开根据各磁盘自身特点进行数据存储,提高了数据读写速度,进而提高了数据处理整体效率。

【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及计算机程序产品
本专利技术涉及计算机
,尤其涉及数据处理方法、装置、设备、存储介质及计算机程序产品。
技术介绍
pod(一种虚拟容器对象组件)作为kubernetes集群(为容器服务而生的一个可移植容器的编排管理工具)创建或部署的最小单位,一个pod即代表集群中正在运行的一个进程,其中包括一个或多个容器。由于pod具有进程隔离以及便于扩容的优势,因此,通常采用pod进行数据处理。例如:用户可以通过启动pod来进行机器学习模型的训练等。当待处理数据种类及数据量较多时,如何进行数据处理,以提升数据处理效率,是一个亟需解决的问题。
技术实现思路
根据本公开的第一方面,提供了一种数据处理方法,包括:接收第一虚拟容器对象组件发送的针对存储系统的磁盘挂载请求;所述存储系统包括:用于存储数据量小于预设阈值的数据且可进行并行写操作和并行读操作的第一磁盘、用于存储数据量大于所述预设阈值的数据且可进行除并行写操作之外的其它读写操作的第二磁盘,用于存储数据量大于所述预设阈值的数据且只进行读本文档来自技高网...

【技术保护点】
1.一种数据处理方法,包括:/n接收第一虚拟容器对象组件发送的针对存储系统的磁盘挂载请求;所述存储系统包括:用于存储数据量小于预设阈值的数据且可进行并行写操作和并行读操作的第一磁盘、用于存储数据量大于所述预设阈值的数据且可进行除并行写操作之外的其它读写操作的第二磁盘,用于存储数据量大于所述预设阈值的数据且只进行读操作的第三磁盘;/n从所述磁盘挂载请求中获取目标磁盘的信息和目标挂载模式,其中,所述目标磁盘为根据所述第一虚拟容器对象组件针对的目标数据的处理类型以及所述目标数据的数据量确定的磁盘;/n按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载,以使所述第一虚拟容器对象组件基于...

【技术特征摘要】
1.一种数据处理方法,包括:
接收第一虚拟容器对象组件发送的针对存储系统的磁盘挂载请求;所述存储系统包括:用于存储数据量小于预设阈值的数据且可进行并行写操作和并行读操作的第一磁盘、用于存储数据量大于所述预设阈值的数据且可进行除并行写操作之外的其它读写操作的第二磁盘,用于存储数据量大于所述预设阈值的数据且只进行读操作的第三磁盘;
从所述磁盘挂载请求中获取目标磁盘的信息和目标挂载模式,其中,所述目标磁盘为根据所述第一虚拟容器对象组件针对的目标数据的处理类型以及所述目标数据的数据量确定的磁盘;
按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载,以使所述第一虚拟容器对象组件基于所述目标磁盘对所述目标数据进行处理。


2.如权利要求1所述的数据处理方法,其中,当所述目标磁盘为所述第二磁盘且所述目标挂载模式为读写模式时,在所述按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载之前,所述方法还包括:
确定是否存在以读写模式挂载至所述第二磁盘的第二虚拟容器对象组件;
若不存在,则执行所述按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载的步骤。


3.如权利要求2所述的数据处理方法,其中,还包括:
若存在以读写模式挂载至所述第二磁盘的第二虚拟容器对象组件,将所述第二磁盘和所述第二虚拟容器对象组件卸载,并按照只读模式,将所述第二磁盘和所述第二虚拟容器对象组件挂载;
执行所述按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载的步骤。


4.如权利要求1所述的数据处理方法,其中,还包括:
接收第三虚拟容器对象组件发送的针对所述第二磁盘的挂载模式切换请求;
若所述挂载模式切换请求为由只读模式切换为读写模式的切换请求,确定是否存在以读写模式和所述第二磁盘挂载的第四虚拟容器对象组件;
若存在,则将所述第二磁盘和所述第四虚拟容器对象组件卸载,并按照只读模式,将所述第二磁盘和所述第四虚拟容器对象组件挂载;
将所述第二磁盘和第三虚拟容器对象组件卸载,并按照读写模式,将所述第二磁盘和所述第三虚拟容器对象组件挂载。


5.如权利要求1-4任一所述的数据处理方法,其中,当所述目标磁盘为所述第二磁盘时,所述按照所述目标挂载模式,将所述目标磁盘和所述第一虚拟容器对象组件挂载,包括:
确定所述第一虚拟容器对象组件所在的数据处理设备;
向所述数据处理设备发送所述挂载请求,以使所述数据处理设备按照所述目标挂载模式,将所述目标磁盘...

【专利技术属性】
技术研发人员:张永康高杨陈炳钢
申请(专利权)人:北京世纪好未来教育科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1