【技术实现步骤摘要】
一种数据缓存方法、装置、设备以及存储介质
[0001]本专利技术涉及大数据领域，尤其涉及一种数据缓存方法、装置、设备以及存储介质。
技术介绍
[0002]随着互联网飞速发展，以及4G和5G技术的广泛应用，各种结构化和非结构化的数据不断产生。利用资源管理器对数据进行处理已广泛应用在不同的领域，当数据规模大或数据处理量较大时，对服务器集群的CPU和磁盘IO都会造成较大压力。
[0003]如何对资源管理器进行数据处理过程中产生的相关数据进行有针对性的缓存处理，缓解服务器集群压力，提高数据处理的效率，是目前亟待解决的问题。
技术实现思路
[0004]本专利技术提供了一种数据缓存方法、装置、设备以及存储介质，以对不同数据进行有针对性地缓存处理，缓解服务器集群压力，提高数据处理的效率。
[0005]根据本专利技术的一方面，提供了一种数据缓存方法，由资源管理器执行，包括：
[0006]响应于数据处理任务，确定执行所述数据处理任务的服务器集群，并控制所述服务器集群中的管理服务器与计算服务器进行交互，执...
【技术保护点】
【技术特征摘要】
1.一种数据缓存方法，其特征在于，由资源管理器执行，包括：响应于数据处理任务，确定执行所述数据处理任务的服务器集群，并控制所述服务器集群中的管理服务器与计算服务器进行交互，执行所述数据处理任务；在执行所述数据处理任务的过程中，对服务器集群磁盘读写的IO速率进行监测；若检测到所述IO速率超过预设的速率阈值，则采用不同的缓存策略，分别对资源管理器产生的中间数据和所述数据处理任务产生的磁盘数据进行缓存处理。2.根据权利要求1所述的方法，其特征在于，采用不同的缓存策略，分别对资源管理器产生的中间数据和所述数据处理任务产生的磁盘数据进行缓存处理，包括：对服务器集群的剩余内存进行分析，并根据所述分析结果对资源管理器产生的中间数据进行缓存处理；确定数据处理任务产生的磁盘数据对应的数据存储配置文件，并对所述数据存储配置文件进行修改，得到更新后的磁盘数据的存储地址；根据更新后的磁盘数据的存储地址，对数据处理任务产生的磁盘数据进行缓存处理。3.根据权利要求2所述的方法，其特征在于，对服务器集群的剩余内存进行分析，并根据所述分析结果对资源管理器产生的中间数据进行缓存处理，包括：确定服务器集群的剩余内存是否大于预设的内存阈值；若是，则基于预设的资源管理器计算单元，对剩余内存进行分配，将剩余内存挂载给管理服务器对应的专属磁盘，并将所述资源管理器产生的中间数据缓存至所述管理服务器对应的专属磁盘。4.根据权利要求1所述的方法，其特征在于，采用不同的缓存策略，分别对资源管理器产生的中间数据和数据处理任务产生的磁盘数据进行缓存处理之前，还包括：控制管理服务器向各计算服务器发送调整指令，以指示计算服务器基于预先配置的缓存卡，将数据盘做成单盘并开启缓存卡的缓存功能；控制管理服务器向各计算服务器发送操作指令，以指示计算服务器进行磁盘优化操作；所述磁盘优化操作包括以下至少一种：修改IO调度算法、设置磁盘预读缓存以及将脏数据写回磁盘。5.根据权利要求4所述的方法，其特征在于，控制管理服务器向各计算服务器发送操作指令，以指示计算服务器进行磁盘优化操作，包括：控制管理服务器向各计算服务器发送操...
【专利技术属性】
技术研发人员：潘潘，焦岩，李嵩伟，姜海旺，马庆怀，朱春屹，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。