一种面向大数据平台的远程缓存替换方法及装置制造方法及图纸

本发明专利技术提供一种面向大数据平台的远程缓存替换方法及装置。该方法包括：在数据库服务器根据用户的数据查询请求进行作业时，监控并采集作业信息；作业信息包括数据库服务器对数据查询请求的数据响应时间、每个待查询数据在设定时间段内的被查询次数和每个待查询数据的数据大小；根据作业信息生成每个待查询数据的原始数据权重；设计时间损失函数，时间损失函数用于量化待查询数据的数据权重与保存时间之间的变化关系；基于时间损失函数，对原始数据权重进行调整得到待查询数据的最终数据权重，并根据最终数据权重生成缓存候选列表；当缓存资源不足时，根据缓存候选列表清理掉当前缓存中的低数据权重的数据，并在缓存中存储高数据权重的数据。高数据权重的数据。高数据权重的数据。

【技术实现步骤摘要】
一种面向大数据平台的远程缓存替换方法及装置


[0001]本专利技术涉及互联网
，尤其涉及一种面向大数据平台的远程缓存替换方法及装置。

技术介绍

[0002]随着互联网的深入发展，互联网上的数据呈现出类型多样化，大小海量化的趋势。为了应对新型数据特点带来的挑战，大数据平台架构设计复杂度与日俱增。现代大数据平台系统常常划分为计算层和数据库存储层。计算层负责建立多主机计算节点，将作业拆分为多个任务并行计算。例如Mapreduce,Spark和Flink等热门分布式计算引擎。数据库存储层常常由多种不同类型的数据库作为存储组件，构建异构存储体系。例如文档型数据放入MongoDB数据库，关系型数据放入MySql数据库，大文件类型放入分布式文件系统HDFS，小文件放入HBase数据库。如图1所示，用户通过访问计算层建立工作任务。在用户访问数据时，通过路由网络向数据库发起查询请求。由于数据库请求带来较大的资源开销，当用户多次访问相同的数据时，查询的数据结果将被存储到应用缓存层，以便后续访问时直接读取。应用缓存层是一块由内存构建的存储区域，常见的缓存架构有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向大数据平台的远程缓存替换方法，其特征在于，包括：步骤1：在数据库服务器根据用户的数据查询请求进行作业时，监控并采集作业信息；所述作业信息包括数据库服务器对数据查询请求的数据响应时间、每个待查询数据在设定时间段内的被查询次数和每个待查询数据的数据大小；步骤2：根据所述作业信息生成每个待查询数据的原始数据权重；步骤3：设计时间损失函数，所述时间损失函数用于量化待查询数据的数据权重与保存时间之间的变化关系；步骤4：基于所述时间损失函数，对所述原始数据权重进行调整得到待查询数据的最终数据权重，并根据所述最终数据权重生成缓存候选列表；步骤5：当缓存资源不足时，根据所述缓存候选列表清理掉当前缓存中的低数据权重的数据，并在缓存中存储高数据权重的数据。2.根据权利要求1所述的一种面向大数据平台的远程缓存替换方法，其特征在于，在步骤1之前还包括：根据用户的输入信息生成并向数据库服务器发送数据查询请求。3.根据权利要求1所述的一种面向大数据平台的远程缓存替换方法，其特征在于，步骤1中，具体包括：采集所有数据库服务器对所述数据查询请求的数据响应时间，将其中最大的数据响应时间作为最终的数据响应时间，记作T
Query
：T
Query
＝Max(T
SubReq 1
，T
SubReq 2
，...，T
SubReqk
)
ꢀꢀꢀꢀ
(1)其中，T
SubReq 1
，T
SubReq 2
，...，T
SubReqk
分别表示数据库服务器1，2，
…
，k对数据查询请求的数据响应时间。4.根据权利要求1所述的一种面向大数据平台的远程缓存替换方法，其特征在于，步骤2中，根据所述作业信息生成每个待查询数据的原始数据权重，具体包括：按照公式(2)计算用户访问待查询数据的总时间代价T
cost
：T
cost
＝NumQ
×
T
Query
ꢀꢀꢀꢀ
(2)其中，NumQ表示待查询数据在设定时间段内的被查询次数；按照公式(3)计...

【专利技术属性】
技术研发人员：于俊洋，宋一鑫，潘顺杰，李绍华，赵子明，王锦江，李勃翰，
申请(专利权)人：河南大学，
类型：发明
国别省市：