【技术实现步骤摘要】
一种流式数据的缓存方法及装置
本专利技术涉及数据处理
，特别是涉及一种流式数据的缓存方法及装置。
技术介绍
随着信息技术的不断发展，人类活动所产生的数据正在以超越几何级数的速度快速膨胀，形成无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，也就是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产，也就是大数据。流处理是一种主要的大数据处理模式，其中，流处理的数据源是实时流式数据，对实时性要求较高。在流式数据处理系统中通常需要使用消息中间件起到数据缓冲的作用。流式数据处理的主要需要解决的流式数据的背压问题，当接收数据速度大于数据处理速度，却又不希望丢失数据时，就需要一个数据缓冲区容纳已接收而未被处理的数据。这种缓冲机制常常利用消息中间件或消息队列工具实现。在许多应用场景中，消息中间件的上游流式数据源输出不稳定的、非均匀的、突发的流数据，消息中间件不能自发适应数据流量的变化，也就是使用消息中间件并不意味着完全消除了数据丢失的风险。在流数据输出的高峰时刻，流...
【技术保护点】
1.一种流式数据的缓存方法，其特征在于，包括：/n根据预置抽样频率和预置观测时长，采集可缓存设备接收到的历史数据流序列；/n根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流；/n根据流量配置映射关系，查找所述当前预测数据流对应的单次缓存数据包大小；/n根据所述查找结果，对当前实际数据流进行缓存。/n
【技术特征摘要】 【专利技术属性】
1.一种流式数据的缓存方法，其特征在于，包括：
根据预置抽样频率和预置观测时长，采集可缓存设备接收到的历史数据流序列；
根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流；
根据流量配置映射关系，查找所述当前预测数据流对应的单次缓存数据包大小；
根据所述查找结果，对当前实际数据流进行缓存。
2.如权利要求1所述的方法，其特征在于，所述根据所述历史数据流序列，预测当前抽样时刻的当前预测数据流，包括：
根据所述预置抽样频率和所述预置观测时长，计算所述当前抽样时刻相当于所述预置观测时长中的抽样位置；
在所述历史数据流序列中，查找所述抽样位置对应的当前预存数据流。
3.如权利要求1所述的方法，其特征在于，所述根据所述查找结果，对当前实际数据流进行缓存之后，所述方法还包括：
监测所述当前时刻的实际当前数据流；
计算所述预测当前流程数据与所述实际当前数据流的流量差；
如果所述流量差大于第一预置阈值，则按照第一预置学习率调整所述预置抽样频率和所述预置观测时长，且重新采集所述历史数据流序列；
如果所述流量差小于第二预置阈值，则按照第二预置学习率调整所述预置抽样频率和所述预置观测时长，且重新采集所述历史数据流序列。
4.如权利要求1所述的方法，其特征在于，所述按照流量配置映射关系，查找所述实际当前数据流对应的单次缓存数据包大小之前，所述方法还包括：
测试所述可缓存设备的数据流流速与单次缓存数据包大小之间的流量配置映射关系。
5.如权利要求4所述的方法，其特征在于，所述测试可缓存设备的数据流流速与单次缓存数据包大小之间的流量配置映射关系，包括：
在所述可缓存设备中，设置速度测试序列和缓存配置测试序列，所述测试序列包括多个数值不同的数据流流速，且所述数据流流速按照从小到大的顺序排列，所述缓存配置测试序列包括多个数值不同的配置缓存数据包大小，且所述配置缓存数据包大小按照从小到大的顺序排列；
将所述速度测试序列中每个所述数据流流速以所述缓存配置测试序列中每个所述配置缓存数据包大小进行缓存，测试并记录缓存过程中的平均吞吐速率和平均发送延迟；
根据所述和所述平均发送延迟，采用预置拟合算法，拟合每个所述数据流流速的所述平均吞吐速率对应的流量吞吐速率关系式，以及拟合每个所述数据流流速的所述平均发送延迟对应的流量发送延迟关系式；
将所述流量吞吐速率关系式和所述流量发送延迟关系式作为约束条件，采用非支配排序遗传算法NSGA，计算所述速度测试序列中每个所述数据流流速的非劣势配置区间，所述非劣势配置换区间是指使得所述数据流流速在缓存过程中符合所述约束条件的所述配置缓存数据包大小的可配置数据范围区间；
根据所述非劣势配置区间的配置中间值，采用回归模型拟合算法，计算与所述数据流流速对应的配置缓存数据包大小，获取所述数据流流速与所述单次缓存数据包大小之间的所述流量配置映射关系。
6.一种流式数据的缓存装置，其特征在于，包括：
技术研发人员：王绪亮，聂铁铮，黄菊，闫铭森，李迪，刘畅，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁;21
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。