一种基于大数据的计算设备的缓存与预取加速方法和装置制造方法及图纸

一种基于大数据的计算设备的缓存与预取加速方法和装置，与传统的以设备为优化对象的缓存模式不同的是，该方法由大量缓存或预取服务装置对云端提交数据，包含这些服务装置所服务的被服务设备上的各种应用程序或网络操作的部分特征数据，所谓的特征数据主要指缓存与预取操作所关注的特征数据，比如应用读操作写操作比例、I/O请求类型、文件大小、使用频率、缓存优化经验、被服务端缓存设备硬件类型、用户群特征等，云端在收到数据后进行统计与分析，挖掘对于不同应用的优化缓存或预取方案，再以主动反馈或被动应答等方式将优化后的缓存方案与预判方案返回到缓存服务装置进行处理，可直接进行预判性质的工作与针对性优化，而无需重新长期积累缓存数据。

【技术实现步骤摘要】
一种基于大数据的计算设备的缓存与预取加速方法和装置
该产品属于计算机设备与信息科学
是一种基于大数据与云技术的跨设备交互的计算机与智能设备加速方法。
技术介绍
首先需要说明的是，本专利技术所指的缓存主要是指的计算机与智能计算设备的磁盘缓存，即用于加速系统运行，突破磁盘性能瓶颈的缓存，而不是视频流媒体缓存或路由web缓存。磁盘缓存技术是为了解决磁盘速度瓶颈而出现的。磁盘性能的提高远远落后于处理器等电子设备，这使得存储系统仍旧是整个计算机系统的性能瓶颈。缓存(Caching)以及预取(Prefetching)是能够提高存储系统性能的两种非常有效的技术。缓存技术的思想是将经常访问的数据放在快速访问设备中，加快其存取速度，减少等待时间。预取技术是把将来有可能马上要被访问到的数据预先从慢速设备中预取到快速设备中。其中，由于预取实际上也是磁盘缓存调配的一种，故在本文中将两者统称为磁盘缓存技术。缓存技术(Caching)，顾名思义，就是当上下两层次的设备读写性能差异较大时，介于上一级的高性能设备与下一级的低性能设备之间的一个缓冲层，其容量低于下一级的低性能设备，而性能往往低于上一级的高性能设备，但是其速度大于低性能设备，通过转移原本指向低性能设备的读写来提升性能。Cache一词来源于1967年的一篇电子工程期刊论文。凡是位于速度相差较大的两种硬件之间，用于协调两者数据传输速度差异的结构，均可称之为Cache。正是考虑到了缓存技术在整个存储体系中的重要地位，大量以提高缓存命中率、最小化磁盘I/O数量为目标的缓存管理算法纷纷涌现。比如，LRU是应用最为广泛的缓存管理算法，算法的核心思想就是优先将那些设备在最近一段时期内最少访问的数据替换出缓存，从而最大限度保障缓存的利用效率。另外，还有一些与LRU相反的缓存管理算法，它们是针对应用中特定访问模式而设计的。比如最多使用替换算法(MostRecentlyUsed,MRU)也被称为读取-替换算法。与LRU优先替换出设备最近最少使用的数据不同，MRU总是从设备缓存中替换出最近使用的数据块。之所以如此，是因为MRU最初是为一些类似于顺序扫描、循环扫描的访问模式所设计的。无论是基于空间局部性还是访问频率，缓存管理算法的最终目标就是提高设备端缓存的命中率、最小化设备磁盘I/O的数量。预取技术(Prefetching)是提高存储系统性能的另一项重要技术。预取是将那些尚未访问但未来可能访问的数据预先从磁盘等低速存储设备成批读取到缓存等高速存储设备中，以提高数据访问的速度，并最终提升整个存储系统的性能。预取技术的有效性主要取决于两个方面：一个是预取的精确度以及受其影响的缓存命中率，另一个则是预取中顺序性的挖掘。一些研究试图通过保存更多更久的历史访问信息来提升预测的准确性。另外一类算法则通过设备的历史访问信息来挖掘文件之间或者数据块之间的访问关系，并基于这些关系预测未来的访问数据，提高缓存的命中率。无论缓存还是预取，一直以来，磁盘缓存技术的算法、优化、自我学习都是局域的，针对具体设备的，将优化寄希望于长时间的校正。这是因为，在过去，磁盘缓存系统都是为提升本设备性能设计的，其既无法获得其他设备的缓存信息，也无法影响其他设备的运行，何况设备之间差异巨大即使实现各个设备系统之间的交互似乎也毫无意义。原因1.无法获得其他设备的缓存信息在过去，磁盘缓存都与各自设备形成一个孤立的系统，与其他设备的缓存并没有任何交互。原因2.无法影响其他设备的运行既然各自都是孤立的系统，自然无法彼此影响。原因3.设备之间差异巨大即使实现各个设备系统之间的交互似乎也毫无意义以缓存本身的建立过程为例，需要积累该设备的运行数据，才能统计出常用文件，并将这些常用文件进行缓存。显然，此处所说的常用文件就是针对具体设备，离开了具体设备根本就没有常用文件这个概念。一个计算机工程师的电脑常用程序，比如VisualC或者Dreamwaver，可能在普通用户的计算机上根本就不会安装，那两者之间的缓存系统又有什么可比性呢？更何况，不同设备的缓存本身也差异巨大，过去绝大部分计算机并没有设置处理器缓存之外的磁盘缓存，少数服务器应用有缓存技术，一些台式计算机应用有基于固态硬盘缓存技术(如混合硬盘)，这些设备之间，无缓存的，有缓存的，有完全不同缓存设备的，设备之间差别巨大。因此面向设备的缓存技术没有交互的可能。然而，磁盘缓存方案不一定要局限在以具体设备为对象。如果转而以具体应用为对象形成针对应用的缓存优化方案，就存在不同设备间数据交互的价值，而如果又为磁盘缓存配置一个交互装置，将本地设备的磁盘缓存针对具体应用的优化数据与云端之间上传、反馈，就能够实现交互、统计、数据分析的功能。并且，磁盘缓存的模式是会发生改变的。在专利技术人的另一项专利中(2014105350389)，专利技术人提出了跨设备的磁盘缓存系统，跨设备的缓存系统中服务端与被服务端之间是短距离多通道的网络，而服务端之间可以依靠光纤等实现交互。这样，该跨设备的缓存系统就可以形成网络，获得大数据，并能应用云技术。
技术实现思路
本专利技术提出一种基于大数据与云技术的缓存与预取方法，改变之前缓存与预取技术的局域特性，挖掘缓存方案与经验的数据特性，变设备对象型的缓存操作为应用对象型的缓存操作，变固定设备型操作为跨设备操作。本专利技术提供了一种计算机与智能设备加速方法，该方法由多个或大量的缓存服务装置或预取服务装置对云端，包括远程服务器提交数据，云端在收到数据后进行统计与分析，再以主动反馈或被动应答方式将反馈信息包括优化后的缓存方案或预取方案反馈给各服务装置，以便各服务装置依据反馈信息进行相应的缓存或预取处理，包括针对某个应用的缓存优化；所述缓存服务装置或预取服务装置与云端之间的上传或下载的数据全部以加密的形式传递，所述缓存服务装置或预取服务装置上传的数据还包括用户群特征数据，具体为年龄范围、职业范围、兴趣范围；相应地，云端反馈的优化方案也包括针对不同用户群对于不同应用对象的使用特征进行优化或预判的方案；所述缓存服务装置或预取服务装置上传的数据还包括I/O类型信息，相应的，在云端分析给出的优化方案包括对不同应用中不同I/O类型的优化方案，包括标记区分I/O的类型，判断缓存设备最擅长的随机读操作I/O类型，通过在I/O过程中判别其特征，择优分配缓存设备进行缓存；工作流程：第一、调取被服务端设备部分的内存，将其虚拟成磁盘作为一级缓存，并在关机时保存其内容到文件数据包，开机时载入该数据包到虚拟的内存磁盘；第二、检测是否存在可用磁盘缓存，包括对低速磁盘的移动设备检测是否有wigig外接的高速闪存，或能检测到可用缓存，就创建为二级缓存或由用户同意是否创建，根据读写操作等进行缓存与预取，通过对用户习惯进行长期监测识别，判断出系统即将使用哪些数据，预存在缓存设备中；装置还对设备硬件与创建的各种缓存进行测试，判断其缓存性能特征，进行归类，包括属于随机读取缓存设备还是4K写缓存设备；该归类信息既会与本机的缓存优化数据一起加密上传云端，也会用于应用云端反馈回的方案；相应的，在云端分析给出的优化方案并不是一个应用对应一份的，而是具体的、分类的优化方案中的一份，在何种缓存结构上，对应某个应用应采用何种方案，这种依据各类缓存设备本文档来自技高网...

【技术保护点】
一种计算机与智能设备加速方法，该方法由多个或大量的缓存服务装置或预取服务装置对云端（如远程服务器等）提交数据，云端在收到数据后进行统计与分析，再以主动反馈或被动应答等方式将反馈信息（如优化后的缓存方案或预取方案）反馈给各服务装置，以便各服务装置依据反馈信息进行相应的缓存或预取处理（如针对某个应用的缓存优化）等。

【技术特征摘要】
1.一种计算机与智能设备加速方法，其特征在于，该方法由多个或大量的缓存服务装置或预取服务装置对云端，包括远程服务器提交数据，云端在收到数据后进行统计与分析，再以主动反馈或被动应答方式将反馈信息包括优化后的缓存方案或预取方案反馈给各服务装置，以便各服务装置依据反馈信息进行相应的缓存或预取处理，包括针对某个应用的缓存优化；所述缓存服务装置或预取服务装置与云端之间的上传或下载的数据全部以加密的形式传递，所述缓存服务装置或预取服务装置上传的数据还包括用户群特征数据，具体为年龄范围、职业范围、兴趣范围；相应地，云端反馈的优化方案也包括针对不同用户群对于不同应用对象的使用特征进行优化或预判的方案；所述缓存服务装置或预取服务装置上传的数据还包括I/O类型信息；相应的，在云端分析给出的优化方案包括对不同应用中不同I/O类型的优化方案，包括标记区分I/O的类型，判断缓存设备最擅长的随机读操作I/O类型，通过在I/O过程中判别其特征，择优分配缓存设备进行缓存；工作流程：第一、调取被服务端设备部分的内存，将其虚拟成磁盘作为一级缓存，并在关机时保存其内容到文件数据包，开机时载入该数据包到虚拟的内存磁盘；第二、检测是否存在可用磁盘缓存，包括对低速磁盘的移动设备检测是否有wigig外接的高速闪存，或能检测到可用缓存，就创建为二级缓存或由用户同意是否创建，根据读写操作等进行缓存与预取，通过对用户习惯进行长期监测识别，判断出系统即将使用哪些数据，预存在缓存设备中；装置还对设备硬件与创建的各种缓存进行测试，判断其缓存性能特征，进行归类，包括属于随机读取缓存设备还是4K写缓存设备；该归类信息既会与本机的缓存优化数据一起加密上传云端，也会用于应用云端反馈回的方案；相应的，在云端分析给出的优化方案并不是一个应用对应一份的，而是具体的、分类的优化方案中的一份，在何种缓存结构上，对应某个应用应采用何种方案，这种依据各类缓存设备进行不同处理有利于应用优化方案；包括标记分别出并行设备与串行设...

【专利技术属性】
技术研发人员：张维加，
申请(专利权)人：张维加，
类型：发明
国别省市：浙江;33