数据处理方法、装置及存储引擎制造方法及图纸

本发明专利技术实施例涉及一种数据处理方法、装置及存储引擎，该方法包括：获取访问请求；识别与访问请求对应的请求类型和请求标志；根据请求类型、请求标志，以及预获取的数据存储策略，确定访问请求对应的存储介质；在存储介质中，对与访问请求对应的数据对象，执行与访问请求对应的操作。对于数据的缓存不再是在两个存储池中进行迁移缓存，而是在缓存引擎内部完成，不会引入跨网流量，大大降低迁移系统的开销，而且，正是因为不再采用池级存储，自然也就避免了单纯缓存池只能给单个存储池进行缓存的缺陷。数据仅存储两层存储介质中的其中一层，而不是存多份，从而增加总的可用容量，使得存储设备的利用更加高效经济。设备的利用更加高效经济。设备的利用更加高效经济。

【技术实现步骤摘要】
数据处理方法、装置及存储引擎


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据处理方法、装置及存储引擎。

技术介绍

[0002]高性能分布式存储系统通常是以统一存储层为底座，同时包含块、文件和对象存储服务。无论数据分片的定位是有中心的设计还是无中心的设计，分布式存储系统中数据面服务都是主要负责数据的读取、写入。
[0003]数据面服务中的存储引擎对磁盘空间进行管理，磁盘数据的读写都需要经过存储引擎。HDD一般具有较大的容量，并且可以实现良好的顺序读和写操作，但是在随机写和读时非常慢，因此它们的IOPS级别较低；SSD 具有非常好的整体性能，尤其是较高的IOPS，因此随机写入和读取要比 HDD更好，但是它们的容量却很小。由于SSD价格昂贵，存储空间小，而HDD价格低廉，存储空间大，因此采用SSD作为缓存，HDD作为数据存储盘，既解决了SSD容量太小，又解决了HDD运行速度太慢的问题。
[0004]使用SDD作为HDD缓存通常有两种实现方式：其中一种为存储池级分层存储。使用高速池(cacha pool，缓存池，由SS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于存储引擎，所述存储引擎包括两层存储介质，包括：获取访问请求；识别与所述访问请求对应的请求类型和请求标志；根据所述请求类型、请求标志，以及预获取的数据存储策略，确定所述访问请求对应的存储介质，其中，所述存储介质为两层存储介质中的其中一层存储介质；在所述存储介质中，对与所述访问请求对应的数据对象，执行与所述访问请求对应的操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述请求类型、请求标志，以及预获取的数据存储策略，确定所述访问请求对应的存储介质，具体包括：根据所述请求类型和请求标志，确定所述访问请求的优先级；根据所述访问请求的优先级，确定与所述访问请求对应的存储介质。3.根据权利要求1或2所述的方法，其特征在于，当所述存储介质为两层存储介质的第一存储介质，且确定对所述数据对象执行的操作为在第一存储介质写入所述数据对象时，所述方法还包括：确定所述数据对象之前是否已存储在所述第一存储介质中；当确定所述数据对象之前未存储在所述第一存储介质时，查询所述第一存储介质的存储空间是否还能够承载所述数据对象；当确定所述存储空间能够承载所述数据对象时，将所述数据对象写入到所述第一存储介质；或者，当确定所述存储空间不能够承载所述数据对象时，将所述数据对象加入到等待队列，并周期性地查询所述第一存储介质的存储空间；直至确定所述第一存储介质的存储空间能够承载所述数据对象时，将所述数据对象写入到所述第一存储介质。4.根据权利要求3所述的方法，其特征在于，所述存储介质还包括：第二存储介质，其中，所述第一存储介质的数据读写效率高于所述第二存储介质；当所述存储介质为两层存储介质中的第二存储介质，且确定对所述数据对象执行的操作为在第二存储介质写入所述数据对象时，直接将所述数据对象写入所述第二存储介质。5.根据权利要求4所述的方法，其特征在于，当所述存储介质为所述第一存储介质，且确定对所述数据对象执行的操作为从所述第一...

【专利技术属性】
技术研发人员：杨朝辉，吴强，程翔，黄新锐，孟宪晴，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：