数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置、设备及存储介质，该方法可以包括：首先，在磁盘缓存中读取或者写入第一存储块的第一数据的情况下，确定磁盘缓存的剩余存储空间是否小于预设存储空间，第一存储块为最近一次添加到磁盘缓存中的存储块；然后，在磁盘缓存的剩余存储空间小于预设存储空间的情况下，通过异步线程对第一类接口中存储的目标数据进行处理，以释放目标数据占用的磁盘缓存的存储空间。由此，保证传输数据的稳定性，提高数据传输效率。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
本专利技术是涉及通信
，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
分析型数据库(AnalyticDB，ADB)是一种海量数据实时高并发在线分析(RealtimeOLAP)云计算服务，可以在毫秒级针对千亿级数据进行即时的多维分析透视和数据探索。其中，ADB实例可以分为存储密集型实例。在存储密集型实例的场景中，集群中每个工作节点(worker)都有本地固态硬盘(SolidStateDrives，SSD)用来存储热点数据。但是，目前采用SSD存储热点数据时，是在热点数据存满之后，再对SSD中的数据进行移除。这样，会出现阻塞正常的读、写操作，导致SSD磁盘接口的性能抖动；另外，在高并发的情况下，SSD磁盘接口性能下降会更加明显，延长数据查询时间。由此，降低数据传输的效率，严重影响用户的查询体验。
技术实现思路
本专利技术一个或多个实施例描述了一种数据处理方法、装置、设备及存储介质，用以解决相关技术中，采用SSD存储热点数据时，传输数据的稳定性较差以及效率低的问题。<本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n在磁盘缓存中读取或者写入第一存储块的第一数据的情况下，确定所述磁盘缓存的剩余存储空间是否小于预设存储空间，所述第一存储块为最近一次添加到所述磁盘缓存中的存储块；/n在所述磁盘缓存的剩余存储空间小于预设存储空间的情况下，通过异步线程对第一类接口中存储的目标数据进行处理，以释放所述目标数据占用的所述磁盘缓存的存储空间，所述第一类接口与所述磁盘缓存对应。/n

【技术特征摘要】
1.一种数据处理方法，包括：
在磁盘缓存中读取或者写入第一存储块的第一数据的情况下，确定所述磁盘缓存的剩余存储空间是否小于预设存储空间，所述第一存储块为最近一次添加到所述磁盘缓存中的存储块；
在所述磁盘缓存的剩余存储空间小于预设存储空间的情况下，通过异步线程对第一类接口中存储的目标数据进行处理，以释放所述目标数据占用的所述磁盘缓存的存储空间，所述第一类接口与所述磁盘缓存对应。


2.根据权利要求1所述的方法，其中，所述第一类接口包括第一存储队列接口和第二存储队列接口；
在所述确定所述磁盘缓存的剩余存储空间是否小于预设存储空间之前，所述方法还包括：
将所述第一存储块添加到所述第一存储队列接口或者所述第二存储队列接口，且将与所述第一存储块对应的第一键标识添加到第二类接口，以根据所述第二类接口记录的所述第一键标识，确定所述第一存储块在所述第一存储队列或者第二存储队列中存储所述第一数据的位置，所述第二类接口与所述磁盘缓存对应。


3.根据权利要求2所述的方法，其中，所述在所述磁盘缓存的剩余存储空间小于预设存储空间的情况下，通过异步线程对第一类接口中存储的目标数据进行处理，包括：
在所述磁盘缓存的剩余存储空间小于预设存储空间的情况下，确定所述第二类接口中的键标识是否满足预设条件，所述键标识包括第一键标识；
在所述键标识满足预设条件的情况下，通过异步线程对第一类接口中存储的目标数据进行处理；
其中，所述预设条件包括下述中的至少一种：所述键标识的数量大于或者等于预设数量、所述键标识中第二键标识的搜索次数大于或者等于预设搜索次数。


4.根据权利要求3所述的方法，其中，所述在所述键标识满足预设条件的情况下，所述通过异步线程对第一类接口中存储的目标数据进行处理，包括：
在所述键标识满足所述键标识的数量值大于或者等于预设数量值的情况下，按照从所述第一存储队列接口的尾部到所述第一存储队列接口的头部的顺序，移除至少一个第二存储块中的目标数据；
在确定所述第一存储队列接口满足预设移除条件的情况下，按照从所述第二存储队列接口的尾部到所述第二存储队列接口的头部的顺序，移除至少一个第三存储块中的目标数据；
其中，所述目标数据包括在预设时间内读取次数小于预设阈值的数据。


5.根据权利要求3所述的方法，其中，所述通过异步线程对第一类接口中存储的目标数据进行处理，包括：
在所述键标...

【专利技术属性】
技术研发人员：贺广南，印才华，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY