数据过滤方法、数据过滤装置、存储介质及产品制造方法及图纸

本发明专利技术提供一种数据过滤方法、数据过滤装置、存储介质及产品。该方法包括：接收主机端设备发送的过滤器和右表对应的属性信息，所述过滤器由所述主机端设备根据左表构建获得；根据所述过滤器和所述属性信息获得目标数据块，并将所述目标数据块发送至所述主机端设备。本发明专利技术方法中，由可计算存储设备对数据进行过滤操作，过滤操作不需要在主机端进行，从而减小主机端CPU的计算压力，同时节省总线带宽和内存带宽的占用量。带宽的占用量。带宽的占用量。

【技术实现步骤摘要】
数据过滤方法、数据过滤装置、存储介质及产品


[0001]本专利技术涉及通信技术，尤其涉及一种数据过滤方法、数据过滤装置、存储介质及产品。

技术介绍

[0002]多表连接是当前数据库处理中常见的一种操作，当参与连接的表大小相差很多而且数据没有排序和索引的情况下，常使用哈希连接的方式进行多表之间的连接。
[0003]现有的哈希连接，主机会选择一个数据量小的表作为左表，然后根据左表对右表进行过滤找到符合哈希连接的数据。
[0004]而右表的数据量远大于左表，主机在建立哈希连接时的数据过滤会给主机CPU带来很大的计算压力，主机读取右表的数据使得带宽占用量较大。

技术实现思路

[0005]本专利技术提供一种数据过滤方法、数据过滤装置、存储介质及产品，用以解决哈希连接的数据过滤使主机CPU计算压力增大，同时导致带宽占用量较大的问题。
[0006]第一方面，本专利技术提供一种数据过滤方法，包括：
[0007]接收主机端设备发送的过滤器和右表对应的属性信息，所述过滤器由所述主机端设备根据左表构建获得；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据过滤方法，其特征在于，所述方法包括：接收主机端设备发送的过滤器和右表对应的属性信息，所述过滤器由所述主机端设备根据左表构建获得；根据所述过滤器和所述属性信息获得目标数据块，并将所述目标数据块发送至所述主机端设备。2.根据权利要求1所述的方法，其特征在于，所述右表对应的属性信息包括逻辑块信息和数据类型，所述根据所述过滤器和属性信息获得目标数据，包括：根据所述逻辑块信息在预存的右表中截取对应的初始数据；根据所述数据类型对所述初始数据进行解析获得解析后的初始数据；采用所述过滤器对所述解析后的初始数据进行过滤获得目标数据；对所述目标数据按照预设的数据块封装策略进行封装获得目标数据块。3.根据权利要求2所述的方法，其特征在于，所述逻辑块信息包括逻辑块地址、偏移量和长度，所述根据所述逻辑块信息在预存的右表中截取对应的初始数据，包括：根据所述逻辑块地址在预存的右表中进行查找获得与逻辑块地址对应的逻辑块数据；根据所述偏移量和所述长度在所述逻辑块数据中截取对应的初始数据。4.根据权利要求2所述的方法，其特征在于，所述采用所述过滤器对所述解析后的初始数据进行过滤获得目标数据，包括：确定所述过滤器对应的过滤器类型，并根据所述过滤器类型确定对应的过滤策略；根据所述过滤策略对所述解析后的初始数据进行过滤获得目标数据。5.根据权利要求4所述的方法，其特征在于，所述根据所述过滤器类型确定对应的过滤策略，包括：若过滤器类型为哈希表对应的过滤器，则确定对应的过滤策略为哈希表对应的第一过滤策略；若过滤器类型为布隆过滤器，则确定对应的过滤策略为布隆过滤器对应的第二过滤策略。6.根据权利要求5所述的方法，其特征在于，若所述过滤策略为所述第一过滤策略，所述根据所述过滤策略对所述解析后的初始数据进行过滤获得目标数据，包括：确定所述解析后的初始数据是否与所述哈希表中的数据匹配；若是，则将匹配的初始数据确定为所述目标数据；若所述过滤策略为所述第二过滤策略，所述根据所述过滤策略对所述解析后的初始数据进行过滤获得目标数据，包括：确定所述解析后的初始数据对应的比特位是否置1；若是，则将该初始数据确定为所述目标数据。7.根据权利要求2所述的方法，其特征在于，所述对所述目标数据按照预设的数据块封装策略进行封装获得目标数据块，包括：将所述目标数据存放至缓存空间中，在所述缓存空间中将所述目标数据按照预设的数据块封装策略中配置的有效数据长度、目标数据、目标数据个数和原始校验码进行封装获得目标数据块。8.一种数据过滤方法，其特征在于，所述的方法包括：
接收哈希连接请求，解析...

【专利技术属性】
技术研发人员：郑宁，熊中哲，
申请(专利权)人：锐掣杭州科技有限公司，
类型：发明
国别省市：