一种数据处理方法及装置制造方法及图纸

本发明专利技术实施例提供一种数据处理方法及装置，预先将数据的一个属性需要进行匹配的规则，利用指纹函数映射到第一指纹数字区间，从而可以利用每个规则对应的第一数字映射区间，将该属性需要进行匹配的规则通过平衡二叉树方法聚合为一棵判断树，使得可以利用该判断树每个叶子节点对应的第二指纹数字区间，判断接收到的数据的该属性的指纹信息属于哪个叶子节点，从而确定该数据的该属性匹配的规则子集。针对该数据的每个指定属性均做上述处理，即可确定该数据对应的规则集，实现将数据属性与该数据属性对应的每条规则进行规则匹配，保证了对数据属性的全面准确的判断，且通过判断树来匹配规则子集，还可以有效提高数据属性规则匹配的效率。

【技术实现步骤摘要】

本专利技术涉及通信领域，尤其涉及一种数据处理方法及装置。
技术介绍
在通信领域，为了保证数据的安全性，在进行数据处理时，需要将数据各维度的属 性与预先定义的规则进行比对，即进行规则匹配，并根据数据属性满足的规则，确定对数据 执行的操作。在对应用层数据进行规则匹配时，至少需要满足以下两方面要求1、针对每个数据属性，需要将数据属性与该数据属性对应的每条规则进行规则匹 配，以实现对数据属性的全面准确的判断；2、由于预先定义的规则数量较多，一般在“千”级别，因此需要实现数据属性高效 的规则匹配。目前常用的规则匹配算法包括IDS常用规则匹配算法和FW规则匹配算法。IDS常 用规则匹配算法和FW规则匹配算法主要针对网络层数据，只针对ip，协议，端口等网络数 据维度，同时FW规则匹配算法采取匹配即跳出的模式，不能对当前规则进行全匹配。因此，目前的FW规则匹配算法无法保证将数据属性与该数据属性对应的每条规 则进行规则匹配，同时，IDS常用规则匹配算法和FW规则匹配算法主要针对网络层数据，且 规则匹配的效率均较低，无法保证数据属性高效的规则匹配，不适用于对应用层数据的规 则匹配。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，用于提高数据属性规则匹配的效 率，并将数据属性与该数据属性对应的每条规则进行规则匹配，保证对数据属性的全面准 确的判断。一种数据处理方法，所述方法包括提取接收到的数据的每个指定维度的属性；针对每个指定维度的属性，按照预先定义的指纹函数，确定该属性的指纹信息； 确定每个指定维度的属性对应的预先确定出的判断树中，与该属性的指纹信息匹 配的叶子节点，该叶子节点对应的第二指纹数字区间包括该属性的指纹信息；针对每个指定维度的属性，根据与该属性的指纹信息匹配的叶子节点，确定与该 属性匹配的规则子集，该规则子集包括的每个规则映射到的第一指纹数字区间，均包括该 叶子节点对应的第二指纹数字区间；将每个指定维度的属性匹配的规则子集的交集，确定为所述数据匹配的规则集；其中，每个指定维度的属性对应的判断树，通过以下方式确定确定该指定维度的属性需要进行匹配的规则；根据所述预先定义的指纹函数，将每个该指定维度的属性需要进行匹配的规则映 射到第一指纹数字区间；根据所述第一指纹数字区间，利用平衡二叉树方法，将该指定维度的属性对应的 规则聚合为一棵判断树，该判断树的每个叶子节点对应一个第二指纹数字区间。一种数据处理装置，所述装置包括提取单元，用于提取接收到的数据的每个指定维度的属性；映射单元，用于针对提取单元提取出的每个指定维度的属性，按照预先定义的指 纹函数，确定该属性的指纹信息；存储单元，用于存储每个指定维度的属性对应的预先确定出的判断树，其中，每个 指定维度的属性对应的判断树，通过以下方式确定确定该指定维度的属性需要进行匹配 的规则；根据所述预先定义的指纹函数，将每个该指定维度的属性需要进行匹配的规则映 射到第一指纹数字区间；根据所述第一指纹数字区间，利用平衡二叉树方法，将该指定维度 的属性对应的规则聚合为一棵判断树，该判断树的每个叶子节点对应一个第二指纹数字区 间；匹配单元，用于确定存储单元存储的每个指定维度的属性对应的预先确定出的判 断树中，与该属性的指纹信息匹配的叶子节点，该叶子节点对应的第二指纹数字区间包括 该属性的指纹信息；针对每个指定维度的属性，根据与该属性的指纹信息匹配的叶子节点， 确定与该属性匹配的规则子集，该规则子集包括的每个规则映射到的第一指纹数字区间， 均包括该叶子节点对应的第二指纹数字区间；确定单元，用于将匹配单元确定出的每个指定维度的属性匹配的规则子集的交 集，确定为所述数据匹配的规则集。根据本专利技术实施例提供的方案，可以预先将数据的一个属性需要进行匹配的规 则，利用指纹函数映射到第一指纹数字区间，从而可以利用每个规则对应的第一数字映射 区间，将该属性需要进行匹配的规则通过平衡二叉树方法聚合为一棵判断树，使得可以利 用该判断树每个叶子节点对应的第二指纹数字区间，判断接收到的数据的该属性的指纹信 息属于哪个叶子节点，从而确定该数据的该属性匹配的规则子集。针对该数据的每个指定 属性均做上述处理，即可确定该数据对应的规则集，实现将数据属性与该数据属性对应的 每条规则进行规则匹配，保证了对数据属性的全面准确的判断，且通过判断树来匹配规则 子集，还可以有效提高数据属性规则匹配的效率。附图说明图1为本专利技术实施例一提供的数据处理方法的步骤流程图2为本专利技术实施例一提供的判断树示意图3为本专利技术实施例四提供的数据处理装置的结构示意图。具体实施方式针对现有技术中无法保证将数据属性与该数据属性对应的每条规则进行规则匹 配，且规则匹配的效率均较低的问题，本专利技术实施例提出，可以将一个属性需要进行匹配的 规则映射到第一指纹数字区间，根据规则映射到的第一指纹数字区间，将该属性需要进行 匹配的规则聚合为判断树。在对接收到的数据的该属性进行规则匹配时，即可以将该属性 映射到的指纹信息与判断树的叶子节点对应的第二指纹数字区间进行匹配，并可以利用匹配出的第二指纹数字区间确定该属性匹配的规则子集，从而实现将数据属性与该数据属性对应的每条规则进行规则匹配，并提高规则匹配的效率。为了进一步提高规则匹配效率，本专利技术实施例提出还可以调整判断树中每个叶子节点的位置，从而进一步加速利用判断树确定属性匹配的叶子节点的速度。同时，还可以设置判断树的优先级，按优先级顺序依次确定接收到的数据每个数据属性匹配的规则子集， 在部分数据属性匹配的规则子集没有交集时，即可以确定该数据没有匹配的规则，无需确定该数据的其他数据属性对应的规则子集，进一步提高数据属性规则匹配的效率。下面通过说明书附图和各实施例对本专利技术方案进行说明。需要说明的是，本专利技术各实施例中涉及的“数据”可以但不限于理解为“应用层数据”，即利用本专利技术实施例提供的方法和装置可以实现对应用层数据的处理。实施例一、本专利技术实施例一提供一种数据处理方法，该方法的步骤流程可以如图1所示，包括步骤101、提取属性。在需要判断一个数据对应的规则集，从而确定对该数据执行的操作时，可以对该数据的每个指定维度的属性匹配规则子集，并可以将每个指定维度的属性对应的规则子集的交集，确定为该数据对应的规则集。因此，在本步骤中，可以提取接收到的数据(该数据即为需要进行规则匹配的数据)的每个指定维度的属性。步骤102、确定属性的指纹信息。在本步骤中，针对每个提取出的指定维度的属性，可以利用预先定义的指纹函数， 确定该属性的指纹信息。较优的，该指纹信息可以为整数。预先定义的指纹函数的类型可以但不限于为 “enumerate” “time” “Ipv4” 和 “Ipv6” 类型。步骤103 、匹配叶子节点。在本步骤中，可以根据每个提取出的指定维度的属性对应的预先确定出的判断树，来确定该判断树中与该属性的指纹信息匹配的叶子节点。具体的，每个提取出的指定维度的属性对应的预先确定出的判断树，可以通过以下方式确定确定该指定维度的属性需要进行匹配的规则；根据所述预先定义的指纹函数(该指纹函数即为用于确定接收到的数据的属性的指纹信息的指纹函数)，将每个该指定维度的属性需要进行匹配的规则映射到第一指纹数字区间，较优的，第一指纹数字区间为整数本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：提取接收到的数据的每个指定维度的属性；针对每个指定维度的属性，按照预先定义的指纹函数，确定该属性的指纹信息；确定每个指定维度的属性对应的预先确定出的判断树中，与该属性的指纹信息匹配的叶子节点，该叶子节点对应的第二指纹数字区间包括该属性的指纹信息；针对每个指定维度的属性，根据与该属性的指纹信息匹配的叶子节点，确定与该属性匹配的规则子集，该规则子集包括的每个规则映射到的第一指纹数字区间，均包括该叶子节点对应的第二指纹数字区间；将每个指定维度的属性匹配的规则子集的交集，确定为所述数据匹配的规则集；其中，每个指定维度的属性对应的判断树，通过以下方式确定：确定该指定维度的属性需要进行匹配的规则；根据所述预先定义的指纹函数，将每个该指定维度的属性需要进行匹配的规则映射到第一指纹数字区间；根据所述第一指纹数字区间，利用平衡二叉树方法，将该指定维度的属性对应的规则聚合为一棵判断树，该判断树的每个叶子节点对应一个第二指纹数字区间。

【技术特征摘要】
1.ー种数据处理方法，其特征在于，所述方法包括 提取接收到的数据的每个指定维度的属性； 针对每个指定维度的属性，按照预先定义的指纹函数，确定该属性的指纹信息； 确定每个指定维度的属性对应的预先确定出的判断树中，与该属性的指纹信息匹配的叶子节点，该叶子节点对应的第二指纹数字区间包括该属性的指纹信息； 针对每个指定维度的属性，根据与该属性的指纹信息匹配的叶子节点，确定与该属性匹配的规则子集，该规则子集包括的每个规则映射到的第一指纹数字区间，均包括该叶子节点对应的第二指纹数字区间； 将每个指定维度的属性匹配的规则子集的交集，确定为所述数据匹配的规则集； 其中，每个指定维度的属性对应的判断树，通过以下方式确定 确定该指定维度的属性需要进行匹配的规则； 根据所述预先定义的指纹函数，将每个该指定维度的属性需要进行匹配的规则映射到第一指纹数字区间； 根据所述第一指纹数字区间，利用平衡ニ叉树方法，将该指定维度的属性对应的规则聚合为ー棵判断树，该判断树的每个叶子节点对应ー个第二指纹数字区间。2.如权利要求1所述的方法，其特征在于，确定每个指定维度的属性对应的预先确定出的判断树中，与该属性的指纹信息匹配的叶子节点，具体包括 确定每个指定维度的属性对应的判断树的优先级； 按照判断树的优先级由高到低的顺序，依次确定每棵判断树对应的指定维度的属性的指纹信息匹配的叶子节点； 针对每个指定维度的属性，根据与该属性的指纹信息匹配的叶子节点，确定与该属性匹配的规则子集，具体包括 在毎次确定出ー个属性的指纹信息匹配的叶子节点时，确定该属性对应的规则子集；将每个指定维度的属性匹配的规则子集的交集，确定为所述数据匹配的规则集，具体包括 在毎次确定出一个规则子集时，将该规则子集与在确定出该规则子集之前确定出的规则子集取交集，在该交集为空时，指示停止确定叶子节点，否则，指示继续确定叶子节点；将确定出的每个规则子集的交集确定为所述数据匹配的规则集。3.如权利要求2所述的方法，其特征在于，确定每个指定维度的属性对应的判断树的优先级，具体包括 确定本次数据处理之前，利用每个指定维度的属性对应的判断树确定出的规则子集中规则的数量； 按照确定出的规则子集中规则的数量由少到多的顺序，确定判断树由高到低的优先级。4.如权利要求r3任一所述的方法，其特征在于，确定每个指定维度的属性对应的预先确定出的判断树中，与该属性的指纹信息匹配的叶子节点之后，所述方法还包括 针对每个指定维度的属性对应的预先确定出的判断树，増大与该属性的指纹信息匹配的叶子节点的权重系数；以及， 针对每棵预先确定出的判断树，在利用该判断树确定与属性的指纹信息匹配的叶子节点的次数到达指定次数时，利用该判断树的匹配路径最短原则，从该判断树的最底层叶子节点开始，根据ー个叶子节点及其相关叶子节点的权重系数来判断是否进行叶子节点间的位置调整，并将需要调整的叶子节点按照加权平衡ニ叉树的算法进行相应的位置调整，并依次上溯判断调整至根节点。5.ー种数据处理装置，其...

【专利技术属性】
技术研发人员：徐洋，
申请(专利权)人：北京神州绿盟信息安全科技股份有限公司，北京神州绿盟科技有限公司，招商银行股份有限公司，
类型：发明
国别省市：