数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备及存储介质。该方法包括：接收数据包，识别所述数据包对应的目标协议；调用与所述目标协议匹配的动作识别引擎，根据所述数据包命中的目标识别规则，对当前数据流进行预处理；所述预处理包括重组、解压或解码中的至少一种；调用数据提取引擎，按照所述数据包命中的目标数据提取规则，从预处理后的当前数据流中提取指定数据。本发明专利技术实施例的技术方案，可以将精细化动作识别与数据提取相关联，对数据流进行分类处理，提高规则复用性和数据提取效率。提高规则复用性和数据提取效率。提高规则复用性和数据提取效率。

Data processing method, device, equipment and storage medium

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网的快速发展，网络流量中包含有大量信息。如果能从网络流量中筛选出有价值的用户信息，将对网络内容识别和用户行为分析都有着十分重要的意义。
[0003]现有技术中，数据提取规则大多采用正则表达式来描述信息点，获取待提取信息。但是有些信息点特征比较复杂，例如流量被分段传输或者编码压缩等，因此仅使用正则表达式无法准确地描述信息点，数据提取效率较低。

技术实现思路

[0004]本专利技术提供了一种数据处理方法、装置、设备及存储介质，以解决仅使用正则表达式无法准确描述信息点，导致数据提取效率较低的问题。
[0005]根据本专利技术的一方面，提供了一种数据处理方法，包括：
[0006]接收数据包，识别所述数据包对应的目标协议；
[0007]调用与所述目标协议匹配的动作识别引擎，根据所述数据包命中的目标识别规则，对当前数据流进行预处理；所述预处理包括重组、解压或解码中的至少一种；
[0008]调用数据提取引擎，按照所述数据包命中的目标数据提取规则，从预处理后的当前数据流中提取指定数据。
[0009]可选的，所述根据所述数据包命中的目标识别规则，对当前数据流进行预处理，包括：
[0010]将所述数据包中的负载内容与预设的识别规则进行特征匹配，确定所述数据包命中的目标识别规则；
[0011]根据所述目标识别规则中的动作类型参数，确定是否对当前数据流进行预处理；
[0012]如果是，则根据所述目标识别规则中的预处理参数、重组参数组以及解压或解码参数组，确定预处理类型以及预处理关联信息，对当前数据流进行预处理。
[0013]采用上述技术方案，通过在识别规则中设置动作类型参数，对不同的数据流分类处理，通过在识别规则中设置预处理参数、重组参数组以及解压或解码参数组，自动识别并执行对数据流的精细化处理，提高数据提取效率。
[0014]可选的，所述根据所述目标识别规则中的预处理参数、重组参数组以及解压或解码参数组，确定预处理类型以及预处理关联信息，包括：
[0015]根据所述目标识别规则中的预处理参数，确定预处理类型；
[0016]如果所述预处理类型包括重组，则根据重组参数组中的获取方式参数，选择重组信息参数或者重组提取规则，确定重组的开始位置、长度和结束位置；
[0017]如果所述预处理类型包括解压或解码，则根据解压或解码参数组中的获取方式参
数，选择解压或解码信息参数或者解压或解码提取规则，确定解压或解码的开始位置、长度和结束位置。
[0018]采用上述技术方案，通过在重组参数组和解压或解码参数组中设置获取方式参数，结合用户自定义的重组信息参数、解压或解码信息参数以及预先设置的预处理提取规则，为用户提供多种获取预处理关联信息的途径，增加预处理关联信息获取的灵活性。
[0019]可选的，所述选择重组信息参数或者重组提取规则，确定重组的开始位置、长度和结束位置，包括：
[0020]根据基于偏移的重组开始位置参数，或者重组开始位置提取规则，确定重组的开始位置；或者，
[0021]根据基于结束标志的重组结束位置参数，确定重组的结束位置；或者，
[0022]根据重组长度参数或者重组长度提取规则，确定重组的长度。
[0023]采用上述技术方案，通过用户自定义的用于重组的开始位置参数、结束位置参数以及长度参数等重组信息参数，以及预先设置的重组的开始位置提取规则以及长度提取规则，灵活获取各种重组关联信息。
[0024]可选的，所述选择解压或解码信息参数或者解压或解码提取规则，确定解压或解码的开始位置、长度和结束位置，包括：
[0025]根据基于偏移的解压或解码开始位置参数，或者基于偏移的解压或解码开始标志参数，或者解压或解码开始位置提取规则，确定解压或解码的开始位置；或者，
[0026]根据基于结束标志的解压或解码结束位置参数，确定解压或解码的结束位置；或者，
[0027]根据解压或解码长度参数或者解压或解码长度提取规则，确定解压或解码的长度。
[0028]采用上述技术方案，通过用户自定义的用于解压或解码的开始位置参数、开始标志参数、结束位置参数以及长度参数等解压或解码信息参数，以及预先设置的解压或解码的开始位置提取规则以及长度提取规则，灵活获取各种解压或解码关联信息。
[0029]可选的，所述按照所述数据包命中的目标数据提取规则，从预处理后的当前数据流中提取指定数据，包括：
[0030]将所述数据包中的负载内容与预设的数据提取规则进行特征匹配，确定所述数据包命中的目标数据提取规则；
[0031]根据所述目标数据提取规则中的提取参数组对当前数据流进行偏移处理，确定待提取数据的开始位置、长度以及结束位置，并从预处理后的当前数据流中提取指定数据；
[0032]根据所述目标数据提取规则中的处理参数组，确定结果数据类型以及结果使用方式，对提取到的数据进行处理。
[0033]采用上述技术方案，将动作识别与数据提取相关联，只对预处理后的数据流进行数据提取，可以避免不必要的数据提取操作，提高数据提取效率。并且，通过在数据提取规则中设置提取参数组，为用户提供多种途径获取待提取数据相关信息，增加信息获取的灵活性。通过设置处理参数组，对提取到的数据进行数据类型转换、解码等指定处理，使得数据可以直接投入后续使用。
[0034]可选的，所述根据所述目标数据提取规则中的提取参数组对当前数据流进行偏移
处理，确定待提取数据的开始位置、长度以及结束位置，包括：
[0035]根据开始位置参数，从当前数据流的指定位置偏移指定长度，提取待提取数据的开始位置；或者，
[0036]根据开始标志参数，从当前数据流中的开始标志字符串偏移指定长度，提取待提取数据的开始位置；或者，
[0037]根据结束标志参数，从当前数据流中的结束标志字符串偏移指定长度，提取待提取数据的结束位置；或者，
[0038]根据信息长度参数，确定待提取数据的长度；或者，
[0039]根据长度获取参数，从当前数据流的指定位置偏移指定长度，提取待提取数据的长度。
[0040]采用上述技术方案，通过在数据提取规则中设置基于偏移值的提取参数组，使得用户可以灵活选择待提取数据的各种相关信息的获取方式，进而通过对当前数据流进行相应的偏移处理，获取待提取数据的开始位置、长度以及结束位置。
[0041]根据本专利技术的另一方面，提供了一种数据处理装置，包括：
[0042]协议识别模块，用于执行接收数据包，识别所述数据包对应的目标协议；
[0043]动作识别模块，用于执行调用与所述目标协议匹配的动作识别引擎，根据所述数据包命中的目标识别规则，对当前数据流进行预处理；所述预处理包括重组、解压或解码本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据包，识别所述数据包对应的目标协议；调用与所述目标协议匹配的动作识别引擎，根据所述数据包命中的目标识别规则，对当前数据流进行预处理；所述预处理包括重组、解压或解码中的至少一种；调用数据提取引擎，按照所述数据包命中的目标数据提取规则，从预处理后的当前数据流中提取指定数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据包命中的目标识别规则，对当前数据流进行预处理，包括：将所述数据包中的负载内容与预设的识别规则进行特征匹配，确定所述数据包命中的目标识别规则；根据所述目标识别规则中的动作类型参数，确定是否对当前数据流进行预处理；如果是，则根据所述目标识别规则中的预处理参数、重组参数组以及解压或解码参数组，确定预处理类型以及预处理关联信息，对当前数据流进行预处理。3.根据权利要求2所述的方法，其特征在于，所述根据所述目标识别规则中的预处理参数、重组参数组以及解压或解码参数组，确定预处理类型以及预处理关联信息，包括：根据所述目标识别规则中的预处理参数，确定预处理类型；如果所述预处理类型包括重组，则根据重组参数组中的获取方式参数，选择重组信息参数或者重组提取规则，确定重组的开始位置、长度和结束位置；如果所述预处理类型包括解压或解码，则根据解压或解码参数组中的获取方式参数，选择解压或解码信息参数或者解压或解码提取规则，确定解压或解码的开始位置、长度和结束位置。4.根据权利要求3所述的方法，其特征在于，所述选择重组信息参数或者重组提取规则，确定重组的开始位置、长度和结束位置，包括：根据基于偏移的重组开始位置参数，或者重组开始位置提取规则，确定重组的开始位置；或者，根据基于结束标志的重组结束位置参数，确定重组的结束位置；或者，根据重组长度参数或者重组长度提取规则，确定重组的长度。5.根据权利要求3所述的方法，其特征在于，所述选择解压或解码信息参数或者解压或解码提取规则，确定解压或解码的开始位置、长度和结束位置，包括：根据基于偏移的解压或解码开始位置参数，或者基于偏移的解压或解码开始标志参数，或者解压或解码开始位置提取规则，确定解压或解码的开始位置；或者，根据基于结束标志的解压或解码结束位置参数，确定解压或解码的结束位置；或者，根据解压或解码长度参数或者解压或解码长度提取规则，确定...

【专利技术属性】
技术研发人员：李淑玲，田涛，雷彦章，聂军，季超，应安文，
申请(专利权)人：曙光网络科技有限公司，
类型：发明
国别省市：