数据处理方法、电子设备及计算机可读存储介质技术

本发明专利技术实施例涉及数据处理领域，公开了一种数据处理方法、电子设备及计算机可读存储介质。本发明专利技术的部分实施例中，数据处理方法应用于数据处理装置，数据处理装置包括第一识别模块和第二识别模块，包括：第一识别模块获取并识别待处理数据；若确定存在识别失败的数据，将识别失败的数据保存至存储区；第二识别模块从存储区获取识别失败的数据，对识别失败的数据进行解析并识别，得到待处理数据的最终识别结果。本申请实施例提供的技术方案可以减少丢包情况，数据处理结果更准确。数据处理结果更准确。数据处理结果更准确。

【技术实现步骤摘要】
数据处理方法、电子设备及计算机可读存储介质


[0001]本专利技术实施例涉及数据处理领域，特别涉及数据处理方法、电子设备及计算机可读存储介质。

技术介绍

[0002]网络流量分析是指捕捉网络中流动的数据包，并通过查看数据包内部数据以及进行相关的协议、流量分析、统计或安全分析等来发现网络运行过程中出现的问题或对用户行为进行监控。
[0003]然而，传统的流量分析常常发生丢包的情况，导致数据处理结果不准确。

技术实现思路

[0004]本专利技术实施方式的目的在于提供一种数据处理方法、电子设备及计算机可读存储介质，可以减少丢包情况，数据处理结果更准确。
[0005]为解决上述技术问题，第一方面，本专利技术实施例提供了一种数据处理方法，应用于数据处理装置，数据处理装置包括第一识别模块和第二识别模块，包括：第一识别模块获取并识别待处理数据；若确定存在识别失败的数据，将识别失败的数据保存至存储区；第二识别模块从存储区获取识别失败的数据，对识别失败的数据进行解析并识别，得到待处理数据的最终识别结果。
[0006]第二方面，本专利技术实施例提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例提及的数据处理方法。
[0007]第三方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现上述实施例提及的数据处理方法。
[0008]本专利技术实施例相对于现有技术而言，在数据处理装置中设置第一识别模块和第二识别模块，第一识别模块对获取的待处理数据进行初步识别，若初步识别过程中，存在无法识别的数据，则存入存储区，进而交由第二识别模块进行深度识别；第二识别模块可从存储区获取该些无法识别的数据，并对其进一步进行解析和识别，从而得到解析结果。基于该方法，第一识别模块可快速完成对待处理数据进行处理，避免了耗费过多时间在某一条数据的处理而导致没有多余资源来接收新的数据只能将其丢弃的问题，此外，通过存储区来实现第一识别模块和第二识别模块之间的数据传递，可实现第一识别模块和第二识别模块的解耦，第二识别模块的处理进度也不会对第一识别模块产生任何影响。
[0009]在部分实施例中，第一识别模块获取待处理数据，包括：第一识别模块对接收到的数据包进行流分析，确定出数据包归属的数据流；第一识别模块将属于同一数据流的数据包中的业务数据进行整合，得到待处理数据。
[0010]在部分实施例中，数据处理装置还包括代理模块，第一识别模块接收到的数据包
为对代理模块接收到的数据包进行镜像得到的。
[0011]在部分实施例中，识别失败的数据包含基于HTTPS协议加密的应用层数据，第二识别模块对识别失败的数据进行解析并识别，得到最终识别结果，包括：第二识别模块获取应用层数据的解密密钥；根据应用层数据的解密密钥，对应用层数据进行解密，并对解密后的应用层数据进行识别，得到最终识别结果。
[0012]在部分实施例中，第二识别模块获取应用层数据的解密密钥，包括：第二识别模块查找预先保存的证书信息获取待处理数据对应的数据流所使用的证书；通过证书，获取应用成数据的解密密钥；或者，第二识别模块获取待处理数据对应的数据流中建立安全套接字协议SSL握手过程的交互数据；从交互数据中获取应用层数据的解密密钥。
[0013]在部分实施例中，识别失败的数据包含文件格式的数据，对识别失败的数据进行解析并识别，得到待处理数据的最终识别结果，包括：对文件格式的数据进行解析，并对解析后的文件格式的数据进行识别，得到待处理数据的最终识别结果。
[0014]在部分实施例中，第一识别模块识别待处理数据，包括：确定待处理数据中是否包含基于HTTPS协议加密的应用层数据或文件格式的数据；若包含，则将应用层数据和/或文件格式的数据确定为识别失败的数据，以文件形式保存在存储区，并根据预设的第一识别算法，识别待处理数据中的其他数据，得到中间识别结果，将中间识别结果保存在存储区中；若不包含，则根据预设的第一识别算法，识别待处理数据，生成识别结果，并以日志形式输出。
[0015]在部分实施例中，第二识别模块从存储区获取识别失败的数据，对识别失败的数据进行解析并识别，得到待处理数据的最终识别结果，包括：第二识别模块从存储区的文件中获取识别失败的数据，并从数据库中获取待处理数据对应的中间识别结果，在根据预设的第二识别算法对识别失败的数据进行解析并识别后，得到二次识别结果，将中间识别结果与二次识别结果向结合得到最终识别结果，并以日志形式输出。
附图说明
[0016]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0017]图1是本申请一实施例中数据处理方法的流程图；
[0018]图2是本申请一实施例中数据处理装置的结构示意图；
[0019]图3是本申请另一实施例中数据处理方法的流程图；
[0020]图4是本申请实施例中电子设备的结构示意图。
具体实施方式
[0021]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本专利技术的具体实现方式构成任何限定，各个
实施例在不矛盾的前提下可以相互结合相互引用。
[0022]在本专利技术公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0023]本申请实施例中，如图1所示的数据处理方法，应用于数据处理装置，数据处理装置包括第一识别模块和第二识别模块。数据处理方法包括如下步骤。
[0024]步骤101：第一识别模块获取并识别待处理数据；若确定存在识别失败的数据，将识别失败的数据保存至存储区。
[0025]步骤102：第二识别模块从存储区获取识别失败的数据，对识别失败的数据进行解析并识别，得到待处理数据的最终识别结果。
[0026]本申请实施例中，在数据处理装置中设置第一识别模块和第二识别模块，第一识别模块对获取的待处理数据进行初步识别，若初步识别过程中，存在无法识别的数据，则存入存储区，进而交由第二识别模块进行深度识别；第二识别模块可从存储区获取该些无法识别的数据，并对其进一步进行解析和识别，从而得到解析结果。基于该方法，第一识别模块可快速完成对待处理数据进行处理，避免了耗费过多时间在某一条数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理装置，所述数据处理装置包括第一识别模块和第二识别模块，包括：所述第一识别模块获取并识别待处理数据；若确定存在识别失败的数据，将所述识别失败的数据保存至存储区；所述第二识别模块从所述存储区获取所述识别失败的数据，对所述识别失败的数据进行解析并识别，得到所述待处理数据的最终识别结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述第一识别模块获取待处理数据，包括：所述第一识别模块对接收到的数据包进行流分析，确定出所述数据包归属的数据流；所述第一识别模块将属于同一数据流的数据包中的业务数据进行整合，得到所述待处理数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述数据处理装置还包括代理模块，所述第一识别模块接收到的所述数据包为对所述代理模块接收到的数据包进行镜像得到的。4.根据权利要求1所述的数据处理方法，其特征在于，所述识别失败的数据包含基于HTTPS协议加密的应用层数据，所述第二识别模块对所述识别失败的数据进行解析并识别，得到最终识别结果，包括：所述第二识别模块获取所述应用层数据的解密密钥；根据所述应用层数据的解密密钥，对所述应用层数据进行解密，并对解密后的所述应用层数据进行识别，得到所述最终识别结果。5.根据权利要求4所述的数据处理方法，其特征在于，所述第二识别模块获取所述应用层数据的解密密钥，包括：所述第二识别模块查找预先保存的证书信息获取所述待处理数据对应的数据流所使用的证书；通过所述证书，获取所述应用层数据的解密密钥；或者，所述第二识别模块获取所述待处理数据对应的数据流中建立安全套接字协议SSL握手过程的交互数据；从所述交互数据中获取所述应用层数据的解密密钥。6.根据权利要求1所述的数据处理方法，其特征在于，所述识别失败的数据包含文件格式的数据，所...

【专利技术属性】
技术研发人员：陈加伟，谢文伟，李震，张伯雄，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：