反爬虫的数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种反爬虫的数据处理方法、装置、电子设备及存储介质，该方法包括：获取数据请求端的数据获取请求；基于数据获取请求，确定数据获取请求所对应的原响应数据；基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。在本方案中，在获取数据请求端的数据获取请求时，由于对原响应数据基于数据混淆规则进行了处理，使得混淆后的数据很难通过爬虫技术获取，因此，可安全将混淆后的响应数据发送给数据请求端，数据请求端可基于数据混淆规则对混淆后的响应数据进行反变换处理，从而得到原响应数据。

Data processing method, device, electronic equipment and storage medium of anti crawler

【技术实现步骤摘要】
反爬虫的数据处理方法、装置、电子设备及存储介质
本申请涉及数据处理
，具体而言，本申请涉及一种反爬虫的数据处理方法、装置、电子设备及存储介质。
技术介绍
现有技术中，数据传输过程中，数据中通常会携带有一些相关信息，比如，数据中涉及的相关人员信息、关键参数信息等，出于数据安全考虑，在数据传输过程中，通过爬虫技术很容易获取该数据中的一些关键数据，影响数据安全，由此，解决数据传输过程中数据安全的问题是目前亟待解决的问题。
技术实现思路
本申请的目的旨在至少能解决上述的技术缺陷之一，提高数据传输的安全性。本申请采用的技术方案如下：第一方面，本申请提供了一种反爬虫的数据处理方法，该方法包括：获取数据请求端的数据获取请求；基于数据获取请求，确定数据获取请求所对应的原响应数据；基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。本申请第一方面的实施例中，数据混淆规则包括以下至少一项：哈希映射规则、数字变换规则、常量拼接规则。本申请第一方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：获取数据获取请求的第一相关信息；基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。本申请第一方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：获取数据获取请求的第二相关信息；根据第二相关信息，确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。本申请第一方面的实施例中，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。本申请第一方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：确定原响应数据所包含的数据的各数据类型；对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；基于拼接后的各数据，得到混淆后的响应数据。本申请第一方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据，包括：基于哈希映射规则和原响应数据，得到第一变换后的数据；若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。第二方面，本申请提供了一种反爬虫的数据处理方法，该方法包括：获取数据获取请求，将数据获取请求发送给服务器；接收服务器返回的混淆后的响应数据，其中，混淆后的响应数据为服务器基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据；根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。本申请第二方面的实施例中，数据混淆规则包括以下至少一项：哈希映射规则、数字变换规则、常量拼接规则。本申请第二方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：获取数据获取请求的第一相关信息；基于第一相关信息以及预配置的规则标识，确定数据获取请求对应的规则标识；基于与数据获取请求对应的规则标识相对应的哈希映射规则，将原响应数据变换为混淆后的响应数据。本申请第二方面的实施例中，数字变换规则包括动态线性变换规则，若数据混淆规则包括动态线性变换规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：获取数据获取请求的第二相关信息；根据第二相关信息，确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，将原响应数据变换为混淆后的响应数据。本申请第二方面的实施例中，数据混淆规则包括常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据。本申请第二方面的实施例中，常量拼接规则包括对应于各数据类型的常量拼接规则，基于原响应数据和常量拼接规则，将原响应数据变换为混淆后的响应数据，包括：确定原响应数据所包含的数据的各数据类型；对于原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对原响应数据中相应数据类型的数据进行拼接；基于拼接后的各数据，得到混淆后的响应数据。本申请第二方面的实施例中，数据混淆规则包括哈希映射规则、数字变换规则和常量拼接规则，基于预配置的数据混淆规则，将数据获取请求所对应的原响应数据变换得到的混淆后的响应数据，包括：基于哈希映射规则和原响应数据，得到第一变换后的数据；若数据混淆规则包括动态线性变换规则，基于数据获取请求的第二相关信息；确定原响应数据对应的线性变换参数；基于线性变换参数以及动态线性变换规则，得到第二变换后的数据；基于常量拼接规则和第二变换后的数据，得到混淆后的响应数据。第三方面，本申请提供了一种反爬虫的数据处理装置，该装置包括：请求获取模块，用于获取数据请求端的数据获取请求；原响应数据确定模块，用于基于数据获取请求，确定数据获取请求所对应的原响应数据；数据变换模块，用于基于预配置的数据混淆规则，将原响应数据变换为混淆后的响应数据；数据发送模块，用于将混淆后的响应数据发送至数据请求端，以使数据请求端根据数据混淆规则对混淆后的响应数据进行反变换处理，得到原响应数据。本申请第三方面的实施例中，数据混淆规则包括以下至少一项：哈希映射规则、数字变换规则、常量拼接规则。本申请第三方面的实施例中，若数据混淆规则包括哈希映射规则，且哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，数据变换模块在基于预配置的数据混淆规则，将原响应数据变换为混淆本文档来自技高网...

【技术保护点】
1.一种反爬虫的数据处理方法，其特征在于，包括：/n获取数据请求端的数据获取请求；/n基于所述数据获取请求，确定所述数据获取请求所对应的原响应数据；/n基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据；/n将所述混淆后的响应数据发送至所述数据请求端，以使所述数据请求端根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。/n

【技术特征摘要】
1.一种反爬虫的数据处理方法，其特征在于，包括：
获取数据请求端的数据获取请求；
基于所述数据获取请求，确定所述数据获取请求所对应的原响应数据；
基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据；
将所述混淆后的响应数据发送至所述数据请求端，以使所述数据请求端根据所述数据混淆规则对所述混淆后的响应数据进行反变换处理，得到所述原响应数据。


2.根据权利要求1所述的方法，其特征在于，所述数据混淆规则包括以下至少一项：
哈希映射规则、数字变换规则、常量拼接规则。


3.根据权利要求2所述的方法，其特征在于，若所述数据混淆规则包括哈希映射规则，且所述哈希映射规则包括对应于不同规则标识的至少两个哈希映射规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
获取所述数据获取请求的第一相关信息；
基于所述第一相关信息以及预配置的规则标识，确定所述数据获取请求对应的规则标识；
基于与所述数据获取请求对应的规则标识相对应的哈希映射规则，将所述原响应数据变换为混淆后的响应数据。


4.根据权利要求2所述的方法，其特征在于，所述数字变换规则包括动态线性变换规则，若所述数据混淆规则包括所述动态线性变换规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
获取所述数据获取请求的第二相关信息；
根据所述第二相关信息，确定所述原响应数据对应的线性变换参数；
基于所述线性变换参数以及所述动态线性变换规则，将所述原响应数据变换为混淆后的响应数据。


5.根据权利要求2所述的方法，其特征在于，所述数据混淆规则包括所述常量拼接规则，所述基于预配置的数据混淆规则，将所述原响应数据变换为混淆后的响应数据，包括：
基于所述原响应数据和所述常量拼接规则，将所述原响应数据变换为所述混淆后的响应数据。


6.根据权利要求5所述的方法，其特征在于，所述常量拼接规则包括对应于各数据类型的常量拼接规则，所述基于所述原响应数据和所述常量拼接规则，将所述原响应数据变换为所述混淆后的响应数据，包括：
确定所述原响应数据所包含的数据的各数据类型；
对于所述原响应数据所包含的数据的每种数据类型，基于每种数据类型所对应的常量拼接规则，对所述原响应数据中相应数据类型的数据进行拼接；
基于拼接后的各数据，得到所述混淆后的响应数据。


7.根据权利要求2所述的方法，其特...

【专利技术属性】
技术研发人员：崔宝卫，
申请(专利权)人：望海康信北京科技股份公司，
类型：发明
国别省市：北京;11