数据处理方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备及存储介质。涉及通信技术领域。该数据处理方法包括：接收用户端发送的URL请求，URL请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求；基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹，如此，解决了现有技术中分布式埋点数据处理效率低的问题。据处理效率低的问题。据处理效率低的问题。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请属于数据处理
，尤其涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]随着信息化技术不断发展，数据处理的需求也愈来愈多。在相关技术中，互联网平台可以通过下述两种方式进行埋点数据的存储和获取，一种是通过后台应用，将接收到的埋点数据存储到数据库，以通过定时单独批量计算的形式对数据库中的埋点数据进行处理和分析；另一种是通过服务器以日志记录的形式将埋点数据存储在磁盘中，并通过定时任务对存储在磁盘中的埋点日志数据进行处理。
[0003]然而，前者是将数据实时存储数据到数据库，这对数据库处理能力以及后台服务的吞吐量影响较大，容易造成服务宕机；后者由于埋点数据日志分散存储在各个独立的服务器上，且出访负载均衡在转发埋点数据获取请求时服务器不确定，难以收集和获取埋点数据日志。

技术实现思路

[0004]本申请提供一种数据处理方法、装置、设备及存储介质，用以解决现有技术中分布式埋点数据处理效率低的问题。
[0005]第一方面，本申请实施例提供一种数据处理方法，应用于服务端，包括：
[0006]接收用户端发送的URL请求，URL请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；
[0007]分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求，N为正整数，M为正整数；
[0008]基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；
[0009]将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
[0010]第二方面，本申请实施例提供一种数据处理方法，应用于用户端，包括：
[0011]获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；
[0012]在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；
[0013]通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；
[0014]向服务端发送URL请求，URL请求包括加密信息，URL请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
[0015]第三方面，本申请实施例提供一种数据处理装置，应用于服务端，包括：
[0016]接收模块，用于接收用户端发送的URL请求，URL请求包括加密信息，加密信息为经
过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；
[0017]拼接模块，用于分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求，N为正整数，M为正整数；
[0018]获取模块，用于基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；
[0019]存储模块，用于将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
[0020]第四方面，本申请实施例提供一种数据处理装置，应用于用户端，包括：
[0021]获取模块，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；
[0022]生成模块，用于在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；
[0023]加密模块，用于通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；
[0024]发送模块，用于向服务端发送URL请求，URL请求包括加密信息，URL请求用于请求服务端将埋点数据存储到预设存埋点数据日志文件夹。
[0025]第五方面，本申请实施例提供一种数据处理系统，包括：
[0026]用户端和服务端，服务端包括N个网站服务节点和埋点数据源服务节点，N为正整数；其中，
[0027]用户端，用于获取埋点数据，埋点数据为经过数据埋点处理之后的结果数据；在埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过对称密钥加密埋点数据中的敏感数据，并通过服务端的公钥加密对称密钥，得到与埋点数据对应的加密信息；向服务端发送URL请求，URL请求包括加密信息；
[0028]网站服务节点，用于接收URL请求；分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求，M为正整数；
[0029]埋点数据源服务节点，用于基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。
[0030]第六方面，本申请实施例提供了一种计算设备，该计算设备包括：处理器以及存储有计算机程序指令的存储器；
[0031]处理器执行计算机程序指令时实现如第一方面或第二方面所示的数据处理方法。
[0032]第七方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面或第二方面所示的数据处理方法。
[0033]第八方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面或第二方面所示的数据处理方法。
[0034]第九方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介
质中，该程序产品被至少一个处理器执行以实现如第一方面所示的数据处理方法。
[0035]本申请实施例提供的数据处理方法、装置、设备及存储介质，接收用户端发送的URL请求，URL请求包括加密信息，加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，对称密钥由对称加密算法计算得到；分别将服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与URL请求进行拼接，得到M个目标请求，N为正整数，M为正整数；基于埋点数据日志记录目录，分别获取与M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。这样，一方面，对于用户端来说，用户端通过对埋点数据中的敏感数据进行加密，加强了埋点数据传输的安全性。另一方面，对于服务端来说，服务端中的网站服务节点可以将接收到的加密后的埋点数据汇总至统一存储空间，即埋点数据日志文件夹，以提高后续埋点数据的获取效率，以及，由于各个网站服务节点可以对接收到的URL请求进行统一配置，因此，使得后续埋点数据获取时，无论请求中标识的是哪个网站服务节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于服务端，包括：接收用户端发送的URL请求，所述URL请求包括加密信息，所述加密信息为经过对称密钥加密包括敏感数据的埋点数据的信息，所述对称密钥由所述对称加密算法计算得到；分别将所述服务端的N个网站服务节点中每个网站服务节点的网站服务节点名与所述URL请求进行拼接，得到M个目标请求，N为正整数，M为正整数；基于埋点数据日志记录目录，分别获取与所述M个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录，每个网站服务节点子目录与每个埋点数据日志文件对应；将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹。2.根据权利要求1所述的方法，其特征在于，所述网站服务节点包括存储空间；所述基于埋点数据日志记录目录，分别获取与所述N个目标请求中每个目标请求的网站服务节点名对应的网站服务节点子目录之前，所述方法还包括：在所述存储空间中，构建埋点数据日志记录目录；在所述埋点数据日志记录目录下，构建以所述每个网站服务节点的网站服务节点名命的目录文件夹，所述目录文件夹用于区分不同的与所述网站服务节点对应的埋点数据源服务节点。3.根据权利要求1或2所述的方法，其特征在于，所述将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹，包括：基于所述网站服务节点中的定时任务，将所述目标请求传输至所述埋点数据日志记录目录下与所述网站服务节点的网络服务节点名的目录文件夹；所述目标文件夹的日志文件名包括执行所述定时任务的日期信息。4.根据权利要求3所述的方法，其特征在于，所述URL请求还包括第一位置标识，所述第一位置标识用于标识所述加密信息在所述URL请求中的位置，所述对称密钥由所述服务端的公钥加密；所述将所述每个目标请求存储至与网站服务节点子目录对应的埋点数据日志文件夹之后，所述方法还包括：获取查询任务；基于所述查询任务，查询所述埋点数据日志文件夹中的埋点日志文件，并将所述埋点日志文件汇总至数据分析目录；按照预设顺序读取所述数据分析名录中的埋点日志文件，获取与所述埋点日志文件对应的加密参数位；在所述加密参数位的标识为所述第一位置标识的情况下，通过所述服务端的私钥解密所述对称密钥，得到解密对称密钥；通过所述解密密钥，对与所述第一位置标识对应的敏感数据进行解密，得到以明文形式存在的埋点数据；将所述埋点数据传输至与所述查询任务对应的查询文件夹，以便向用户端反馈。5.根据权利要求4所述的方法，其特征在于，所述获取与所述埋点日志文件对应的加密参数位之后，所述方法还包括：在所述加密参数位的标识为第二位置标识的情况下，将所述埋点日志文件传输至所述查询文件夹。
6.一种数据处理方法，其特征在于，应用于用户端，包括：获取埋点数据，所述埋点数据为经过数据埋点处理之后的结果数据；在所述埋点数据包括敏感数据的情况下，通过对称加密算法，生成对称密钥；通过所述对称密钥加密所述埋点数据中的敏感数据，并通过服务端的公钥加密所述对称密钥，得到与所述埋点数据对应的加密信息；向所述服务端发送URL请求，所述URL请求包括所述加密信息，所述URL请求用于请求所述服务端将所述埋点数据存储到预设存埋点数据日志文件夹。7.根据权利要求6所述的方法，其特征在于，所述URL请求还包括第一位置标识，所述第一位置标识用于标识所述加密信息在所述URL请求中的位置。8.根据权利要求6所述的方法，其特征在于，在所述埋点数据不包括敏感数据的情况下，所述URL请求包括以明文形式存在的埋点数据和第一位置标识，所述第一位置标识用于标识所述埋点数据在所述URL请求中的位置。9.一种数据处理系统，其特征在于，包括：用户端和服务端，所述服务端包括N个网站服务节点和埋点数据源服务节点，N为正整数；其中，所述用户端，用于获...

【专利技术属性】
技术研发人员：郑岸以，张雪英，陈盛林，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：