页面操作数据的处理方法和处理系统技术方案

本申请公开了信息采集领域中一种页面操作数据的处理方法及处理系统。本申请提供的技术方案中，采用消息队列的方式将采集的前端页面操作数据异步传输到后端的数据库服务器中，避免了业务堵塞，提高了数据传输效率。进一步地，本方案通过设计JavaScript埋点脚本和自定义埋点配置，对前端的页面操作数据进行采集，丰富了采集页面操作数据的类型，为后续对用户的行为分析等方面提供了基础。此外，本申请中数据库服务器将存储的页面操作数据实时同步到搜索引擎服务器中，搜索引擎服务器对页面操作数据进行数据处理，得到页面操作行为分析结果，避免了因页面操作数据过多导致的数据库资源不够用的情况，提高了数据处理效率。

【技术实现步骤摘要】
页面操作数据的处理方法和处理系统
本申请涉及信息采集领域，尤其涉及页面操作数据的处理方法和处理系统。
技术介绍
随着电子商务网站对于电子商务目标的统计分析的需求越来越强烈，电子商务系统需要从前端采集大量的用户页面操作数据，并传输给后端的数据库服务器，数据库服务器可以根据接收的页面操作数据分析用户的行为偏好，并以此提升系统的功能，从而为用户提供精准营销，为系统的发展方向及公司效益提供无形的价值。当页面操作数据量巨大或多个前端同时向后端数据库服务器发送页面操作数据时，传统的数据传输方式容易出现业务堵塞的情况，导致数据传输效率较低。
技术实现思路
本申请提出了信息采集领域中一种页面操作数据的处理方法及处理系统。第一方面，本申请提供了一种页面操作数据的处理方法。该方法包括：前端接收页面操作；所述前端根据运行的埋点脚本采集页面操作数据；所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据；所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类；所述后端将分类后的页面操作数据写入数据库中。结合第一方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；相应地，所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据，包括：所述前端接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。结合第一种可能的实现方式，在第二种可能的实现方式中，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。结合第三种可能的实现方式，在第四种可能的实现方式中，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。第二方面，本申请提供一种页面操作数据的处理系统，包括前端和后端。所述前端用于：接收页面操作，根据运行的埋点脚本采集页面操作数据，向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据。所述后端用于：在接收到所述异步请求消息之后，向所述前端发送响应消息。所述前端还用于：在接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据。所述后端还用于：依次读取所述消息队列中的页面操作数据，将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类，将分类后的页面操作数据写入数据库中。结合第二方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据。相应地，所述前端具体用于：在接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。结合第一种可能的实现方式，在第二种可能的实现方式中，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。结合第二方面或上述任意一种可能的实现方式，所述处理系统还包括数据库和搜索引擎服务器。所述数据库用于，在数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据。所述搜索引擎服务器用于：对接收到的页面操作数据进行存储、查询和检索处理。结合第三种可能的实现方式，在第四种可能的实现方式中，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。第三方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面或其中任意一种可能的实现方式所述的方法。第四方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如第一方面或其中任意一种可能的实现方式所述的方法。第五方面，本申请提供一种计算系统，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述通信接口与目标系统通信，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或其中任意一种可能的实现方式所述的方法。本申请提供的技术方案中，采用消息队列的方式将采集的前端页面操作数据异步传输到后端的数据库服务器中，避免了业务堵塞，提高了数据传输效率。进一步地，本方案通过设计JavaScript埋点脚本和自定义埋点配置，对前端的页面操作数据进行采集，丰富了采集页面操作数据的类型，为后续对用户的行为分析等方面提供了基础。此外，本申请中数据库服务器将存储的页面操作数据实时同步到搜索引擎服务器中，搜索引擎服务器对页面操作数据进行数据处理，得到页面操作行为分析结果，避免了因页面操作数据过多导致的数据库资源不够用的情况，提高了数据处理效率。附图说明图1为本申请实施例的一种应用场景的示意图；图2为本申请实施例的一种页面操作数据的处理方法的流程示意图；图3为一种使用本方案提供的页面操作数据的处理方法进行数据处理的流程示意图；图4为本申请一个实施例的一种页面操作数据的处理系统的示意性结构图；图5为本申请另一个实施例的一种页面操作数据的处理系统的示意性结构图。具体实施方式为了便于对本申请的理解，首先对本申请涉及的概念进行解释说明。JavaScript埋点技术：是指使用JavaScript编程语句针对特定的用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。例如，用户行为或事件可以包括用户对页面中某个图标(icon)的点击次数或浏览某个页面的时长等。以用户在页面中的操作为打开网页为例，当网页被打开，页面中的JavaScript埋点脚本会被执行，用户在网页中加入一段JavaScript代码，这个代码片段会动态创建一个脚本(script)标签，并将script指向一个单独的JavaScript数据采集文件，例如，JavaScript数据文件可以为dot.js。此时这个JavaScript数据收集文件会被浏览器请求并执行，进行数据采集操作。当数据采集完成后，JavaScript埋点脚本会请求一个后端的数据采集脚本，例如，数据采集脚本可以是一个伪装成图片格式的动态脚本程序，可以由超文本预处理器(hypertextpreprocessor，PHP)、python或其它服务端语言进行编写，JavaScript会将采集到的页面操作数据通过超文本传输协议(hypertexttransferprotocol，HTTP)参数的方式传递给后端本文档来自技高网...

【技术保护点】
1.一种页面操作数据的处理方法，其特征在于，包括：/n前端接收页面操作；/n所述前端根据运行的埋点脚本采集页面操作数据；/n所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；/n所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；/n所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据；/n所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类；/n所述后端将分类后的页面操作数据写入数据库中。/n

【技术特征摘要】
1.一种页面操作数据的处理方法，其特征在于，包括：
前端接收页面操作；
所述前端根据运行的埋点脚本采集页面操作数据；
所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；
所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；
所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据；
所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类；
所述后端将分类后的页面操作数据写入数据库中。


2.根据权利要求1所述的方法，其特征在于，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；
相应地，所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据，包括：
所述前端接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。


3.根据权利要求2所述的方法，其特征在于，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。


4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；
所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。


5.根据权利要求4所述的方法，其特征在于，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索...

【专利技术属性】
技术研发人员：牛春龙，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11