一种埋点数据的计算方法、装置、存储介质和电子设备制造方法及图纸

本申请提供一种埋点数据的计算方法、装置、存储介质和电子设备。先将采集到的埋点数据进行划分和标识，再将划分出的数据分片自动分配给不同的计算任务执行计算，最后根据各个数据分片的标识将同一采集来源的多个计算结果进行合并计算。该方法在同一时间能计算多个数据分片，提高了计算效率，且支持对多个采集来源的埋点数据同时进行计算。

【技术实现步骤摘要】
一种埋点数据的计算方法、装置、存储介质和电子设备
本专利技术涉及数据处理技术，更具体而言，涉及一种埋点数据的计算方法、装置、存储介质和电子设备。
技术介绍
埋点是指对目标事件进行捕获、处理和上报的相关技术及实施过程。具体来说，埋点就是在定义的事件代码中植入一段用于监控的代码，这段用于监控的代码也可被称为埋点代码。用户一旦触发所定义的事件就会上报埋点代码中定义的需要上报的字段信息，这些被上报的字段信息可以被称为埋点数据。通常来说，埋点可以用来监控用户都打开了哪些页面，点击了哪些按钮，停留了多长时间，等等。在得到上报的埋点数据后，还需要对埋点数据进行计算，以得到最终的可用数据。传统方案通常使用单台机器对埋点信号进行解析计算。由于单台机器的内存和计算能力有限，同一时间只能对一小部分埋点数据进行计算，不能及时得到计算结果。
技术实现思路
依据本申请的第一方面，提供了一种埋点数据的计算方法，包括：将采集到的埋点数据进行划分，得到多个数据分片，每个数据分片携带有唯一标识信息；将所述多个数据分片分配给多个计算任务执本文档来自技高网...

【技术保护点】
1.一种埋点数据的计算方法，包括：/n将采集到的埋点数据进行划分，得到多个数据分片，每个数据分片携带有唯一标识信息；/n将所述多个数据分片分配给多个计算任务执行计算，得到与所述多个数据分片分别对应的多个计算结果；/n基于所述多个数据分片中的每个数据分片所携带的唯一标识信息，确定采集来源相同的数据分片；以及/n将所述多个计算结果中所述采集来源相同的数据分片所对应的计算结果发送给同一个汇总节点进行合并处理。/n

【技术特征摘要】
1.一种埋点数据的计算方法，包括：
将采集到的埋点数据进行划分，得到多个数据分片，每个数据分片携带有唯一标识信息；
将所述多个数据分片分配给多个计算任务执行计算，得到与所述多个数据分片分别对应的多个计算结果；
基于所述多个数据分片中的每个数据分片所携带的唯一标识信息，确定采集来源相同的数据分片；以及
将所述多个计算结果中所述采集来源相同的数据分片所对应的计算结果发送给同一个汇总节点进行合并处理。


2.如权利要求1所述的方法，其中所述唯一标识信息中包括采集来源，以及相对于该采集来源，按照采集时间顺序为所述唯一标识信息对应的数据分片分配的分片序号。


3.如权利要求2所述的方法，其中所述将所述多个计算结果中所述采集来源相同的数据分片所对应的计算结果发送给同一个汇总节点进行合并处理，包括：
根据所述分片序号，将对应的计算结果重新排序；以及
将排序后的计算结果发送给同一个汇总节点进行合并处理，得到所述采集来源的具有时间连续性的计算结果。


4.如权利要求1所述的方法，其中所述合并处理前，还包括：对所述计算结果进行去重处理。


5.如权利要求1所述的方法，其中所述采集来源包括：产生所采集埋点数据的用户。


6.如权利要求1所述的方法，其中所述数据分片还携带有采样频率、分片大小、采样开始时间、采样点数和采样数据集中的一项或多项信息。


7.如权利要求1所述的方法，其中所述多个计算任务在执行计算时是并行的。


8.如权利要求1所述的方法，其中所述多个计算任务执行所述计算时，至少对所述多个数据分片执行信号去噪处理和波形检测提取处理。


9.如权利要求1所述的方法，其中所述波形检测提取处理时使用差分阈值检测法、数学形态学法、小波变换法或神将网络法中的至少一项。


10.一种埋点数据的计算装置，包括：
数据划分模块，被配置为将采集到的埋点数据进行划分，得到多个数据分片，每个数据分片携带有唯一标识信息；
数据分配模块，被配置为将所述多个数据分片分配给多个计算任务执行计算，得到与所述多个数据分片分别对...

【专利技术属性】
技术研发人员：吴辉，江敏，
申请(专利权)人：杭州数澜科技有限公司，
类型：发明
国别省市：浙江;33