数据采集方法、装置、电子设备和可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据采集方法、装置、电子设备和可读存储介质，所述方法包括获取监控事件信息，根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性，响应于所述上报属性为被选中上报，基于至少一种方式上报所述监控事件信息，由此能够减少监控事件信息在上报过程中的数据丢失，提高监控事件信息上报的稳定性和准确性以及监控事件信息上报的效率。及监控事件信息上报的效率。及监控事件信息上报的效率。

【技术实现步骤摘要】
数据采集方法、装置、电子设备和可读存储介质


[0001]本专利技术涉及计算机
，具体涉及一种数据采集方法、装置、电子设备和可读存储介质。

技术介绍

[0002]目前的移动设备(也即客户端)的用户量大、用户需求多样，且应用场景丰富，如何采集和利用这些移动设备产生的数据对于分析用户行为和需求对于提高优化运营手段、丰富运营行为和提高用户体验具有重要意义。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据采集方法、装置、电子设备和可读存储介质，在采集用户数据的同时，能够提高数据采集的稳定性和准确性。
[0004]第一方面，本专利技术实施例提供一种数据采集方法，应用于客户端，所述方法包括：
[0005]获取监控事件信息；
[0006]根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性；
[0007]响应于所述上报属性为被选中上报，基于至少一种方式上报所述监控事件信息。
[0008]进一步地，所述基于至少一种方式上报所述监控事件信息包括：
[0009]实时上报所述监控事件信息；以及
[0010]基于监控事件队列以打包方式上报所述监控事件信息。
[0011]进一步地，所述监控事件包括业务事件和系统事件，所述业务事件用于表征业务使用方定义的事件，所述系统事件用于表征所述业务内部定义的事件。
[0012]进一步地，所述方法还包括：
[0013]在实时上报所述监控事件信息的同时将所述监控事件信息缓存至本地文件。
[0014]进一步地，所述方法还包括：
[0015]响应于所述监控事件信息上报成功，删除所述本地文件。
[0016]进一步地，所述基于监控事件队列以打包方式上报所述监控事件信息包括：
[0017]构建事件队列，所述事件队列用于存储所述监控事件信息；
[0018]响应于所述事件队列中的监控事件达到预设数量，打包所述监控事件对应的监控事件信息；
[0019]将所述打包后的监控事件信息发送至服务器。
[0020]进一步地，所述打包所述监控事件对应的监控事件信息包括：
[0021]创建事件记录，所述事件记录用于表征待打包监控事件对应的公共属性；
[0022]打包所述事件记录和对应的监控事件信息。
[0023]进一步地，所述将所述打包后的监控事件信息发送至服务器包括：
[0024]对所述打包后的监控事件信息进行压缩，并将所述压缩后的监控事件信息发送至
服务器。
[0025]进一步地，所述根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性包括：
[0026]确定所述用户标识和监控事件标识组合形成的哈希值；
[0027]对所述哈希值与预设值作取模运算；
[0028]根据所述取模运算结果与埋点采样率确定所述监控事件信息的上报属性。
[0029]进一步地，所述根据所述取模运算结果与埋点采样率确定所述监控事件信息的上报属性包括：
[0030]响应于所述取模运算结果小于所述埋点采样率对应的阈值，确定所述用户的上报属性为被选中上报。
[0031]进一步地，所述获取监控事件信息包括：
[0032]获取过滤信息；
[0033]基于所述过滤信息从用户产生的事件中获取监控事件信息；
[0034]其中，所述过滤信息为白名单布隆过滤器、白名单过滤和黑名单过滤中的一种。
[0035]进一步地，所述业务事件包括一类业务事件和二类业务事件；所述一类事件用于表征业务使用方基于应用软件定义的监控事件；所述二类业务事件用于表征业务使用方基于浏览器页面定义的监控事件。
[0036]进一步地，所述方法还包括：
[0037]响应于所述业务事件为一类事件，通过应用软件上报对应的监控事件信息。
[0038]进一步地，所述方法还包括：
[0039]响应于所述业务事件为二类事件，通过浏览器网页上报对应的监控事件信息。
[0040]第二方面，本专利技术实施例提供一种数据采集装置，所述装置包括：
[0041]事件确定单元，用于获取监控事件信息；
[0042]属性确定单元，用于根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性；
[0043]上报单元，用于响应于所述上报属性为被选中上报，基于至少一种方式上报所述监控事件信息。
[0044]第三方面，本专利技术实施例提供一种计算机程序指令，所述计算机程序指令被处理器执行时实现如上任一项所述的方法。
[0045]第四方面，本专利技术实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如上任一项所述的方法。
[0046]第五方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法步骤。
[0047]本专利技术实施例的技术方案在获取监控事件信息后通过预定的埋点采样率，确定不同用户的监控事件信息的上报属性，在保证能够获取足够数量监控事件信息和各用户具有相同的被选中概率的同时，减少额外数据采集工作量的产生，有利于提高数据采集上报效率；再者，通过用户标识和监控事件信息确定用户监控事件信息的上报属性，能够保证监控
事件信息与用户标识的一致性，有利于数据采集的准确性和稳定性；另外，在用户上报属性为被选中上报时，通过基于至少一种方式上报监控事件信息，能够减少监控事件信息在上报过程中的数据丢失，进一步提高监控事件信息上报的稳定性和准确性以及监控事件信息上报的效率。
附图说明
[0048]通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：
[0049]图1是本专利技术实施例的客户端的示意图；
[0050]图2是本专利技术实施例的数据采集方法的流程图；
[0051]图3是本专利技术实施例的获取监控事件信息的流程图；
[0052]图4是本专利技术实施例的获取监控事件信息上报属性的流程图；
[0053]图5是本专利技术实施例的上报监控事件信息的流程图；
[0054]图6是本专利技术另一实施例的数据采集方法的流程图；
[0055]图7是本专利技术实施例的数据采集装置的示意图；
[0056]图8是本专利技术实施例的电子设备的示意图。
具体实施方式
[0057]以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
[0058]此外，本领域普通技术人员应当理解，在此提供的附图都本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，应用于客户端，其特征在于，所述方法包括：获取监控事件信息；根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性；响应于所述上报属性为被选中上报，基于至少一种方式上报所述监控事件信息。2.根据权利要求1所述的数据采集方法，其特征在于，所述监控事件包括业务事件和系统事件，所述业务事件用于表征业务使用方定义的事件，所述系统事件用于表征所述业务内部定义的事件。3.根据权利要求1所述的数据采集方法，其特征在于，所述根据用户标识、监控事件信息和预定的埋点采样率确定所述监控事件信息的上报属性包括：确定所述用户标识和监控事件标识组合形成的哈希值；对所述哈希值与预设值作取模运算；根据所述取模运算结果与埋点采样率确定所述监控事件信息的上报属性。4.根据权利要求3所述的数据采集方法，其特征在于，所述根据所述取模运算结果与埋点采样率确定所述监控事件信息的上报属性包括：响应于所述取模运算结果小于所述埋点采样率对应的阈值，确定所述用户的上报属性为被选中上报。5.根据权利要求1所述的数据采集方法，其特征在于，所述获取监控事件信息包括：获取过滤信息；基于所述过滤信息从用户产生的事件中获取监控事件信息；其中，所述过滤信息为白名单布隆过...

【专利技术属性】
技术研发人员：梅平，汪新星，王飞，孙宇，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：