日志数据包的获取方法和装置及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种日志数据包的获取方法、装置及计算机可读存储介质，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：获取所述日志采集终端发送的第一日志数据包的数据包总数量；根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；根据所述第一日志完成率，获取第一日志获取时长；在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

Log Packet Acquisition Method and Device and Computer Readable Storage Media

【技术实现步骤摘要】
日志数据包的获取方法和装置及计算机可读存储介质
本申请涉及数据处理
，特别是涉及一种日志数据包的获取方法和装置及计算机可读存储介质。
技术介绍
随着视频业务的快速发展，产生了大量的日志(如用户是否点击观看视频广告，或者用户观看视频广告的观看时间等日志)，这样，服务器需要对产生的大量日志进行日志处理，其中，考虑到日志可能为不同类型，从而需要日志采集终端首先采集日志，然后对采集到的日志进行格式转换并打包得到日志数据包，最后将日志数据包发送至服务器，以便服务器可以根据接收到的日志数据包进行日志分析。由于日志采集终端可能发生故障，或者日志采集终端与服务器之间的网络连接异常等，使得服务器接收到的日志数据包的数据包总数量存在不确定性，在现有技术中，通常通过设置预设完成系数，以使得服务器在接收到的日志数据包的数据包总数量和日志采集终端的预设发包总数量的比值，达到该预设完成系数的情况下，对该日志数据包进行日志分析，例如，若该预设完成系数为60％，则在接收到的数据包总数量和预设发包总数量的比值为60％的情况下，即可以对该日志数据包进行日志分析。但是，专利技术人在研究上述方案中发现，日志采集终端还本文档来自技高网...

【技术保护点】
1.一种日志数据包的获取方法，其特征在于，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：获取所述日志采集终端发送的第一日志数据包的数据包总数量；根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；根据所述第一日志完成率，获取第一日志获取时长；在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。

【技术特征摘要】
1.一种日志数据包的获取方法，其特征在于，应用于日志采集终端向服务器发送至少一个日志数据包的过程中，所述方法执行于所述服务器中，所述方法包括：获取所述日志采集终端发送的第一日志数据包的数据包总数量；根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率；根据所述第一日志完成率，获取第一日志获取时长；在所述第一日志获取时长内继续等待接收第二日志数据包，并在所述第一日志获取时长内接收到所述第二日志数据包的情况下，根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包。2.根据权利要求1所述的方法，其特征在于，在所述根据所述第一日志完成率，获取第一日志获取时长之前，还包括：获取完成率范围与日志获取时长之间的对应关系；所述根据所述第一日志完成率，获取第一日志获取时长，包括：根据所述对应关系，获取所述第一日志完成率所在完成率范围对应的第一日志获取时长。3.根据权利要求1所述的方法，其特征在于，所述第一日志获取时长与所述第一日志完成率之间成反比关系。4.根据权利要求1所述的方法，其特征在于，所述在所述第一日志获取时长内继续等待接收第二日志数据包，包括：按照预设周期，在所述第一日志获取时长内检测是否接收到所述第二日志数据包；所述根据所述第一日志数据包和所述第二日志数据包获取最终日志数据包，包括：将所述第一日志数据包和所述第二日志数据包作为数据包集；判断所述数据包集对应的数据包数量与所述预设发包总数量之间的比值是否大于或者等于预设比值；在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值的情况下，确定所述第一日志数据包和所述第二日志数据包为所述最终日志数据包。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述数据包集对应的数据包数量与所述预设发包总数量之间的比值小于所述预设比值的情况下，循环执行数据包集更新步骤得到更新后的数据包集，直至所述更新后的数据包集满足预设循环终止条件时，停止执行数据包集更新步骤，并确定所述更新后的数据包集为最终日志数据包；所述数据包集更新步骤包括：根据所述数据包集对应的数据包数量和所述预设发包总数量，获取第二日志完成率；并根据所述第二日志完成率，获取第二日志获取时长；以及在所述第二日志获取时长内接收到第三日志数据包的情况下，将所述第三日志数据包添加至所述数据包集中得到更新后的数据包集。6.根据权利要求5所述的方法，其特征在于，所述预设循环终止条件包括：所述更新后的数据包集对应的数据包数量与所述预设发包总数量之间的比值大于或者等于所述预设比值；或者，所述更新后的数据包集包括的全部数据包对应的最新数据包接收时刻和当前时刻之间的时长大于或者等于最新获取到的日志获取时长。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述第一日志获取时长内未接收到第二日志数据包的情况下，确定所述第一日志数据包为所述最终日志数据包。8.根据权利要求1所述的方法，其特征在于，所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率，包括：计算所述数据包总数量和所述预设发包总数量之间的比值得到所述第一日志完成率。9.根据权利要求1所述的方法，其特征在于，在所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率之前，还包括：判断所述数据包总数量和所述预设发包总数量是否相同；所述根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取第一日志完成率，包括：在所述数据包总数量和所述预设发包总数量不相同的情况下，根据所述数据包总数量和所述日志采集终端的预设发包总数量，获取所述第一日志完成率。10.一种日志数据包的获取装置，其特征在于，应用于日志采...

【专利技术属性】
技术研发人员：余双，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11