System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据传输的方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种数据传输的方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40458393 阅读:5 留言:0更新日期:2024-02-22 23:14
本发明专利技术公开了一种数据传输的方法、装置、电子设备及存储介质,方法包括:获取日志数据和业务请求;其中,业务请求搭载在一个或多个第一数据段中进行传输;第一数据段包括业务请求和第二数据段;根据第一数据段的容量大小和业务请求的数据大小,确定第一数据段中第二数据段的可容纳数据量;根据第二数据段的可容纳数据量,将日志数据填充至第二数据段;向服务端发送包含日志数据的第一数据段。通过实现对第一数据段中未满载的第二数据段的复用,从而达到在数据段不增加的情况下把日志数据传输到服务端的目的,极大减少了客户端流量消耗,并且可以最大化存储空间利用率和提高文件系统性能,可广泛应用于数据通信技术领域。

【技术实现步骤摘要】

本专利技术涉及数据通信,尤其是一种数据传输的方法、装置、电子设备及存储介质


技术介绍

1、移动端app(application应用程序)中用户的操作日志收集,对app的运营、分析、bug(漏洞)的定位都十分重要,日志收集需要做到精准、实时。业界的常规做法是把此次客户端(如app)启动到结束的操作日志先写在客户端本地文件中,等待下次客户端启动时,再把上次的日志上传到服务端,接着由服务端生成可视化日志报表;依次类推,下一次启动也会把上一次的日志上传到服务端。这种做法存在如下几个问题:

2、1、占用流量。app每次启动时的日志上传是一次完整的http(hypertext transferprotocol超文本传输协议)上传请求,十分耗费流量。

3、2、增加app体积。日志文件虽然是纯文本,但日志文件大小会随着app长时间使用持续增长,若app持续运行,日志文件甚至可能高达几十兆。


技术实现思路

1、有鉴于此,本专利技术实施例提供一种数据传输的方法、装置、电子设备及存储介质,以解决或部分解决相关技术中的技术问题之一,能够节省流量和不占用存储体积,以提高数据传输的效率。

2、本专利技术实施例的一方面提供了一种数据传输的方法,应用于客户端,所述方法包括:

3、获取日志数据和业务请求;其中,所述业务请求搭载在一个或多个第一数据段中进行传输;所述第一数据段包括所述业务请求和第二数据段;

4、根据所述第一数据段的容量大小和所述业务请求的数据大小,确定所述第一数据段中所述第二数据段的可容纳数据量;

5、根据所述第二数据段的可容纳数据量,将所述日志数据填充至所述第二数据段;

6、向服务端发送包含所述日志数据的所述第一数据段。

7、可选地,在所述获取日志数据之后,所述方法还包括:

8、创建针对所述日志数据的日志收集队列;其中,所述日志数据包含有待上传的日志数据;

9、当所述日志收集队列的队列容量超过针对所述待上传的日志数据所预设的数据容量阈值时,向所述第一数据段上传所述待上传的日志数据。

10、可选地,所述方法还包括:

11、根据所述第一数据段的容量大小,确定针对所述第一数据段的可复用容量阈值;

12、根据所述第一数据段的可复用容量阈值,判断是否在所述第一数据段加入所述日志数据。

13、可选地,在所述根据所述第一数据段的可复用容量阈值,判断是否在所述第一数据段加入所述日志数据之后,所述方法还包括:

14、若根据所述第一数据段的可复用容量阈值判断在所述第一数据段加入所述日志数据,则将所述日志数据填充至所述第一数据段中的所述第二数据段;

15、若根据所述第一数据段的可复用容量阈值判断不在所述第一数据段加入所述日志数据时,则直接向所述服务端发送未包含所述日志数据的所述第一数据段。

16、可选地,所述根据所述第二数据段的可容纳数据量,将所述日志数据填充至所述第二数据段,包括:

17、根据所述第二数据段的可容纳数据量,在所述日志数据中取出与所述第二数据段的可容纳数据量相应大小的待填充的日志数据,并将所述待填充的日志数据填充至所述第二数据段。

18、可选地,在所述根据所述第一数据段的容量大小和所述业务请求的数据大小,确定所述第一数据段中所述第二数据段的可容纳数据量之后,所述方法还包括:

19、当所述第二数据段的可容纳数据量大于预设阈值时,根据预设标识规则对所述第一数据段中的所述业务请求进行标识。

20、本专利技术实施例的另一方面还提供了一种数据传输的方法,应用于服务端,所述方法包括:

21、接收客户端发送的第一数据段;

22、对所述第一数据段进行处理,得到所述第一数据段中包含的日志数据,并将所述日志数据写入本地日志文件。

23、其中,所述第一数据段根据上述应用于客户端的数据传输的方法确定。

24、可选地,所述日志数据包含待写入的日志数据,所述第一数据段中包含的业务请求头部对应设置有日志标识符,所述对所述第一数据段进行处理,得到所述第一数据段中包含的日志数据,并将所述日志数据写入本地日志文件,包括:

25、若所述日志标识符为预设阈值时,从所述日志标识符对应的日志字段中取出所述待写入的日志数据;

26、将所述待写入的日志数据拼接在本地日志文件中。

27、可选地,所述方法还包括:

28、对所述第一数据段进行处理,得到所述第一数据段中包含的业务请求,并将所述业务请求中的数据写入本地业务数据文件。

29、本专利技术实施例的另一方面还公开了一种数据传输的装置,应用于客户端,所述装置包括:

30、数据获取模块,用于获取日志数据和业务请求;其中,所述业务请求搭载在一个或多个第一数据段中进行传输;所述第一数据段包括所述业务请求和第二数据段;

31、可容纳数据量确定模块,用于根据所述第一数据段的容量大小和所述业务请求的数据大小,确定所述第一数据段中所述第二数据段的可容纳数据量;

32、日志数据填充模块,用于根据所述第二数据段的可容纳数据量,将所述日志数据填充至所述第二数据段;

33、第一数据段发送模块,用于向服务端发送包含所述日志数据的所述第一数据段。

34、本专利技术实施例的另一方面还公开了一种数据传输的装置,应用于服务端,所述装置包括:

35、第一数据段接收模块,用于接收客户端发送的第一数据段;

36、第一数据段处理模块,用于对所述第一数据段进行处理,得到所述第一数据段中包含的日志数据,并将所述日志数据写入本地日志文件。

37、其中,所述第一数据段根据上述应用于客户端的数据传输的装置确定。

38、本专利技术实施例还公开了一种电子设备,包括处理器以及存储器;

39、所述存储器用于存储程序;

40、所述处理器执行所述程序实现如本专利技术实施例所述的方法。

41、本专利技术实施例还公开了一种计算机存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由所述处理器执行时用于实现如本专利技术实施例所述的方法。

42、本专利技术实施例包括以下优点:

43、在本专利技术的实施例中,首先获取日志数据和业务请求,其中,业务请求搭载在一个或多个第一数据段中进行传输,第一数据段包括业务请求和第二数据段,接着根据第一数据段的容量大小和业务请求的数据大小,确定第一数据段中第二数据段的可容纳数据量,进而根据第二数据段的可容纳数据量,将日志数据填充至第二数据段,最后向服务端发送包含日志数据的第一数据段。本专利技术实施例通过确定第一数据段中第二数据段的可容纳数据量,进而根据第二数据段的可容纳数据量将日志数据填充至第二数据段,即通过将对应大小的日志数据填充到第一数据段中未满载的第二数据段里,以实现对第一数据段中未满本文档来自技高网...

【技术保护点】

1.一种数据传输的方法,其特征在于,应用于客户端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取日志数据之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在所述根据所述第一数据段的可复用容量阈值,判断是否在所述第一数据段加入所述日志数据之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述第二数据段的可容纳数据量,将所述日志数据填充至所述第二数据段,包括:

6.根据权利要求1所述的方法,其特征在于,在所述根据所述第一数据段的容量大小和所述业务请求的数据大小,确定所述第一数据段中所述第二数据段的可容纳数据量之后,所述方法还包括:

7.一种数据传输的方法,其特征在于,应用于服务端,所述方法包括:

8.根据权利要求7所述的方法,其特征在于,所述日志数据包含待写入的日志数据,所述第一数据段中包含的业务请求头部对应设置有日志标识符,所述对所述第一数据段进行处理,得到所述第一数据段中包含的日志数据,并将所述日志数据写入本地日志文件,包括:

9.根据权利要求7所述的方法,其特征在于,所述方法还包括:

10.一种数据传输的装置,其特征在于,应用于客户端,所述装置包括:

11.一种数据传输的装置,其特征在于,应用于服务端,所述装置包括:

12.一种电子设备,其特征在于,包括处理器以及存储器;

13.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至9中任一项所述的方法。

...

【技术特征摘要】

1.一种数据传输的方法,其特征在于,应用于客户端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,在所述获取日志数据之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,在所述根据所述第一数据段的可复用容量阈值,判断是否在所述第一数据段加入所述日志数据之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述第二数据段的可容纳数据量,将所述日志数据填充至所述第二数据段,包括:

6.根据权利要求1所述的方法,其特征在于,在所述根据所述第一数据段的容量大小和所述业务请求的数据大小,确定所述第一数据段中所述第二数据段的可容纳数据量之后,所述方法还包括:

7.一种数据传...

【专利技术属性】
技术研发人员:王建国王刚王远峰丘凌陈天明陶智明汪洋张蕤王亚辉潘琴芳
申请(专利权)人:天翼数字生活科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1