System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据处理方法和电子设备技术_技高网

一种数据处理方法和电子设备技术

技术编号:40699852 阅读:3 留言:0更新日期:2024-03-22 10:57
本申请公开了一种数据处理方法和电子设备,涉及数据处理技术领域,包括:电子设备获取预设打点事件对应的打点数据,其中,打点数据中标记了优先级,优先级与打点事件相关。电子设备根据打点数据的优先级,将打点数据存储至预设的存储空间;在电子设备满足启动上报打点数据条件时,电子设备按照打点数据的优先级将打点数据读取至上报缓存中。电子设备将上报缓存中的打点数据发送至其他设备。本申请中,电子设备根据打点数据的优先级对打点数据进行传输,实现优先级高的打点数据的优先读取至上报缓存中并优先上报的效果,提高优先级高的打点数据的存储及上报成功率,避免点位数据的丢失。

【技术实现步骤摘要】

本申请实施例涉及大数据处理,尤其涉及一种数据处理方法和电子设备


技术介绍

1、为了更好地统计终端类产品的性能稳定性及用户行为数据,提高终端类产品的故障检测定位能力与可维护性,方便产品研发测试等人员进行问题跟踪、评估版本质量,需要终端类产品具备大数据打点上报的能力。

2、终端类产品的大数据打点上报的方式包括很多,示例性地,终端类产品可通过程序开发工具包(software development kit,sdk)进行打点保存,并将保存的打点数据上报至上层设备,实现大数据打点上报操作。

3、然而现有的大数据打点上报方法,打点丢点率较高,关键点位的丢失会使得打点数据不完整,降低了提供给上层设备的终端类产品的打点数据的有效性。


技术实现思路

1、本申请实施例提供一种数据处理方法和电子设备,通过对打点数据进行分级读取以及分级传输,可以将关键点位对应的优先级较高的打点数据优先发送至其他设备,提高关键点位的打点数据的传输成功率,避免关键点位的打点数据的丢失,提高了传输的打点数据的有效性。

2、为达到上述目的,本申请的实施例采用如下技术方案。

3、第一方面,提供了一种数据处理方法,该方法包括:

4、电子设备获取预设打点事件对应的打点数据,其中,打点数据中标记了优先级,优先级与打点事件相关。

5、电子设备根据打点数据的优先级,将打点数据存储至预设的存储空间;在电子设备满足启动发送打点数据条件时,电子设备按照打点数据的优先级,将预设的存储空间中的打点数据读取至上报缓存中;电子设备将上报缓存中的打点数据发送至其他设备。

6、本申请中,电子设备可以是具有直接与上层设备通信能力的设备,比如,电子设备可以是手机、平板电脑、计算机设备等设备;电子设备还可以是需要通过中间设备与上层设备进行通信的设备,比如,电子设备可以为蓝牙设备、可穿戴设备等,中间设备可以为手机、平板电脑、计算机设备等设备。其他设备可以包括中间设备,还可以包括服务器以及web端等上层设备。

7、本申请中设备行为的优先级可以分为高优先级对应的第一优先级、低优先级对应的第二优先级;电子设备在生成打点数据时可以通过增设用于表征优先级的字段来表征打点数据对应的设备行为的优先级,以便基于优先级进行打点数据的处理。

8、本申请中,电子设备根据打点数据的优先级对打点数据进行读取以及发送,实现优先级高的打点数据的优先读取至上报缓存中并优先进行数据传输处理,提高优先级高的打点数据的存储及传输成功率,避免优先级高的点位数据的丢失。此外,将打点数据读取至上报缓存中进行传输,可以减少传输打点数据过程中对于设备文件的读次数,降低设备文件输入/输出(input/output,i/o)的功耗,优化电子设备处理打点数据时处理器的性能。

9、在第一方面的一种可能的实现方式中,该方法还包括:

10、电子设备监测到预设打点事件时,根据预设的数据格式生成与预设打点事件对应的打点数据;电子设备将打点数据存储至预设消息队列中;预设消息队列为链表的数据结构。电子设备从消息队列中获取预设打点事件对应的打点数据。

11、在第一方面的另一种可能的实现方式中,预设消息队列采用cas无锁机制。

12、本申请中,电子设备将打点数据存储至消息队列中,将打点数据先写入消息队列中,在系统任务调度来临时,可从消息队列中对所保存的打点数据进行统一管理,解决了设备应用多线程同时打点可能导致的数据存储冲突问题,降低丢点率。此外,消息队列采用的是cas机制,cas机制可实现高性能消息队列的处理,可解决多线程条件下使用锁造成性能损耗的问题,且,消息队列使用的是链表的数据结构,可以跟随设备应用的打点需要动态分配内存。相比于直接将打点数据写入文件中,可避免读写文件时,多条线程并发导致的线程挂起/线程锁死的问题,同时也可减少对文件的读写的次数,降低文件的读写压力,降低蓝牙设备的读写功耗。

13、在第一方面的另一种可能的实现方式中,该方法还包括:

14、电子设备将打点数据暂存至环形内存缓存中;在环形内存缓存中的打点数据的数量大于或等于第一阈值时,电子设备根据环形内存缓存中的打点数据的优先级,将环形内存缓存中的打点数据存储至预设的存储空间。

15、其中,第一阈值根据环形内存缓存的大小确定。

16、本申请中,电子设备将消息队列中的打点数据暂存至环形内存缓存ringbuffer中,环形内存缓存ringbuffer的读取优先级高于存储空间(设备文件)的读取优先级,在ringbuffer有打点数据时,可以优先读取ringbuffer的数据,进一步减少对设备文件的读操作,优化对设备文件的读操作性能。

17、在第一方面的另一种可能的实现方式中,满足启动发送打点数据条件包括第一定时器的触发周期到达;或者,预设的存储空间和环形内存缓存中的打点数据的数量大于或等于第二阈值。

18、其中,第二阈值大于第一阈值。

19、本申请中,在第一定时器的触发周期到达时,电子设备执行启动发送打点数据的操作;或者,在预设的存储空间与环形内存缓存中的打点数据的数量大于或等于第二阈值时,执行启动发送打点数据的操作。这样,在打点数据产生频繁的状态下,电子设备可以及时进行打点数据的发送;在打点数据产生不频繁的情况下,以第一定时器的触发周期进行打点数据的发送,可有效地优化电子设备传输打点数据的性能。

20、在第一方面的另一种可能的实现方式中,预设的存储空间包括第一存储空间和第二存储空间,优先级包括第一优先级和第二优先级,第一优先级对应第一存储空间,第二优先级对应第二存储空间,电子设备根据环形内存缓存中的打点数据的优先级,将环形内存缓存中的打点数据存储至预设的存储空间,包括:

21、电子设备根据环形内存缓存中的打点数据的优先级,将第一优先级对应的打点数据存储至第一存储空间,将第二优先级对应的打点数据存储至第二存储空间。

22、本实施例中,根据打点数据的优先级以及存储空间的优先级,可以实现高优先级打点数据与低优先级打点数据的分级存储,可以提高后续的分级读取与分级传输的效率。

23、在第一方面的另一种可能的实现方式中,第一优先级高于第二优先级,环形内存缓存的优先级高于第一存储空间的优先级;电子设备按照打点数据的优先级,将预设的存储空间中的打点数据读取至上报缓存中,包括:

24、电子设备按照优先级由高到低的顺序,从环形内存缓存、第一存储空间以及第二存储空间中读取打点数据至上报缓存中。

25、其中,第一存储空间与第二存储空间可以均为文件。第一存储空间为关键点位文件;第二存储空间为普通点位文件。

26、本申请中,ringbuffer的读取优先级高于第一存储空间的读取优先级。也即,在电子设备从ringbuffer与存储空间(第一存储空间、第二存储空间)中读取待发送的打点数据时,优先读取ringbuf本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述预设消息队列采用比较并交换CAS无锁机制。

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述满足启动发送打点数据条件包括:第一定时器的触发周期到达;或者,所述预设的存储空间和所述环形内存缓存中的打点数据的数量大于或等于第二阈值;所述第二阈值大于所述第一阈值。

6.根据权利要求4所述的方法,其特征在于,所述预设的存储空间包括第一存储空间和第二存储空间,所述优先级包括第一优先级和第二优先级,所述第一存储空间对应第一优先级,所述第二存储空间对应第二优先级,

7.根据权利要求6所述的方法,其特征在于,所述第一优先级高于所述第二优先级,所述环形内存缓存的优先级高于所述第一存储空间的优先级;所述电子设备按照所述打点数据的优先级,将所述预设的存储空间中的打点数据读取至上报缓存中,包括:

8.根据权利要求7所述的方法,其特征在于,所述电子设备按照优先级由高到低的顺序,从所述环形内存缓存、所述第一存储空间以及所述第二存储空间中读取所述打点数据至所述上报缓存中,包括:

9.根据权利要求1所述的方法,其特征在于,在所述电子设备满足启动发送打点数据条件时,所述方法还包括:

10.根据权利要求1-8中任一项所述的方法,其特征在于,所述方法还包括:

11.根据权利要求10所述的方法,其特征在于,如果所述可用链路的业务状态为空闲状态,所述上报周期为第一周期;如果所述可用链路的业务状态为繁忙状态,所述上报周期为第二周期;所述第一周期小于所述第二周期。

12.根据权利要求1-11中任一项所述的方法,其特征在于,所述方法还包括:

13.根据权利要求1-12中任一项所述的方法,其特征在于,所述打点数据中标记了数据传输通道;所述电子设备将所述上报缓存中的打点数据发送其他设备,包括:

14.根据权利要求1-13中任一项所述的方法,其特征在于,所述方法还包括:

15.一种电子设备,其特征在于,所述电子设备包括存储器、通信模块和一个或多个处理器;所述存储器、所述通信模块与所述处理器耦合;所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-14中任一项所述的方法。

16.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述预设消息队列采用比较并交换cas无锁机制。

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述满足启动发送打点数据条件包括:第一定时器的触发周期到达;或者,所述预设的存储空间和所述环形内存缓存中的打点数据的数量大于或等于第二阈值;所述第二阈值大于所述第一阈值。

6.根据权利要求4所述的方法,其特征在于,所述预设的存储空间包括第一存储空间和第二存储空间,所述优先级包括第一优先级和第二优先级,所述第一存储空间对应第一优先级,所述第二存储空间对应第二优先级,

7.根据权利要求6所述的方法,其特征在于,所述第一优先级高于所述第二优先级,所述环形内存缓存的优先级高于所述第一存储空间的优先级;所述电子设备按照所述打点数据的优先级,将所述预设的存储空间中的打点数据读取至上报缓存中,包括:

8.根据权利要求7所述的方法,其特征在于,所述电子设备按照优先级由高到低的顺序,从所述环形内存缓存、所述第一存储空间以及所述第二存储空间中读取所述打点数据至所述上报缓存中,包括:

9.根据权利要求1所述...

【专利技术属性】
技术研发人员:肖佑锋
申请(专利权)人:荣耀终端有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1