数据采集方法、装置以及计算机可读存储介质制造方法及图纸

技术编号:40599724 阅读:14 留言:0更新日期:2024-03-12 22:03
本申请公开了一种数据采集方法、装置以及计算机可读存储介质,可应用于云技术等场景。具体的,获取待处理的数据采集任务;读取从属服务器列表,从属服务器列表包含与管理服务器建立长连接的从属服务器的服务器标识;检测每一服务器标识对应的从属服务器的运行状态;计算数据采集任务的目标哈希值,并根据目标哈希值和运行状态从从属服务器列表中选取待分配任务的目标服务器标识;将数据采集任务分配至目标服务器标识对应的目标从属服务器进行数据采集。以此,可实现通分布式的目标从属服务进行数据采集,可使得数据采集进程不受限于运行资源的影响,保障数据采集过程中的性能,避免数据采集过程中系统奔溃的现象,提高数据采集效率和用户体验。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种数据采集方法、装置以及计算机可读存储介质


技术介绍

1、随着物联网(internet of things,简称iot)技术的发展,可对采集设备进行的网络接入,以便对现实物体进行智能化感知、识别和管理。为了对现实物体进行感知和管理,可通过对现实物体的数据进行采集,以便后续根据收集到的物品数据对相应的现实物体进行识别和管理。

2、相关技术在采集数据时,主要是通过相关的数据管理服务器与该采集设备进行连接,如将数据管理服务器与待管理的采集设备进行网络连接,并接收该待管理的采集设备的各类数据,以便根据采集的数据对现实物体进行识别和管理。

3、在对现有技术的研究和实践过程中,本申请的专利技术人发现现有技术在采集数据时,数据管理服务器的运行资源有限,如运算资源、内存资源和存储资源等有限,而该有限的运行资源会限制数据采集过程的性能,在面对海量的数据时,容易造成数据管理服务器的资源紧张,容易导致数据采集过程中系统奔溃现象,因而,影响了数据采集效率,且不具有可靠性,增加相关人员的工作量,影响用户体验。


<本文档来自技高网...

【技术保护点】

1.一种数据采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述运行状态包含可分配任务状态和不可分配任务状态,所述检测所述从属服务器列表中每一服务器标识对应的从属服务器的运行状态,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标哈希值和所述运行状态从所述从属服务器列表中选取待分配任务的目标服务器标识,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标哈希值与所述待选标识数量,确定待分配任务的目标服务器标识,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述目标哈希值与所述...

【技术特征摘要】

1.一种数据采集方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述运行状态包含可分配任务状态和不可分配任务状态,所述检测所述从属服务器列表中每一服务器标识对应的从属服务器的运行状态,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标哈希值和所述运行状态从所述从属服务器列表中选取待分配任务的目标服务器标识,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标哈希值与所述待选标识数量,确定待分配任务的目标服务器标识,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述目标哈希值与所述待选标识数量,确定待分配任务的目标服务器标识之前,还包括:

6.根据权利要求5所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,所述将所述数据采集任务分配至所述目标服务器标识对应的目标从属服务器进行数据采集之后,还包括:

8.根据权利要求7所述的...

【专利技术属性】
技术研发人员:李斌
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1