一种基于物联网的分布式数据采集汇总方法技术

本发明专利技术公开了一种基于物联网的分布式数据采集汇总方法，包括如下步骤：建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集。本发明专利技术在保证数据准确性的同时，能够减少数据采集的工作量，进一步提高数据的准确性及完整性，一次采集即可重复使用，降低了网络通信复杂度，提高了网络通信和数据存储效率。

【技术实现步骤摘要】
一种基于物联网的分布式数据采集汇总方法
本专利技术涉及数据采集汇总
，尤其涉及一种基于物联网的分布式数据采集汇总方法。
技术介绍
随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。在第五代移动通信(5thGeneration，5G)系统中，引入了网络数据分析功能(NetworkDataAnalyticsFunction，NWDAF)。NWDAF能够从网络管理功能(OperationsAdministrationandMaintenance，OAM)、应用功能(ApplicationFunction，AF)和5G网络功能(NetworkFunction，NF)中采集网络数据，并对网络数据进行分析后反馈网络数据分析结果。然而，现有的数据采集汇总过程较为繁琐，网络数据管理复杂，不便于对数据进行过滤除杂。数据之间不互通，不共享。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术提出了一种基于物联网的分布式数据采集汇总方法。本专利技术提出的一种基于物联网的分布式数据采集汇总方法，包括如下步骤：S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；S4用户通过客户端在汇总后的数据库中查询所需数据信息。优选的，所述数据库连接有数据交换模块，所述数据交换模块包括基础数据库、交换工具和中间库，所述基础数据库是历史数据形成的历史数据库，所述交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，所述中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。优选的，所述汇总数据库上设置有数据管理模块，所述数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。优选的，所述数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。优选的，所述补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。优选的，所述纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。优选的，所述数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。优选的，所述步骤S3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。本专利技术中，所述一种基于物联网的分布式数据采集汇总方法，在保证数据准确性的同时，能够减少数据采集的工作量，进一步提高数据的准确性及完整性，一次采集即可重复使用，降低了网络通信复杂度，提高了网络通信和数据存储效率。附图说明图1为本专利技术提出的一种基于物联网的分布式数据采集汇总方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。参照图1，一种基于物联网的分布式数据采集汇总方法，包括如下步骤：S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；S4用户通过客户端在汇总后的数据库中查询所需数据信息。本专利技术中，数据库连接有数据交换模块，数据交换模块包括基础数据库、交换工具和中间库，基础数据库是历史数据形成的历史数据库，交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。本专利技术中，汇总数据库上设置有数据管理模块，数据管理模块用于对数据进行新增、删除、修改、查询、导入和导出操作。本专利技术中，数据采集设备上设置有数据审核模块，数据审核模块用于审核数据是否正确，且数据审核模块包括补录数据审核子单元和纠错数据审核子单元。本专利技术中，补录数据审核子模块中，补录数据来源网络传输数据，补录数据审核子模块审核补录数据，并录入审核结果，审核结果包括通过、不通过：若审核通过，数据则发送至数据库；若审核不通过，数据则发送至无效数据库。本专利技术中，纠错数据审核子模块中，纠错数据来源网络传输数据纠错；纠错数据审核子模块审核纠错数据，并录入审核结果，审核结果包括通过和不通过：若审核通过，则该纠错字段自动纠错并录入的正确数据覆盖原数据；若审核不通过，则该纠错字段仍采用原数据，不做变更。本专利技术中，数据采集设备的数据采集请求反馈信息为数据采集任务创建失败消息时，销毁数据采集任务。本专利技术中，步骤S3中数据分析模块对数据进行分类处理，并将分类处理后的数据分类发送至数据处理模块，数据处理模块剔除无用数据，并将有用数据转换成所需数据格式。本专利技术：建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；分布式服务器集群接收采集到的目标数据，并将目标数据本文档来自技高网...

【技术保护点】
1.一种基于物联网的分布式数据采集汇总方法，其特征在于，包括如下步骤：/nS1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；/nS2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；/n当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；/n当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；/nS3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；/nS4用户通过客户端在汇总后的数据库中查询所需数据信息。/n

【技术特征摘要】
1.一种基于物联网的分布式数据采集汇总方法，其特征在于，包括如下步骤：
S1建立分布式数据采集汇总系统，分布式数据采集汇总系统包括分布式服务器集群、数据采集设备和客户端，分布式服务器集群中建立数据库、数据分析模块、数据处理模块；
S2数据采集设备接收网络数据发送的数据采集请求，并识别数据采集请求是否在采集任务中；
当所要采集的目标数据不在已采集的任务中，向采集对象发起数据采集请求，重新进行数据采集；
当所要采集的目标数据在已采集的任务中，将采集到的数据发送至分布式服务器集群中；
S3分布式服务器集群接收采集到的目标数据，并将目标数据发送至数据分析模块中进行数据分析，数据分析模块分析后的数据发送至数据处理模块中进行数据处理，处理后的数据发送至数据库中，数据库对发送的数据进行汇总处理；
S4用户通过客户端在汇总后的数据库中查询所需数据信息。


2.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述数据库连接有数据交换模块，所述数据交换模块包括基础数据库、交换工具和中间库，所述基础数据库是历史数据形成的历史数据库，所述交换工具用于将基础数据库中的存储数据按照标准进行清洗转换，并发送至中间库中，所述中间库将数据转换成满足要求是规范格式，并发送至汇总数据库中。


3.根据权利要求1所述的一种基于物联网的分布式数据采集汇总方法，其特征在于，所述汇总数据库上设置有数据管理模块，所述数据管理模块用于对数据进行新增、删除、...

【专利技术属性】
技术研发人员：王浩，蒋云钟，杨明祥，董宁彭，
申请(专利权)人：澜途集思生态科技集团有限公司，
类型：发明
国别省市：北京;11