数据归集方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种数据归集方法、装置、设备及存储介质，应用于数据归集系统，采集模块获取采集数据并将采集数据处理为标准数据之后，将标准数据上传至归集子系统，归集子系统对标准数据进行归集和保存，应用子系统从归集子系统中获取归集数据，并结合业务处理需求将归集数据处理为业务数据。本申请可以实现数据的自动采集、归集和保存，并且能够解除采集现场对数据查看的空间限制，极大的提高了数据归集的效率。集的效率。集的效率。

【技术实现步骤摘要】
数据归集方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种数据归集方法、装置、设备及存储介质。

技术介绍

[0002]实验数据的采集与汇总是进行实验数据处理的重要一环，通过采集不同实验设备在实验过程中产生的实验数据，并将采集到的实验数据归集为实验文件，可以实现实验数据的电子化管理。
[0003]现有技术中，通常是由工作人员手动将实验数据录入系统，由系统根据录入的实验数据生成实验报表。
[0004]然而，现有技术中采集实验数据的方案存在手动录入易出错的问题，并且不同实验室的数据相互独立，因此也不便于进行数据检索。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种数据归集方法、装置、设备及存储介质，以解决现有技术中手动归集数据易出错以及数据检索不方便的问题。
[0006]为实现上述目的，本申请采用的技术方案如下：
[0007]第一方面，本申请提供了一种数据归集方法，应用于数据归集系统，所述数据归集系统包括：归集子系统、应用子系统、多个采集模块以及多个采集设备，各所述采集模块部署于采集现场的采集网关中，各所述采集设备安装在业务场景的各运行设备上，各所述采集模块分别与一个或多个所述采集设备通信连接，所述归集子系统和所述应用子系统部署于云服务器上，各所述采集模块预先在所述归集子系统注册；所述方法包括：
[0008]所述采集模块从连接的各采集设备获取采集数据，并对所述采集数据进行数据加工，得到标准数据；/>[0009]所述采集模块将所述标准数据上传至所述归集子系统；
[0010]所述归集子系统对所述标准数据进行归集处理并保存，得到多种归集数据；
[0011]所述应用子系统根据业务需求信息从所述归集子系统获取至少一种归集数据，并将所述至少一种归集数据处理为业务数据并输出。
[0012]可选的，所述采集模块在所述归集子系统注册的过程包括：
[0013]所述采集模块向所述归集子系统发送注册消息，所述注册消息中包括如下至少一种：所述采集模块的标识、所述采集模块的名称以及所述采集模块的描述信息；
[0014]所述归集子系统基于所述注册消息将所述采集模块注册至所述归集子系统，并将所述采集模块的注册结果发送给所述采集模块。
[0015]可选的，所述归集子系统基于所述注册消息将所述采集模块注册至所述归集子系统，并将所述采集模块的注册结果发送给所述采集模块，包括：
[0016]所述归集子系统基于所述注册消息配置所述采集模块的名称以及所述采集模块
的描述信息，以将所述采集模块注册至所述归集子系统；
[0017]所述归集子系统根据预先存储的所述采集模块的配置信息确定所述采集模块的采集设备信息，并根据所述采集模块的采集设备信息向所述采集模块添加采集设备，配置各所述采集设备的采集策略和数据加工策略，得到所述采集模块的注册结果，所述采集设备信息包括：至少一个采集设备的标识、各采集设备的采集策略以及数据的加工策略；
[0018]所述归集子系统将各所述注册结果发送给所述采集模块。
[0019]可选的，所述采集模块包括：采集插件和加工模块；
[0020]所述对从连接的多个采集设备获取的采集数据进行数据加工，得到标准数据，包括：
[0021]所述采集模块通过采集插件从采集设备中获取采集数据；
[0022]所述采集模块通过所述加工模块对所述采集数据进行加工解析，得到标准数据。
[0023]可选的，所述采集模块将所述标准数据上传至所述归集子系统，包括：
[0024]若当前网络质量满足实时传输要求，则所述采集模块将所述标准数据上传至所述归集子系统；
[0025]若当前网络质量不满足实时传输要求，则所述采集模块将所述标准数据上传至与所述采集网关连接的中间网关的消息队列，以在网络质量满足实时传输要求时由所述中间网关将所述消息队列中的标准数据上传至所述归集子系统。
[0026]可选的，所述归集子系统对所述标准数据进行归集处理并保存，得到多种归集数据，包括：
[0027]所述归集子系统根据所述标准数据的描述信息，确定所述标准数据的类型，并根据所述标准数据的类型将所述标准数据存储在数据库中的对应区域，其中，所述数据库中各区域分别存储一种归集数据，所述标准数据的描述信息用于指示所述标准数据的数据来源；
[0028]所述应用子系统根据业务需求信息从所述归集子系统获取至少一种归集数据，包括：
[0029]所述应用子系统从所述归集子系统获取所述至少一种归集数据，并将所述至少一种归集数据按照所述业务需求信息对应的业务处理策略处理为业务数据并输出。
[0030]可选的，所述方法还包括：
[0031]所述归集子系统向所述采集模块下发命令，所述命令中包括：版本标识；
[0032]所述采集模块接收到多个命令时，执行具有最新版本标识的命令，以控制与所述采集模块连接的采集设备的工作状态。
[0033]第二方面，本申请提供了一种数据归集系统，所述数据归集系统包括：归集子系统、应用子系统、多个采集模块以及多个采集设备，各所述采集模块部署于采集现场的采集网关中，各所述采集设备安装在业务场景的各运行设备上，各所述采集模块分别与一个或多个所述采集设备通信连接，所述归集子系统和所述应用子系统部署于云服务器上，各所述采集模块预先在所述归集子系统注册；其中：
[0034]所述采集模块用于从连接的各采集设备获取采集数据，并对所述采集数据进行数据加工，得到标准数据；
[0035]所述采集模块用于将所述标准数据上传至所述归集子系统；
[0036]所述归集子系统用于对所述标准数据进行归集处理并保存，得到多种归集数据；
[0037]所述应用子系统用于根据业务需求信息从所述归集子系统获取至少一种归集数据，并将所述至少一种归集数据处理为业务数据并输出。
[0038]可选的，所述采集模块还用于向所述归集子系统发送注册消息，所述注册消息中包括如下至少一种：所述采集模块的标识、所述采集模块的名称以及所述采集模块的描述信息；
[0039]所述归集子系统还用于基于所述注册消息将所述采集模块注册至所述归集子系统，并将所述采集模块的注册结果发送给所述采集模块。
[0040]可选的，所述归集子系统还用于：
[0041]基于所述注册消息配置所述采集模块的名称以及所述采集模块的描述信息，以将所述采集模块注册至所述归集子系统；
[0042]根据预先存储的所述采集模块的配置信息确定所述采集模块的采集设备信息，并根据所述采集模块的采集设备信息向所述采集模块添加采集设备，配置各所述采集设备的采集策略和数据加工策略，得到所述采集模块的注册结果，所述采集设备信息包括：至少一个采集设备的标识、各采集设备的采集策略以及数据的加工策略；
[0043]将各所述注册结果发送给所述采集模块。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据归集方法，其特征在于，应用于数据归集系统，所述数据归集系统包括：归集子系统、应用子系统、多个采集模块以及多个采集设备，各所述采集模块部署于采集现场的采集网关中，各所述采集设备安装在业务场景的各运行设备上，各所述采集模块分别与一个或多个所述采集设备通信连接，所述归集子系统和所述应用子系统部署于云服务器上，各所述采集模块预先在所述归集子系统注册；所述方法包括：所述采集模块从连接的各采集设备获取采集数据，并对所述采集数据进行数据加工，得到标准数据；所述采集模块将所述标准数据上传至所述归集子系统；所述归集子系统对所述标准数据进行归集处理并保存，得到多种归集数据；所述应用子系统根据业务需求信息从所述归集子系统获取至少一种归集数据，并将所述至少一种归集数据处理为业务数据并输出。2.根据权利要求1所述的方法，其特征在于，所述采集模块在所述归集子系统注册的过程包括：所述采集模块向所述归集子系统发送注册消息，所述注册消息中包括如下至少一种：所述采集模块的标识、所述采集模块的名称以及所述采集模块的描述信息；所述归集子系统基于所述注册消息将所述采集模块注册至所述归集子系统，并将所述采集模块的注册结果发送给所述采集模块。3.根据权利要求2所述的方法，其特征在于，所述归集子系统基于所述注册消息将所述采集模块注册至所述归集子系统，并将所述采集模块的注册结果发送给所述采集模块，包括：所述归集子系统基于所述注册消息配置所述采集模块的名称以及所述采集模块的描述信息，以将所述采集模块注册至所述归集子系统；所述归集子系统根据预先存储的所述采集模块的配置信息确定所述采集模块的采集设备信息，并根据所述采集模块的采集设备信息向所述采集模块添加采集设备，配置各所述采集设备的采集策略和数据加工策略，得到所述采集模块的注册结果，所述采集设备信息包括：至少一个采集设备的标识、各采集设备的采集策略以及数据的加工策略；所述归集子系统将各所述注册结果发送给所述采集模块。4.根据权利要求1所述的方法，其特征在于，所述采集模块包括：采集插件和加工模块；所述对从连接的多个采集设备获取的采集数据进行数据加工，得到标准数据，包括：所述采集模块通过采集插件从采集设备中获取采集数据；所述采集模块通过所述加工模块对所述采集数据进行加工解析，得到标准数据。5.根据权利要求1所述的方法，其特征在于，所述采集模块将所述标准数据上传至所述归集子系统，包括：若当前网络质量满足实时传输要求，则所述采集模块将所述标准数据上传至所述归集子系统；若当前网络质量...

【专利技术属性】
技术研发人员：贾坤锋，郝华，林加旗，吴小元，李孟丘，
申请(专利权)人：明度智云浙江科技有限公司，
类型：发明
国别省市：