一种数据采集方法及系统技术方案

本发明专利技术公开一种数据采集方法及系统，该方法包括如下步骤：获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；基于当前采集频率采集数据，并将数据上传，记录数据上传时间；对数据进行处理，并将处理后的数据输出，记录数据输出时间；基于数据上传时间与数据输出时间得到数据处理总时长；基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。在数据同步过程监控数据处理及传输延迟，并在设定的采集频率范围内，自适应调整采集频率，使业务在满足实时性的前提下，保证数据处理的最优质量。

【技术实现步骤摘要】
一种数据采集方法及系统
本专利技术涉及数据采集
，具体是一种数据采集方法及系统。
技术介绍
在工业互联网领域，数据采集是常见的应用场景之一，一般系统通过边缘设备对工厂设备进行数据采集，然后上发到服务器端进行处理和展示，而在某些业务场景中，业务对数据采集频率依赖度不敏感，但是对实时性要求比较高，例如设备温度监测曲线，在数据采集频繁时，业务数据处理和展示更精细，而在数据采集频率降低后，业务数据展示和处理质量会下降，但也不会导致业务处理失败，而在网络延时高或者服务器处理压力大时，过高的数据采集频率会导致数据处理延迟增加，例如回流炉温度不能实时显示而导致监测不及时，而在服务器闲时，低的采集频率会导致业务处理质量差，影响用户体验性。而且现有的数据采集技术在同步数据时，不会考虑数据采集频率对数据处理性能和网络状况的影响，在网络状况差，仍在使用同样的频率做数据采集，导致网络状况差或服务器性能差时，数据量过大，使得网络或服务器负载更加严重，导致业务实时性受到严重影响。
技术实现思路
针对上述现有技术中的不足，本专利技术提供一种数据采集方法及系统，能够自适应调整采集频率，使业务在满足实时性的前提下，保证数据处理的最优质量。为实现上述目的，本专利技术提供一种数据采集方法，包括如下步骤：步骤1，获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；步骤2，基于当前采集频率采集数据，并将数据上传，记录数据上传时间；步骤3，对数据进行处理，并将处理后的数据输出，记录数据输出时间；步骤4，基于数据上传时间与数据输出时间得到数据处理总时长；步骤5，基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。在其中一个实施例中，还包括：步骤6，重复步骤2-步骤5，以实时调整数据采集的频率。在其中一个实施例中，步骤5中，所述基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，具体为：式中，F为最佳频率，Fmax为最高频率，Fmin为最低频率，T为数据处理总时长，Tdelay为业务可接受延迟时长。在其中一个实施例中，若T≤Tdelay时计算得到的F<Fmin，则令F＝Fmin。为实现上述目的，本专利技术还提供一种数据采集系统，包括云服务端与数据采集设备；所述数据采集设备包括：数据采集单元，用于以数据分析单元反馈的采集频率进行数据采集；数据传输单元，用于将数据传输单元采集的数据上传至云服务端，并将数据上传时间犯反馈至数据分析单元；数据分析单元，用于根据数据上传时间、业务可接受延迟时长、云服务端反馈的数据输出时间以及数据采集的最高频率、最低频率得到数据采集的最佳频率，并将该最佳频反馈至数据采集单元；所述云服务端包括：数据接收单元，用于接收数据传输单元上传的数据；数据处理单元，用于对数据传输单元上传的数据进行处理并输出；数据反馈单元，用于将数据处理单元输出数据时的数据输出时间反馈至数据分析单元。在其中一个实施例中，所述数据分析单元根据数据上传时间、业务可接受延迟时长、云服务端反馈的数据输出时间以及数据采集的最高频率、最低频率得到数据采集的最佳频率，具体为：基于数据上传时间与数据输出时间得到数据处理总时长；基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率：式中，F为最佳频率，Fmax为最高频率，Fmin为最低频率，T为数据处理总时长，Tdelay为业务可接受延迟时长。在其中一个实施例中，若T≤Tdelay时计算得到的F<Fmin，则令F＝Fmin。本专利技术提供的一种数据采集方法及系统，基于数据处理总时长与业务可接受延迟时长得到数据采集的最佳频率，在数据同步过程监控数据处理及传输延迟，并在设定的采集频率范围内，自适应调整采集频率，使业务在满足实时性的前提下，保证数据处理的最优质量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本专利技术实施例中数据采集方法的流程示意图；图2为本专利技术实施例中数据采集系统的模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明，本专利技术实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，在本专利技术中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。在本专利技术中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。另外，本专利技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。如图1所示为本实施例所公开的一种数据采集方法，包括如下步骤：步骤1，获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；步骤2，基于当前采集频率采集数据，并将数据上传，记录数据上传时间；步骤3，对数据进行处理，并将处理后的数据输出，记录数据输出时间；步骤4，基于数据上传时间与数据输出时间得到数据处理总时长，具体的，数据上传时间与数据输出时间之间的时间差即为数据处理总时长；步骤5，基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频本文档来自技高网...

【技术保护点】
1.一种数据采集方法，其特征在于，包括如下步骤：/n步骤1，获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；/n步骤2，基于当前采集频率采集数据，并将数据上传，记录数据上传时间；/n步骤3，对数据进行处理，并将处理后的数据输出，记录数据输出时间；/n步骤4，基于数据上传时间与数据输出时间得到数据处理总时长；/n步骤5，基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。/n

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括如下步骤：
步骤1，获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；
步骤2，基于当前采集频率采集数据，并将数据上传，记录数据上传时间；
步骤3，对数据进行处理，并将处理后的数据输出，记录数据输出时间；
步骤4，基于数据上传时间与数据输出时间得到数据处理总时长；
步骤5，基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。


2.根据权利要求1所述数据采集方法，其特征在于，还包括：
步骤6，重复步骤2-步骤5，以实时调整数据采集的频率。


3.根据权利要求1或2所述数据采集方法，其特征在于，步骤5中，所述基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，具体为：



式中，F为最佳频率，Fmax为最高频率，Fmin为最低频率，T为数据处理总时长，Tdelay为业务可接受延迟时长。


4.根据权利要求3所述数据采集方法，其特征在于，若T≤Tdelay时计算得到的F<Fmin，则令F＝Fmin。


5.一种数据采集系统，其特征在于，包括云服务端与数据采集设备；
所述数据采集设备包括...

【专利技术属性】
技术研发人员：涂平，金剑，罗超，梁春峰，彭蓉，
申请(专利权)人：中电工业互联网有限公司，
类型：发明
国别省市：湖南;43