【技术实现步骤摘要】
本专利技术涉及大数据，尤其涉及一种数据采集系统和方法、设备、存储介质。
技术介绍
1、数据采集是指收集和整理各种类型的数据，包括文字、数字、图像、声音等，以便进行分析、处理和利用。在实际应用场景中，如物流货物调度、智能化运营、工业水泥等应用场景，需要通过采集的数据对应用场景中的模型进行训练，并根据训练的模型在具体应用场景中进行数据处理。对于实际应用场景中的复杂建模过程,在训练好的情况下可以展现强大能力。但因训练时，对样本数据的质量要求较高、需求量较大、且需要时序连贯的数据，导致模型的训练存在难度。现有的数据采集方法通常存在数据流滞后、数据时序断裂、数据采样卡壳等情况，从而影响训练的模型在实际应用场景的数据处理性能。因此，如何提供一种能够获取实时连贯的数据流，避免数据流滞后、数据时序断裂、数据采样卡壳等情况的数据采集的系统，是当前研究的重点。
技术实现思路
1、本专利技术实施例提供了一种数据采集系统和方法、设备、存储介质，能够获取实时连贯的数据流，避免数据流滞后、数据时序断裂、数据采样卡壳等情况的数据采集的系统，从而提高实际应用场景的数据处理性能。
2、为实现上述目的，本专利技术实施例的第一方面提出了一种数据采集系统，所述数据采集系统包括终端主机、目标边缘计算机和数据仓库，所述终端主机分别与所述目标边缘计算机、所述数据仓库和目标任务控制系统通信连接，具体包括：
3、所述终端主机用于从目标任务控制系统采集第一初始任务数据并实时存储到预设的第一数据库；所述终端主机
4、所述终端主机还用于向所述数据仓库发送数据备份信号，以使所述数据仓库根据所述数据备份信号同步备份所述第一数据库和所述第二数据库。
5、在一些实施例中，所述数据采集系统还包括从属节点设备，所述终端主机与所述从属节点设备通信连接，所述目标任务控制系统与所述从属节点设备通信连接，所述数据采集系统还包括：
6、所述从属节点设备用于从所述目标任务控制系统采集第二初始任务数据，并将所述第二初始任务数据存储到预设的第三数据库；
7、所述从属节点设备还用于接收所述终端主机发送的同步请求，并根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，以使所述终端主机根据所述数据同步信号更新所述第一数据库。
8、在一些实施例中，所述从属节点设备用于根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，包括：
9、所述从属节点设备用于根据所述同步请求获取所述终端主机的异常关机时间和恢复时间；并根据所述异常关机时间和所述恢复时间确定同步时间段；以及根据所述同步时间段对所述第三数据库进行数据选择，确定同步任务数据；还根据所述同步时间段和所述同步任务数据生成所述数据同步信号，并将所述数据同步信号发送至所述终端主机。
10、在一些实施例中，在所述根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，以使所述终端主机根据所述数据同步信号更新所述第一数据库之后，所述系统还包括：
11、所述从属节点设备用于接收所述终端主机发送的同步完成信号，并根据所述同步完成信号从所述第三数据库中删除所述同步任务数据，以更新所述第三数据库。
12、在一些实施例中，在所述将所得到的第一目标任务数据存储到预设的第二数据库之后，所述数据采集系统还包括：
13、所述终端主机用于根据所述第一数据库和所述第二数据库生成数据备份信号，并向所述数据仓库发送所述数据备份信号；
14、所述数据仓库还用于在对所述第一数据库和所述第二数据库备份完成后，向所述终端主机发送响应于所述数据备份信号的备份反馈信号；
15、所述终端主机还用于接收所述备份反馈信号，并根据所述备份反馈信号对所述第一数据库和所述第二数据库进行数据更新，以删除所述第一数据库和所述第二数据库中在所述数据仓库备份完成的数据；
16、其中，所述第二数据库中的所述目标数据用于对所述目标任务控制系统对应的模型提供训练数据，且训练完成后的模型从所述终端主机更新后的所述第一数据库中提取数据，以分析所述目标任务控制系统的实时状态。
17、在一些实施例中，所述数据仓库用于接收所述数据备份信号，并根据所述数据备份信号同步备份所述第一数据库和所述第二数据库，包括：
18、所述数据仓库用于根据所述数据备份信号从所述第一数据库和所述第二数据库中确定备份任务数据；
19、所述数据仓库还用于获取历史存储数据，若所述历史存储数据大于或等于数据存储阈值，向所述终端主机发送存储预警信号；
20、所述终端主机用于根据所述存储预警信号对所述数据仓库进行存储扩充，并基于存储扩充后的所述数据仓库对所述备份任务数据进行数据存储。
21、在一些实施例中，在所述终端主机将所得到的第一目标任务数据存储到预设的第二数据库之后，所述数据采集系统还包括：
22、所述终端主机用于根据所述数据筛选规则从所述第一初始任务数据中选择候选处理数据，所述候选处理数据是指不符合所述数据筛选规则的数据；
23、所述终端主机还用于根据预设的候选数据处理规则对所述候选处理数据进行预处理，得到第二目标任务数据，并将所述第二目标任务数据存储到所述第二数据库。
24、为实现上述目的，本专利技术实施例的第二方面提出了一种数据采集方法，应用于本专利技术实施例的第一方面所述的数据采集系统的终端主机，所述方法包括：
25、从目标任务控制系统采集第一初始任务数据并实时存储到预设的第一数据库；
26、根据预设的数据筛选规则从所采集的第一初始任务数据中筛选得到待处理数据；
27、将所得到的所述待处理数据以及相应的数据处理指令发送到目标边缘计算机，以控制所述目标边缘计算机返回其对所述待处理数据进行计算处理后得到的目标数据；
28、根据预设的预警规则对返回的目标数据进行预警分析，以得到与所述待处理数据相应的第一预警标记；
29、根据预设标记处理规则和所述第一预警标记对所述第一初始任务数据进行处理，以得到第一目标任务数据；
30、将所得到的第一目标任务数据存储到预设的第二数据库，并向所述数据仓库发送数据备份信号，以使所述数据仓库根据所述数据备份信号同步备份所述第一数据库和所述第二数据库。
31、为实现上述目的，本专利技术本文档来自技高网...
【技术保护点】
1.一种数据采集系统，其特征在于，所述数据采集系统包括终端主机、目标边缘计算机和数据仓库，所述终端主机分别与所述目标边缘计算机、所述数据仓库和目标任务控制系统通信连接，具体包括：
2.根据权利要求1所述的数据采集系统，其特征在于，所述数据采集系统还包括从属节点设备，所述终端主机与所述从属节点设备通信连接，所述目标任务控制系统与所述从属节点设备通信连接，所述数据采集系统还包括：
3.根据权利要求2所述的数据采集系统，其特征在于，所述从属节点设备用于根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，包括：
4.根据权利要求3所述的数据采集系统，其特征在于，在所述根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，以使所述终端主机根据所述数据同步信号更新所述第一数据库之后，所述数据采集系统还包括：
5.根据权利要求1所述的数据采集系统，其特征在于，在所述将所得到的第一目标任务数据存储到预设的第二数据库之后，所述数据采集系统还包括：
6.根据权利要求1所述的数据采集系统，其特征在于，所述数据仓库用于接收
7.根据权利要求1所述的数据采集系统，其特征在于，在所述终端主机将所得到的第一目标任务数据存储到预设的第二数据库之后，所述数据采集系统还包括：
8.一种数据采集方法，其特征在于，应用于如权利要求1至7任一项所述的数据采集系统的终端主机，所述方法包括：
9.一种计算机设备，其特征在于，所述设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求8所述的一种数据采集方法的步骤。
...【技术特征摘要】
1.一种数据采集系统，其特征在于，所述数据采集系统包括终端主机、目标边缘计算机和数据仓库，所述终端主机分别与所述目标边缘计算机、所述数据仓库和目标任务控制系统通信连接，具体包括：
2.根据权利要求1所述的数据采集系统，其特征在于，所述数据采集系统还包括从属节点设备，所述终端主机与所述从属节点设备通信连接，所述目标任务控制系统与所述从属节点设备通信连接，所述数据采集系统还包括：
3.根据权利要求2所述的数据采集系统，其特征在于，所述从属节点设备用于根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，包括：
4.根据权利要求3所述的数据采集系统，其特征在于，在所述根据所述同步请求和所述第三数据库向所述终端主机发送数据同步信号，以使所述终端主机根据所述数据同步信号更新所述第一数据库之后，所述数据采集系统还包括：
5.根据权利要求1所述的数据采集系统，其特征在于，在所述...
【专利技术属性】
技术研发人员：雷晓宇，谭宇龙，胡要林，孙庆阳，范坤，曹民华，黄炜，邓星文，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。