工业领域的非结构化数据采集方法、系统、设备和介质技术方案

技术编号:41128335 阅读:30 留言:0更新日期:2024-04-30 17:56
本申请涉及一种工业领域的非结构化数据采集方法、系统、设备和介质,通过对工业领域的多个业务系统进行注册后,采用任务时间预测模型以及任务取数频率模型分别对每一个注册系统的任务下发时间进行预测和任务执行频率进行决策,根据预测得到任务下发时间和任务执行频率,采用采集权限控制模型以及采集时间策略模型对各注册系统下发的非结构化文件进行采集,采用异常文件报警模型对非结构化文件进行异常判断,并对判断为新增文件、丢失文件以及错位文件的异常文件进行报警推送,采用异常文件录入模型对判断为异常文件的非结构化文件进行数据录入。最终,通过制定非结构化数据采集标准流程简化数据处理逻辑,采用数据智能调度大大降低了资源消耗及提高了任务执行效率,解决了多样化非结构化工业数据的采集难题,同时也降低人工成本且简化系统开发流程。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种工业领域的非结构化数据采集方法、系统、设备和介质


技术介绍

1、随着物联网技术的快速发展,越来越多的设备与传感器被部署到各个工业领域中,产生了大量的非结构化数据,这些数据包括但不限于文本、图像、音频和视频等形式,其特点是数据格式不统一、内容复杂多样且数据采集难度极大。

2、目前,大多数传统采集方法无法同时有效的支持多种格式数据来源,往往需要针对某种特定格式定制化数据采集,并且存在过多的人工操作情况,尤其在大规模非结构化数据采集过程中,数据安全传输与完整难以得到保证,这些采集系统难以满足工业领域的数据增长需求,同时存在诸多缺陷也严重限制了工业领域大规模非结构化数据采集的高效性与扩展性。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够进行多样化非结构化工业数据采用的工业领域的非结构化数据采集方法、系统、设备和介质。

2、一种工业领域的非结构化数据采集方法,所述方法包括:

3、在注册管理界面录入工业领域的多个业务系统信息并保存至本文档来自技高网...

【技术保护点】

1.一种工业领域的非结构化数据采集方法,其特征在于,所述方法包括:

2.根据权利要求1所述的非结构化数据采集方法,其特征在于,在注册管理界面录入工业领域的多个业务系统信息并保存至注册表中即为注册系统,在文件管理界面指定注册系统且录入多个相关的非结构化文件的配置信息并保存至文件表中之后,还包括:

3.根据权利要求2所述的非结构化数据采集方法,其特征在于,在所述任务时间预测模型中:

4.根据权利要求3所述的非结构化数据采集方法,其特征在于,在所述任务取数频率模型中,根据任务频率规则确定各所述注册系统的任务执行频率,其中,所述任务执行频率包括按天取数、按周取...

【技术特征摘要】

1.一种工业领域的非结构化数据采集方法,其特征在于,所述方法包括:

2.根据权利要求1所述的非结构化数据采集方法,其特征在于,在注册管理界面录入工业领域的多个业务系统信息并保存至注册表中即为注册系统,在文件管理界面指定注册系统且录入多个相关的非结构化文件的配置信息并保存至文件表中之后,还包括:

3.根据权利要求2所述的非结构化数据采集方法,其特征在于,在所述任务时间预测模型中:

4.根据权利要求3所述的非结构化数据采集方法,其特征在于,在所述任务取数频率模型中,根据任务频率规则确定各所述注册系统的任务执行频率,其中,所述任务执行频率包括按天取数、按周取数、按月取数、按...

【专利技术属性】
技术研发人员:刘洋贺群雄涂平梁春峰曹林张林宇刘准仇亚龙李志超彭中益王斯政廖佳佳刘博金剑王晓辉梁爽
申请(专利权)人:中电工业互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1