一种基于数据项匹配的数据采集及处理方法、装置、设备及介质制造方法及图纸

技术编号:45874457 阅读:15 留言:0更新日期:2025-07-19 11:32
本申请公开了一种基于数据项匹配的数据采集及处理方法、装置、设备及介质,涉及数据处理技术领域。包括:识别待采集数据的数据源类型,并获取所述数据源的元数据信息;将对目标数据的存储结构进行解析操作得到的目标数据项以及数据特征要求存于预设匹配数据库中;将元数据信息与预设匹配数据库中的目标数据项进行匹配,以得到匹配结果,并判断匹配结果是否满足预设匹配条件;若匹配结果不满足预设匹配条件,则通过预设优化方式对匹配结果进行优化;若匹配结果满足预设匹配条件,则根据匹配结果从数据源中采集对应的数据。从而能够在数据采集过程中实现自动匹配系统数据项,降低人工匹配的重复工作。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别涉及一种基于数据项匹配的数据集及处理方法、装置、设备及介质。


技术介绍

1、在当今数字化时代,数据采集在众多领域如商业智能、大数据分析、物联网等中具有极为重要的地位。随着数据源的日益多样化和数据量的爆炸式增长,如何高效、准确地从不同数据源采集数据并进行整合成为了一个关键问题。传统的数据采集往往需要大量的人工干预,尤其是在确定不同数据源的数据项与目标数据存储结构或分析模型的数据项之间的匹配关系时,人工操作不仅效率低下,而且容易出错,难以满足大规模、实时性数据采集与处理的需求。

2、由上可见,如何在数据采集过程中实现自动匹配系统数据项,降低人工匹配的重复工作是一项亟待解决的问题。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种基于数据项匹配的数据采集及处理方法、装置、设备及介质,能够在数据采集过程中实现自动匹配系统数据项,降低人工匹配的重复工作。其具体方案如下:

2、第一方面,本申请提供了一种基于数据项匹配的数据采集及处理方法,包括

3、本文档来自技高网...

【技术保护点】

1.一种基于数据项匹配的数据采集及处理方法,其特征在于,包括:

2.根据权利要求1所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述识别待采集数据的数据源类型,并获取所述数据源的元数据信息,包括:

3.根据权利要求1所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述将所述元数据信息与所述预设匹配数据库中的目标数据项进行匹配,以得到匹配结果,包括:

4.根据权利要求3所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述预设匹配规则基于数据项的名称相似性、数据类型兼容性、数据格式一致性构建。

5.根据权利要求1所述的基于数...

【技术特征摘要】

1.一种基于数据项匹配的数据采集及处理方法,其特征在于,包括:

2.根据权利要求1所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述识别待采集数据的数据源类型,并获取所述数据源的元数据信息,包括:

3.根据权利要求1所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述将所述元数据信息与所述预设匹配数据库中的目标数据项进行匹配,以得到匹配结果,包括:

4.根据权利要求3所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述预设匹配规则基于数据项的名称相似性、数据类型兼容性、数据格式一致性构建。

5.根据权利要求1所述的基于数据项匹配的数据采集及处理方法,其特征在于,所述判断所述匹配结果是否满足预设匹配条件,...

【专利技术属性】
技术研发人员:魏国强刘婧玉
申请(专利权)人:成都卫士通信息安全技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1