一种高校业务数据处理方法、系统、介质及设备技术方案

技术编号:42242634 阅读:39 留言:0更新日期:2024-08-02 13:54
本发明专利技术提供了一种高校业务数据处理方法及系统,其属于高校业务数据处理技术领域,包括:获取待评估高校业务系统的产生数据,并进行相应预处理;对所述产生数据,采用基于特征提取和特征工程方法的自动匹配策略获得的特征提取方法及特征工程方法,进行特征提取以及特征工程处理,获得优化后的数据特征表示;基于所述数据特征表示,利用预先训练的用于数据质量评估的机器学习大模型,获得数据质量评估结果;其中,所述数据质量评估结果包括数据的重复性、准确性、完整性以及一致性的多维度指标;基于获得的数据质量评估结果,对高校数据进行数据质量改进。

【技术实现步骤摘要】

本专利技术属于高校业务数据处理,尤其涉及一种高校业务数据处理方法、系统、介质及设备


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、专利技术人发现,现有的数据质量评估方法在准确性、完整性和一致性等方面存在一定的局限性,传统的规则检测方法通常只能检测明显的错误,无法发现或修复一些隐藏的数据质量问题;而且,现有的方法往往是针对特定的数据类型和业务场景设计,缺乏通用性和灵活性,而对于不同高校,由于其学科设置、学校管理体系等差异,现有的数据质量评估方法无法满足不同高校的数据治理需求,此外,传统方法对于大规模数据的处理效率较低,无法满足高校对数据处理速度的要求。

3、其次,现有技术通常仅注重数据质量评估的结果,而忽视了数据质量改进对数据质量评估结果的依赖,虽然可以通过评估发现数据质量问题,但缺乏有效的方法来针对性地对数据进行修复和改进,缺乏两者的结合,这导致评估结果无法得到及时的反馈,从而无法实现数据质量的持续改进。


技术实现思路

1、本专利技术本文档来自技高网...

【技术保护点】

1.一种高校业务数据处理方法,其特征在于,包括:

2.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述属性特征的获取,具体为:基于特征提取方式提取生成数据的规模、数据类型以及特征分布,作为第一属性特征;基于当前产生数据的质量评估任务需求,通过专家评价的方式,获取任务需求特征,作为第二属性特征;以第一属性特征和第二属性特征的拼接特征,作为产生数据的属性特征。

3.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述用于数据质量评估的机器学习大模型的训练,具体为:基于高校业务系统中的历史生成数据,进行不同数据质量评估指标所对应训练集的构建,其中,所...

【技术特征摘要】

1.一种高校业务数据处理方法,其特征在于,包括:

2.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述属性特征的获取,具体为:基于特征提取方式提取生成数据的规模、数据类型以及特征分布,作为第一属性特征;基于当前产生数据的质量评估任务需求,通过专家评价的方式,获取任务需求特征,作为第二属性特征;以第一属性特征和第二属性特征的拼接特征,作为产生数据的属性特征。

3.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述用于数据质量评估的机器学习大模型的训练,具体为:基于高校业务系统中的历史生成数据,进行不同数据质量评估指标所对应训练集的构建,其中,所述训练集中的样本包括生成数据及其对应的质量评估结果标签;基于不同数据质量评估指标所对应训练集中的样本,以所述生成数据作为机器学习大模型的输入,以所述标签作为机器学习大模型的输出,进行模型训练,获得不同数据质量评估指标对应的机器学习大模型。

4.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述基于所述数据特征表示,利用预先训练的用于数据质量评估的机器学习大模型,获得数据质量评估结果,具体为:对于待质量评估的产生数据,分别利用重复性、准确性、完整性以及一致性指标所对应的机器学习大模型,获得产生数据的重复性、准确性、完整性以及一致性指标评估结果。

【专利技术属性】
技术研发人员:刘亮公若嘉
申请(专利权)人:山东师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1