【技术实现步骤摘要】
本专利技术属于高校业务数据处理,尤其涉及一种高校业务数据处理方法、系统、介质及设备。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。
2、专利技术人发现,现有的数据质量评估方法在准确性、完整性和一致性等方面存在一定的局限性,传统的规则检测方法通常只能检测明显的错误,无法发现或修复一些隐藏的数据质量问题;而且,现有的方法往往是针对特定的数据类型和业务场景设计,缺乏通用性和灵活性,而对于不同高校,由于其学科设置、学校管理体系等差异,现有的数据质量评估方法无法满足不同高校的数据治理需求,此外,传统方法对于大规模数据的处理效率较低,无法满足高校对数据处理速度的要求。
3、其次,现有技术通常仅注重数据质量评估的结果,而忽视了数据质量改进对数据质量评估结果的依赖,虽然可以通过评估发现数据质量问题,但缺乏有效的方法来针对性地对数据进行修复和改进,缺乏两者的结合,这导致评估结果无法得到及时的反馈,从而无法实现数据质量的持续改进。
技术实现思路
...【技术保护点】
1.一种高校业务数据处理方法,其特征在于,包括:
2.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述属性特征的获取,具体为:基于特征提取方式提取生成数据的规模、数据类型以及特征分布,作为第一属性特征;基于当前产生数据的质量评估任务需求,通过专家评价的方式,获取任务需求特征,作为第二属性特征;以第一属性特征和第二属性特征的拼接特征,作为产生数据的属性特征。
3.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述用于数据质量评估的机器学习大模型的训练,具体为:基于高校业务系统中的历史生成数据,进行不同数据质量评估指标所对应训
...【技术特征摘要】
1.一种高校业务数据处理方法,其特征在于,包括:
2.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述属性特征的获取,具体为:基于特征提取方式提取生成数据的规模、数据类型以及特征分布,作为第一属性特征;基于当前产生数据的质量评估任务需求,通过专家评价的方式,获取任务需求特征,作为第二属性特征;以第一属性特征和第二属性特征的拼接特征,作为产生数据的属性特征。
3.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述用于数据质量评估的机器学习大模型的训练,具体为:基于高校业务系统中的历史生成数据,进行不同数据质量评估指标所对应训练集的构建,其中,所述训练集中的样本包括生成数据及其对应的质量评估结果标签;基于不同数据质量评估指标所对应训练集中的样本,以所述生成数据作为机器学习大模型的输入,以所述标签作为机器学习大模型的输出,进行模型训练,获得不同数据质量评估指标对应的机器学习大模型。
4.如权利要求1所述的一种高校业务数据处理方法,其特征在于,所述基于所述数据特征表示,利用预先训练的用于数据质量评估的机器学习大模型,获得数据质量评估结果,具体为:对于待质量评估的产生数据,分别利用重复性、准确性、完整性以及一致性指标所对应的机器学习大模型,获得产生数据的重复性、准确性、完整性以及一致性指标评估结果。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。