一种获取数据质量的处理方法、装置、设备及介质制造方法及图纸

技术编号:42995477 阅读:28 留言:0更新日期:2024-10-15 13:24
本申请涉及电数字数据处理技术领域,特别是涉及一种获取数据质量的处理方法、装置、设备及介质。该方法包括:获取目标外部数据源的类型,如果目标外部数据源为增量型外部数据源,则获取外部数据源信息列表;获取目标外部数据源的身份信息,并将目标外部数据源的身份信息在外部数据源信息列表中进行匹配;如果匹配失败,则根据目标外部数据源当前次发送的数据的完整程度、准确程度和一致程度获取数据的质量;否则,判断目标外部数据源当前次对应的发送次数是否属于匹配的记录包括的预设的发送次数范围;如果属于,则将匹配的记录包括的预设的数据的质量确定为目标外部数据源当前次发送的数据的质量。本发明专利技术能够提高对数据进行质量判断的效率。

【技术实现步骤摘要】

本专利技术涉及电数字数据处理,特别是涉及一种获取数据质量的处理方法、装置、设备及介质


技术介绍

1、不同的外部数据源提供的数据质量存在差异,有的数据源提供的数据的质量较差,而有的数据源提供的数据的质量较好;有的数据源提供的数据的质量较为稳定,有的数据源提供的数据的质量较不稳定。增量型外部数据源指的是只发送自上次同步以来发生变化的数据的外部数据源,增量型数据源通常按照预设的时间间隔发送数据,例如,银行的部分增量型数据源每隔1天就发送一次数据。对增量型外部数据源发送的数据进行数据治理时需要知晓增量型外部数据源发送的数据的质量,现有技术中通常采用相同的质量判断方法对增量型外部数据源每次发送的数据进行质量判断,存在费时费力的问题。


技术实现思路

1、本专利技术目的在于,提供一种获取数据质量的处理方法、装置、设备及介质,以解决上述采用相同的质量判断方法对增量型外部数据源每次发送的数据进行质量判断导致的费时费力的问题。

2、根据本专利技术的第一方面,提供了一种获取数据质量的处理方法,所述处理方法包括以下步骤本文档来自技高网...

【技术保护点】

1.一种获取数据质量的处理方法,其特征在于,所述处理方法包括以下步骤:

2.根据权利要求1所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程包括:

3.根据权利要求2所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程还包括:

4.根据权利要求2所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程还包括:

5.根据权利要求1所述的获取数据质量的处理方法,其特征在于,根据目标外部数据源当前次发送的数据的完整程度、准确程度和一致程度获取目标外部数据源当前次发送的数据的质量包括:根据目标外部...

【技术特征摘要】

1.一种获取数据质量的处理方法,其特征在于,所述处理方法包括以下步骤:

2.根据权利要求1所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程包括:

3.根据权利要求2所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程还包括:

4.根据权利要求2所述的获取数据质量的处理方法,其特征在于,外部数据源信息列表的获取过程还包括:

5.根据权利要求1所述的获取数据质量的处理方法,其特征在于,根据目标外部数据源当前次发送的数据的完整程度、准确程度和一致程度获取目标外部数据源当前次发送的数据的质量包括:根据目标外部数据源当前次发送的数据的完整程度、准确程度、一致程度、数据的完整程度对应的权重、数据的准确程度对应的权重和数据的一致程度对应的权重获取目标外部数据源当前次发送的数据的质量。

6.一种获取数据质量的处理装置,其特征在于,所述处理装置包括:

7.根据权利要求6所述的获取数据质量的处理装置,其特征在于,所述处理装置还包括用于获取外部数据源信息列表的模块,用于获取外部数据源信息列表的模块...

【专利技术属性】
技术研发人员:江潇俊滕菁
申请(专利权)人:浙江有数数智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1