数据质量检测方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术涉及金融科技领域，并公开了一种基于机器学习的数据质量检测方法、装置、设备和计算机可读存储介质。所述方法包括如下步骤：获取历史业务数据，根据所述历史业务数据构建预警模型；在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。本发明专利技术提高了数据质量检测的效率，减少了数据质量检测过程中人力资源的浪费。

Data quality testing method, device, equipment and computer readable storage medium

【技术实现步骤摘要】
数据质量检测方法、装置、设备及计算机可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及数据质量检测方法、装置、设备及计算机可读存储介质。
技术介绍
近年来，互联网金融科技(Fintech)的飞速发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域。金融业务的数据量和业务量指数增长，为了保证数据质量通常需要对金融业务数据进行数据质量检测和预警，当前对金融业务数据质量检测及预警时，首先需要数据测试人员配置具体数据信息，然后根据数据测试人员经验，配置预警规则；若数据测试人员配置的规则无效，还需要数据测试人员手动进行配置修改，直至最终得出数据质量情况及数据预警；当前的这种数据质量检测的方法需要人工手动配置，大数据场景常涉及海量数据字段，配置工作繁琐且工作量大，同时数据质量检测时预警规则配置依赖业务经验及数据理解，需对历史数据进行大量的数据分析，这要求数据测试人员具有较高的专业水平，这导致数据质量检测过程中人力资源浪费严重，此外，若出现大量无效告警时，对告警进行收敛需要修改大量告警配置本文档来自技高网...

【技术保护点】
1.一种基于机器学习的数据质量检测方法，其特征在于，所述基于机器学习的数据质量检测方法包括如下步骤：/n获取历史业务数据，根据所述历史业务数据构建预警模型；/n在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；/n将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；/n若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。/n

【技术特征摘要】
1.一种基于机器学习的数据质量检测方法，其特征在于，所述基于机器学习的数据质量检测方法包括如下步骤：
获取历史业务数据，根据所述历史业务数据构建预警模型；
在接收到数据质量检测请求时，确定所述数据质量检测请求对应的业务场景标识，获取所述业务场景标识对应的业务数据；
将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值，将所述业务数据与所述预警阈值进行比对；
若所述业务数据大于所述预警阈值，则输出所述业务数据异常的提示信息。


2.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，随机抽取预设数量的历史业务数据作为根节点；
在所述根节点中随机产生一个第一切割点，其中，所述第一切割点在所述根节点的最大值和最小值之间；
以所述第一切割点生成了一个超平面，通过所述超平面将所述预设数量的历史业务数据中小于所述第一切割点的第一历史业务数据划分为左叶子节点，将大于或等于所述第一切割点的第二历史业务数据划分为右叶子节点；
获取划分所述超平面的最近分隔函数，在所述叶子节点中随机产生一个第二切割点，构造新的叶子节点，训练所述最近分隔函数；
若所述叶子节点中只有一个历史业务数据和/或所述叶子节点已到达预设层数，则将训练得到的最近分隔函数作为预警模型。


3.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述获取历史业务数据，根据所述历史业务数据构建预警模型的步骤，包括：
获取历史业务数据，根据所述历史业务数据的类型对所述历史业务数据进行分类，获得历史业务数据子集；
根据所述历史业务数据子集分别构建预警子模型，将所述预警子模型封装得到预警模型。


4.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述预警模型，通过所述预警模型获取所述业务场景标识对应的样本数据；
通过所述预警模型对所述样本数据进行处理，获得所述样本数据的数据特征；
获取所述数据特征关联的预设阈值作为所述业务场景标识的预警阈值。


5.如权利要求1所述的基于机器学习的数据质量检测方法，其特征在于，所述将所述业务场景标识输入至所述预警模型，获得所述业务场景标识对应的预警阈值的步骤，包括：
将所述业务场景标识输入至所述...

【专利技术属性】
技术研发人员：蔡凯，廖海波，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44