一种金融数据一致性检测系统及方法技术方案

本发明专利技术公开一种金融数据一致性检测系统及方法，该金融数据一致性检测系统包括数据读取配置模块、数据读取与标准化模块、待检测字段发现模块、数据检测规则配置模块、数据一致性检测规则自生成与更新模块、数据一致性检测规则人工配置模块、调度模块、检测计算模块、消息推送模块、反馈模块。本发明专利技术提供的金融数据一致性检测系统及方法通过算法自动发现需要进行一致性检测的数据字段，通过机器自学习数据一致性检测规则，降低了数据一致性检测的漏报、误报率，降低了人力成本，提高了一致性检测的效率。

【技术实现步骤摘要】
一种金融数据一致性检测系统及方法
本专利技术涉及数据检测领域，尤其涉及一种金融数据一致性检测系统及方法。
技术介绍
数据正确性是金融公司提供服务的重要基础。数据质量出现问题，将会导致金融公司投资、理财、清算、投资银行、风险管理等服务出现问题，甚至会造成经济上的巨大损失。其中金融数据的一致性检测是发现隐藏数据质量问题的重要手段之一。传统采用的数据质量检测方法，一般需要通过人工对数据的取值范围、数据空缺等参数进行手工设置和编码来实现，而且人工设置数据检测规则很容易忽视数据之间的一致性，导致一些数据问题只看单一数据字段没法发现。就算考虑到了不同数据字段数据一致性的问题，在进行数据一致性检测的时候，通常需要人工指定需要进行数据一致性检查的数据字段，然后再定义相应的规则并编码实现。当面对海量的金融行情数据，客户数据，人工指定数据字段进行一致性监控规则将消耗大量的人力。同时，人为设定需进行数据一致性检测字段需要设置人员丰富的业务经验，否则非常容易漏掉需要检测的数据字段。而且，人工制定的数据一致性检测规则还会产生规则制定不合理，漏报、误报率高的缺点。鉴于此，提供一种金融数据一致性检测系统及方法，对本文档来自技高网...

【技术保护点】
1.一种金融数据一致性检测系统，其特征在于，所述系统包括：数据读取配置模块、数据读取与标准化模块、待检测字段发现模块、数据检测规则配置模块、数据一致性检测规则自生成与更新模块、数据一致性检测规则人工配置模块、调度模块、检测计算模块、消息推送模块、反馈模块，其中，所述数据读取配置模块用于对待检测数据进行读取配置，所述数据读取配置模块与所述数据读取与标准化模块电连接；所述数据读取与标准化模块用于根据所述数据读取配置模块的数据读取配置，从数据库中读取待监控数据，并把数据标准化成后续模块约定的格式，所述数据读取与标准化模块分别与所述数据读取配置模块、所述待检测字段发现模块以及所述检测计算模块电连接；所...

【技术特征摘要】
1.一种金融数据一致性检测系统，其特征在于，所述系统包括：数据读取配置模块、数据读取与标准化模块、待检测字段发现模块、数据检测规则配置模块、数据一致性检测规则自生成与更新模块、数据一致性检测规则人工配置模块、调度模块、检测计算模块、消息推送模块、反馈模块，其中，所述数据读取配置模块用于对待检测数据进行读取配置，所述数据读取配置模块与所述数据读取与标准化模块电连接；所述数据读取与标准化模块用于根据所述数据读取配置模块的数据读取配置，从数据库中读取待监控数据，并把数据标准化成后续模块约定的格式，所述数据读取与标准化模块分别与所述数据读取配置模块、所述待检测字段发现模块以及所述检测计算模块电连接；所述待检测字段发现模块用于自动发现所述数据读取与标准化模块中标准化后的待检测数据表中哪些数据字段需要进行一致性检测，所述待检测字段发现模块分别与所述数据读取与标准化模块、所述数据一致性检测规则生成与更新模块以及所述数据一致性检测规则人工配置模块电连接；所述数据检测规则配置模块用于对系统中自动检测规则模型的超参数进行配置，所述数据规则配置模块与所述数据一致性检测规则自生成与更新模块电连接；所述数据一致性检测规则自生成与更新模块用于根据所述检测规则配置模块用户自定义或默认的一致性检测规则模型超参数、所述数据读取与标准化模块标准化后的历史数据对监控规则，以及待检测字段发现模块自动发现(挖掘)的需要进行一致性检测数据字段进行一致性检测规则自学习，所述数据一致性检测规则自生成与更新模块分别与所述检测规则配置模块、所述数据读取与标准化模块以及待检测字段发现模块电连接；所述数据一致性检测规则人工配置模块用于支持人工对所述数据一致性检测规则自生成与更新模块自生成的模型参数进行修改和调整，完善监控规则，或者由人工自主定义新的监控规则，所述数据一致性检测规则人工配置模块分别与所述待检测字段发现模块以及所述数据一致性检测规则自生成与更新模块电连接；所述调度模块用于完成系统中各个功能模块的统一调度和执行，所述调度模块分别与所述检测规则配置模块以及所述消息推送模块电连接；所述检测计算模块用于根据所述数据一致性检测规则自生成与更新模块自生成的数据监控规则综合所述数据一致性检测规则人工配置模块的人工自定义规则对新增待一致性检测数据进行计算，并判断该新增数据是否触发一致性异常报警，所述检测计算模块分别与所述数据一致性检测规则自生成与更新模块、所述数据一致性检测规则人工配置模块以及所述消息推送模块电连接；所述消息推送模块根据检测计算模块的计算结果向数据运维人员发出相关报警，所述消息推送模块分别与所述检测计算模块以及所述反馈模块电连接；所述反馈模块用于接收数据运维人员对报警信息的反馈，并将该信息反馈给所述数据一致性检测规则自生成与更新模块根据人工反馈对模型进行调整和优化，所述反馈模块分别与所述数据一致性检测规则自生成与更新模块以及所述消息推送模块电连接。2.根据权利要求1所述的金融数据一致性检测系统，其特征在于，所述数据读取与标准化模块包括待检测数据读取块子模块以及数据格式标准化子模块，所述待检测数据读取块子模块用于根据所述数据读取配置模块所设置好的数据读取方式对待检测数据或待监控数...

【专利技术属性】
技术研发人员：覃剑钊，王红亮，张汉林，曹炳艾，蒋荣，谢军，
申请(专利权)人：广发证券股份有限公司，
类型：发明
国别省市：广东,44