一种征信数据一体化采集处理展示系统、方法及存储介质技术方案

本发明专利技术提供了一种征信数据一体化采集处理展示系统、方法及存储介质，涉及数据处理技术领域，包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块；本发明专利技术提供了数据的集中管理和自动化实现，具备多源数据采集的自适应调整机制，能够根据不同数据源的特点自动优化采集策略，具备数据处理过程中的智能错误识别与修正机制，减少人工干预，提高数据处理的准确性，具备灵活的数据建模工具，支持多种机器学习算法，可根据需求快速构建和调整数据模型，具备安全的数据共享机制，确保数据在共享过程中的完整性和隐私保护，具备流程可视化展示，解决数据实施过程出现的问题，避免自动化过程无监督情况。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种征信数据一体化采集处理展示系统、方法及存储介质。

技术介绍

1、随着大数据时代的到来，数据的采集、处理、建模和共享变得尤为重要，传统的数据处理方法依赖于人工操作，效率低下且容易出错，对于政府部门或集团企业数据分散在各个数据站点，很难有效的整合数据，挖掘数据，开发数据；

2、由此，需要一种自动化的解决方案来提高数据归集、处理的效率和准确性，同时确保数据的安全性和可共享性，解决数据资源整合，通过数据开发和利用，挖掘更多的数据价值，协助政府或集团企业数字化转型，因此，本专利技术提出一种征信数据一体化采集处理展示系统、方法及存储介质以解决现有技术中存在的问题。

技术实现思路

1、针对上述问题，本专利技术提出一种征信数据一体化采集处理展示系统、方法及存储介质，该征信数据一体化采集处理展示系统、方法及存储介质能够有效地采集异构数据源的征信行业数据，处理成统一的征信数据标准，使征信数据得到有效的模型应用。

2、为实现本专利技术的目的，本专利技术通过以下技术方案实现本文档来自技高网...

【技术保护点】

1.一种征信数据一体化采集处理展示系统，包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块，其特征在于：所述数据采集模块用于根据预设的规则和数据源参数调整采集任务，来自动采集不同数据源的征信数据；所述数据处理模块用于对采集到的原始数据进行内存处理并转储，识别其中错误数据，将符合要求的数据整合形成标准化的数据；

2.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据采集模块通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据，其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口，采集任务...

【技术特征摘要】

1.一种征信数据一体化采集处理展示系统，包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块，其特征在于：所述数据采集模块用于根据预设的规则和数据源参数调整采集任务，来自动采集不同数据源的征信数据；所述数据处理模块用于对采集到的原始数据进行内存处理并转储，识别其中错误数据，将符合要求的数据整合形成标准化的数据；

2.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据采集模块通过数据库、网络爬虫、api接口自动采集来自不同数据源的数据，其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口，采集任务根据预设的规则和数据源参数调整，自动完成数据采集。

3.根据权利要求2所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据采集模块的采集过程如下：确认数据采集方式，包括数据库、网站、数据文档、接口文档；配置数据源，根据确认的数据采集方式，配置相应的参数，包括数据库连接信息及账号密码，网站地址，数据文档，接口访问地址及账号密码；配置目标库的数据库连接信息及账号密码，根据需要的数据结构建立相应的采集数据存储表；创建采集信息，描述本次采集的内容概述，并选择配置的数据库信息作为目标库；配置采集源数据表与目标库数据表的映射关系，其参数包括字段名，赋值类型，赋值，处理脚本，字段安全等级划分；创建采集任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的采集任务，进行配置，同一任务添加多条采集信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看采集日志，确认存储器采集结果。

4.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储，通过预设的规则自动识别其中错误数据，并通过治理程序将符合要求的数据整合到一起，形成标准化的数据。

5.根据权利要求4所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据处理模块的处理过程如下：创建数据校验作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；选择配置的数据源对应的源数据表作为校验表；对选择的校验表中的字段配置校验规则，其规则包括：日期校验，数值校验，非空校验，主键校验，特殊字符校验，身份证合规校验，统一社会信用代码合规性校验，双公示-行政许可校验，双公示-行政处罚校验；创建治理作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；配置治理作业，并指定配置的校验表作为治理表，配置参数包括表映射配置，如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置，包括筛选类型，源表字段、比较操作、内容输入；创建治理任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的治理任务，进行配置，同一任务添加多条校验、治理作业信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看调度日志，确认...

【专利技术属性】
技术研发人员：邓港基，余杰，吴海欣，谭锦杰，刘嘉禧，
申请(专利权)人：广东粤财征信有限公司，
类型：发明
国别省市：