基于自动化流程的基础数据建设优化系统及方法技术方案

本发明专利技术公开了基于自动化流程的基础数据建设优化系统及方法，属于数据建设技术领域，其方法具体包括：明确需要收集、整理和分析的基础数据，确定数据的来源和用途，进行基础数据采集，对收集的基础数据进行预处理，对预处理后的基础数据进行降维处理，建立基础数据补充模型，对基础数据进行补全，建立基础数据模型，对降维后的基础数据进行筛选，筛选关联性数据，筛选出最核心和相互隔离性较强的基础数据，再对基础数据进行建设和优化，对自动化流程进行持续的监控和优化，及时更新数据处理流程和工具，以适应业务需求的变化和提高数据处理效率，有效地解决了数据基础建设成本、决策精度和数据完整性的问题。

【技术实现步骤摘要】

本专利技术属于数据建设，具体的说是基于自动化流程的基础数据建设优化系统及方法。

技术介绍

1、目前大多数企业亟需通过制定一套由管理制度、管控流程、技术工具共同组成的体系，来对数据定义、分类、格式、编码等标准化管理。通俗地讲，对企业来说，数据标准就是对数据类型、长度、归属部门等定义一套统一的规范，以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。

2、在一个传统行业中推进数字化和智能决策时，常常是利用已获取的数据来进行数据统计和分析挖掘。但实际在传统企业中，如果单个数据源看，每种数据缺失都不太严重，数据完整度在90%左右，但是一旦把这些不同来源的因素关联起来，有完整信息的管段不到30%。常规是通过经验选择可能有用的数据字段，对数据基础进行搭建，然后再进行分析。

3、如授权公告号为cn106855865b的中国专利公开了一种水利水电大数据架构建设方法，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括可用数据的采集和存储，水利水电大本文档来自技高网...

【技术保护点】

1.基于自动化流程的基础数据建设优化方法，其特征在于，包括以下具体步骤：

2.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤S1中基础数据采集的方法为：利用网络爬虫技术，对互联网中、基础数据所在网站中的基础数据进行采集。

3.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤S2中的预处理包括：数据清洗和建立标准，去除重复和冗余的数据，和建立统一的数据标准，包括数据分类、编码和规格。

4.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤S3的具体步骤为：

5...

【技术特征摘要】

1.基于自动化流程的基础数据建设优化方法，其特征在于，包括以下具体步骤：

2.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s1中基础数据采集的方法为：利用网络爬虫技术，对互联网中、基础数据所在网站中的基础数据进行采集。

3.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s2中的预处理包括：数据清洗和建立标准，去除重复和冗余的数据，和建立统一的数据标准，包括数据分类、编码和规格。

4.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s3的具体步骤为：

5.如权利要求1所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s4的具体步骤为：

6.如权利要求5所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s402中第i个关联事件是否关联的概率的具体公式为：

7.如权利要求5所述的基于自动化流程的基础数据建设优化方法，其特征在于，所述步骤s404中对数据进行补全...

【专利技术属性】
技术研发人员：潘子文，林斌，徐伟君，
申请(专利权)人：瑞熙苏州智能科技有限公司，
类型：发明
国别省市：