一种基于深度学习的数据治理方法及系统技术方案

本发明专利技术涉及数据治理技术领域，具体涉及一种基于深度学习的数据治理方法及系统，包括数据库、治理层和区域链平台，通过治理模型结构和方法流程、数据共享和访问控制、数据更新和智能合约三个方面来实现，通过深度学习可以随着数据规模的增加不断提高其性能，深度学习从数据中提取特征，减少了为每个问题设计特征提取器的工作量。取器的工作量。取器的工作量。

【技术实现步骤摘要】
一种基于深度学习的数据治理方法及系统


[0001]本专利技术涉及数据治理
，尤其涉及一种基于深度学习的数据治理方法及系统。

技术介绍

[0002]深度学习是大数据时代的一种算法工具，近年来成为研究热点。与传统的机器学习算法相比，深度学习技术有两个优点。首先，深度学习技术可以随着数据规模的增加不断提高其性能，而传统的机器学习算法很难利用海量数据来不断提高其性能。第二，深度学习技术可以直接从数据中提取特征，减少了为每个问题设计特征提取器的工作量，而传统的机器学习算法需要手工提取特征。因此，深度学习已经成为大数据时代的热门技术。学术界和产业界对深度学习进行了大量的研究和实践，在社会治理中数据包含：人员、房屋、事件、企业、物联网设备相关数据。
[0003]现有数据治理技术中，数据治理仍然存在数据权属不明、数据孤岛、数据碎片化、数据流动性差以及数据利用率不高、数据监督责权不明等问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度学习的数据治理方法及系统，旨在解决现有技术中数据治理技术中，数据治理仍然存在数据权属不明、数据孤岛、数据碎片化、数据流动性差以及数据利用率不高、数据监督责权不明等问题的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于深度学习的数据治理系统，所述基于深度学习的数据治理系统包括数据库、治理层和区域链平台，所述数据库用于输入治理数据，所述治理层与所述数据库网络连接，用于采集所述数据库中的治理数据，并通过深度学习后的预测模型提取目标数据，所述区域链平台通过智能合约与所述治理层数据交互，将目标数据整理于已审核的治理数据中，并回写至所述数据库中。
[0006]其中，所述治理层包括采集模块、模型库、规范模块和判断模块，所述采集模块与所述数据库网络连接，用于采集所述数据库中的治理数据，所述规范模块与所述采集模块网络连接，用于规范化采集的治理数据，所述模型库用于存储深度学习后的预测模型，所述判断模块通过预测模型提取治理数据中的目标数据，并将目标数据通过网络传输至所述区域链平台。
[0007]其中，所述采集模块通过物联网采集、网络爬虫和ETL工具，使用其中一种或多种采集方式从所述数据库采集治理数据。
[0008]其中，本专利技术还提供一种采用上述所述的基于深度学习的数据治理系统的数据治理方法，包括如下步骤：
[0009]采集治理数据，对治理数据进行预处理；
[0010]根据预处理后的治理数据建立训练模型；
[0011]判断训练模型并生成预测模型；
[0012]通过预测模型提取治理数据中的目标数据，并将目标传输至所述区域链平台。
[0013]其中，在采集治理数据，对治理数据进行预处理的步骤中；
[0014]通过L
‑
BFGS和共轭梯度算法对数据求解神经网络代价函数，使用PCA算法对数据进行降维，最后对数据进行白化，降低输入的冗余性。
[0015]其中，在判断训练模型并生成预测模型的步骤中：
[0016]根据多个训练模型对治理数据的作出判定，得到多个判定结果，提取频次最高的判断结果，作为输出结果，将输出结果对应的训练模型进行集成，获得预测模型，并存储至所述模型库中。
[0017]本专利技术的一种基于深度学习的数据治理方法及系统，通过治理模型结构和方法流程、数据共享和访问控制、数据更新和智能合约三个方面来实现，通过深度学习可以随着数据规模的增加不断提高其性能，深度学习从数据中提取特征，减少了为每个问题设计特征提取器的工作量。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术提供的一种基于深度学习的数据治理系统的原理框图。
[0020]图2是本专利技术提供的一种基于深度学习的数据治理方法的步骤流程图。
具体实施方式
[0021]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0022]请参阅图1，本专利技术提供一种基于深度学习的数据治理系统，所述基于深度学习的数据治理系统包括数据库、治理层和区域链平台，所述数据库用于输入治理数据，所述治理层与所述数据库网络连接，用于采集所述数据库中的治理数据，并通过深度学习后的预测模型提取目标数据，所述区域链平台通过智能合约与所述治理层数据交互，将目标数据整理于已审核的治理数据中，并回写至所述数据库中；所述治理层包括采集模块、模型库、规范模块和判断模块，所述采集模块与所述数据库网络连接，用于采集所述数据库中的治理数据，所述规范模块与所述采集模块网络连接，用于规范化采集的治理数据，所述模型库用于存储深度学习后的预测模型，所述判断模块通过预测模型提取治理数据中的目标数据，并将目标数据通过网络传输至所述区域链平台；所述采集模块通过物联网采集、网络爬虫和ETL工具，使用其中一种或多种采集方式从所述数据库采集治理数据。
[0023]在本实施方式中，通过治理模型结构和方法流程、数据共享和访问控制、数据更新和智能合约三个方面来实现，通过深度学习可以随着数据规模的增加不断提高其性能，深度学习从数据中提取特征，减少了为每个问题设计特征提取器的工作量。
[0024]请参阅图2，本专利技术还提供一种采用上述所述的基于深度学习的数据治理系统的
数据治理方法，包括如下步骤：
[0025]S1：采集治理数据，对治理数据进行预处理；
[0026]S2：根据预处理后的治理数据建立训练模型；
[0027]S3：判断训练模型并生成预测模型；
[0028]S4：通过预测模型提取治理数据中的目标数据，并将目标传输至所述区域链平台。
[0029]其中在步骤S1中，通过L
‑
BFGS和共轭梯度算法对数据求解神经网络代价函数，常用批量梯度下降法来求解神经网络代价函数，但是L
‑
BFGS和共轭梯度算法通常比梯度下降法快很多，求取代价函数的关键步骤是计算偏导数，反向传播算法是计算偏导数的一种有效方法，但是反向传播算法很难调试得到正确结果。可以采用对求导结果进行数值检验的方法。自动调整学习速率，以得到合适的步长值，最终使能够快速收敛到一个局部最优解码，可以寻找一个 Hessian矩阵的近似，得到最佳步长值，使用该步长值能够更快地收敛到局部最优；
[0030]使用PCA算法对数据进行降维，大多数特征学习算法对训练图片的确切类型并不敏感，所以大多数用普通照相机拍摄的图片，只要不是特别的模糊或带有非常奇怪的人工痕迹，都可以使用。
[0031本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的数据治理系统，其特征在于，所述基于深度学习的数据治理系统包括数据库、治理层和区域链平台，所述数据库用于输入治理数据，所述治理层与所述数据库网络连接，用于采集所述数据库中的治理数据，并通过深度学习后的预测模型提取目标数据，所述区域链平台通过智能合约与所述治理层数据交互，将目标数据整理于已审核的治理数据中，并回写至所述数据库中。2.如权利要求1所述的一种基于深度学习的数据治理系统，其特征在于，所述治理层包括采集模块、模型库、规范模块和判断模块，所述采集模块与所述数据库网络连接，用于采集所述数据库中的治理数据，所述规范模块与所述采集模块网络连接，用于规范化采集的治理数据，所述模型库用于存储深度学习后的预测模型，所述判断模块通过预测模型提取治理数据中的目标数据，并将目标数据通过网络传输至所述区域链平台。3.如权利要求2所述的一种基于深度学习的数据治理系统，其特征在于，所述采集模块通过物联网采集、网络爬虫和ETL工具，使用其中一种...

【专利技术属性】
技术研发人员：马汉杰，俞健，吴鹏飞，
申请(专利权)人：杭州码全数字孪生科技研究院有限公司，
类型：发明
国别省市：