一种对抗生成网络智能判断的数据质量规则自动生成方法及系统技术方案

一种对抗生成网络智能判断的数据质量规则自动生成方法及系统，包括：人工提取合法数据，形成对抗学习的正样本；通过第一神经网络构建数据发生器，通过第二神经网络构建数据判别器；使用数据发生器产生假数据，形成对抗学习的负样本；将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；重复直到数据判别器对所有训练样本的判断正确；将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正形成负样本的过程中的操作步骤的参数；数据发生器更新第一神经网络参数后，重复直至数据判别器和数据发生器的损失函数值收敛。

An Automatic Data Quality Rule Generation Method and System for Intelligent Judgment of Countermeasure Generation Network

An automatic generation method and system of data quality rules for intelligent judgment of antagonistic generation network includes: extracting legitimate data manually to form positive samples of antagonistic learning; constructing data generator through the first neural network and data discriminator through the second neural network; generating false data by using data generator to form negative samples of antagonistic learning; and taking positive and negative samples as positive and negative samples. The training sample data is sent to the data discriminator to train the data discriminator; repeat until the data discriminator judges all the training samples correctly; send all negative samples to the data discriminator, and transfer the loss function values of all negative samples to the data generator. The data generator propagates the loss values back to correct the operation in the process of forming negative samples. The parameters of the step; after updating the parameters of the first neural network, the data generator repeats until the loss function values of the data discriminator and the data generator converge.

【技术实现步骤摘要】
一种对抗生成网络智能判断的数据质量规则自动生成方法及系统
本专利技术属于人工智能以及大数据
，特别涉及一种对抗生成网络智能判断的数据质量规则自动生成方法及系统。
技术介绍
数据质量是影响数据资产价值，阻碍数据支撑业务应用的主要障碍之一。随着数据种类增多，数据量增大，如何针对种类繁多、结构各异的大量数据进行数据质量检测成为数据治理的主要问题。传统的数据质量检测采用人工审计来发现错误数据，不仅效率低下，而且容易遗漏和重复。现有技术中，开始采用基于规则的出错数据标注，但规则仍是人工填写，由于数据种类繁多，人工填写复杂，而且有些数据如图片、音频等的数据质量无法通过人工设置规则来进行检测。
技术实现思路
本专利技术实施例提供一种对抗生成网络智能判断的数据质量规则自动生成方法及系统，用以解决对各种类型的大量数据进行质量检测的难题。本专利技术实施例之一，一种对抗生成网络智能判断的数据质量规则自动生成系统，系统包括数据发生器和数据判别器，具体步骤包括：步骤1，选择需要进行数据质量智能判断的表字段，人工提取合法数据，形成对抗学习的正样本；步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数本文档来自技高网...

【技术保护点】
1.一种对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，包括以下步骤：步骤1，人工提取合法数据，形成对抗学习的正样本；步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数随机，通过第二神经网络构建数据判别器，数据判别器网络的各参数随机；步骤3，使用数据发生器产生假数据，形成对抗学习的负样本；步骤4，将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；步骤5，重复步骤4直到数据判别器对所有训练样本的判断正确；步骤6，将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正步骤3形成负样本的过程中的操作步...

【技术特征摘要】
1.一种对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，包括以下步骤：步骤1，人工提取合法数据，形成对抗学习的正样本；步骤2，通过第一神经网络构建数据发生器，数据发生器网络的各参数随机，通过第二神经网络构建数据判别器，数据判别器网络的各参数随机；步骤3，使用数据发生器产生假数据，形成对抗学习的负样本；步骤4，将正、负样本作为训练样本数据发送到数据判别器，对数据判别器进行训练；步骤5，重复步骤4直到数据判别器对所有训练样本的判断正确；步骤6，将所有负样本发送到数据判别器，并将所有负样本的损失函数值传递反馈给数据发生器，数据发生器将损失值做反向传播，修正步骤3形成负样本的过程中的操作步骤的参数；步骤7，数据发生器更新第一神经网络参数后，重复执行步骤3至步骤6，直至数据判别器和数据发生器的损失函数值收敛；步骤8，将待检测数据送入数据判别器，由数据判别器对数据合法性进行智能判断；步骤9，人工确认数据判别器的判断结果，对错误数据进行校正；步骤10，将人工校正过的数据加入训练数据集，重复步骤3至步骤7，提高所生成质量检测规则对非法数据识别的正确率。2.根据权利要求1所述的对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，步骤3的具体过程包括：步骤3.1，采用伪随机数发生器生成一组随机数；步骤3.2，对随机数使用多次卷积操作，卷积操作的次数应等于随机数组的长度，以便每一个随机数的影响力都可以弥散到数组中其他各数；步骤3.3，使用升采样手段将一维数组升维到目标数据的维度要求；步骤3.4，将数据归一化处理，确保所有数据范围在0至255之间；步骤3.5，将数据取整后，以字节流的形式输出，该字节流即未经编码的负样本。3.根据权利要求2所述的对抗生成网络智能判断的数据质量规则自动生成方法，其特征在于，步骤4的具体过程包括：步骤4.1，判断正样本内容是否有编码，如果有，则先对正样本内容进行解码从而得到字节流；步骤4.2，将样本进行多次卷积操作，卷积操作的次数与数据发生器中进行的卷积操作次数相同；步骤4.3，通过最大池化的手段对样本进行降采样处理，并使用线性整流函数作为激活函数；步骤4.3，对样本进行全连接操作，输出一个二维数对，并通过最大似然估计函数softmax计算得到该样本的预测值；步骤4.4，预测值与真值比对，...

【专利技术属性】
技术研发人员：王鹏，陈昊，于会游，姜玉峰，李栋，滕姿，顾俊杰，饶定远，靳翼，闵圣捷，杨飞，孟宏阳，肖青山，孙莎莎，杜浩，
申请(专利权)人：中电科嘉兴新型智慧城市科技发展有限公司，中电科华云信息技术有限公司，
类型：发明
国别省市：浙江,33