一种基于神经网络的人工智能数据清洗方法技术

本发明专利技术涉及数据清洗技术领域，尤其涉及一种基于神经网络的人工智能数据清洗方法。其技术方案包括用于数据清洗的清洗自检系统，所述清洗自检系统包括自检启动模块、单一项检索模块、数据存储模块、分类存储模块、正常项存储模块、异常项存储模块、数据反馈模块、数据修复模块、审查自检模块、反馈另存模块和人工查验模块；所述自检启动模块、单一项检索模块、数据存储模块、分类存储模块、正常项存储模块、异常项存储模块和数据反馈模块依次连接。本发明专利技术数据清洗方法中具备单一项检索功能，针对错误异常的数据分类存储，并具备单独修复功能，实现错误数据修复功能，并对未修复的数据人工审验，提高数据清洗的精准性，避免数据误删。避免数据误删。避免数据误删。

【技术实现步骤摘要】
一种基于神经网络的人工智能数据清洗方法


[0001]本专利技术涉及数据清洗
，尤其涉及一种基于神经网络的人工智能数据清洗方法。

技术介绍

[0002]人工神经网络也简称为神经网络(NNs)或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。利用神经网络对数据进行处理是提高数据计算效率的方法。数据清洗是指发现数据文件中可识别的错误，删除重复信息并纠正存在的错误，提供数据的一致性。在人工智能领域，保持数据的“干净”至关重要，假如输入了错误或者无效的数据那么输出时就会影响效果、产生误差。传统的数据清洗方法包括检查数据一致性、处理无效值、识别数据冲突等等，整个过程包括多重审查、校验与标注。
[0003]在大部分数据和人工智能落地项目中，数据清洗都是成本消耗最严重的工作之一，干净的数据是后续进行研究和分析的基础，数据清理是个人工需求繁重、成本极高的工作种类。专利“CN107463639A”中提出的“基于人工智能的短本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的人工智能数据清洗方法，包括用于数据清洗的清洗自检系统，其特征在于：所述清洗自检系统包括自检启动模块、单一项检索模块、数据存储模块、分类存储模块、正常项存储模块、异常项存储模块、数据反馈模块、数据修复模块、审查自检模块、反馈另存模块和人工查验模块；所述自检启动模块、单一项检索模块、数据存储模块、分类存储模块、正常项存储模块、异常项存储模块和数据反馈模块依次连接；所述数据修复模块与反馈另存模块的输入端连接，所述人工查验模块与反馈另存模块的输入端连接。2.根据权利要求1所述的一种基于神经网络的人工智能数据清洗方法，其特征在于，所述单一项检索模块包括缺失数据检索单元、重复数据检索单元和错误数据检索单元；所述单一项检索模块用于对每条数据的均进行缺失数据、重复数据和错误数据的审核，用于提高数据检索的精准性。3.根据权利要求1所述的一种基于神经网络的人工智能数据清洗方法，其特征在于，所述清洗自检系统包括但不仅限应用于金融、医疗、安全、多媒体、法律法规、车载、通讯中的任一项领域。4.根据权利要求2所述的一种基于神经网络的人工智能数据清洗方法，其特征在于，所述分类存储模块用于对数据存储模块中存储的数据根据类型的不同而分类存储。5.根据权利要求4所...

【专利技术属性】
技术研发人员：郭冬，韩斌，洪亮，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：