基于神经网络的数据处理装置、方法及可读存储介质制造方法及图纸

一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用训练集训练预设神经网络得到第一检测模型；利用测试集对第一检测模型进行验证得到第一准确率；对训练集及测试集进行清洗；利用清洗后的训练集对经过微调处理的第一检测模型进行训练得到第二检测模型；利用清洗后的测试集对第二检测模型进行验证得到第二准确率；若第一准确率大于第二准确率，则选定第一检测模型为最终模型，否则选定第二检测模型为最终模型，以通过该最终模型对待测数据进行检测。本发明专利技术还提供一种数据处理装置及计算机可读存储介质。上述基于神经网络的数据处理装置、方法及计算机可读存储介质，可提高模型的准确率，使得数据处理更高效、准确。

【技术实现步骤摘要】
基于神经网络的数据处理装置、方法及可读存储介质
本专利技术涉及人工智能
，尤其涉及一种基于神经网络的数据处理装置、方法及计算机可读存储介质。
技术介绍
随着大数据时代各行业对数据分析需求的持续增加，机器学习技术得到充足的发展，已被广泛应用于各种生活情境中。在一实际情境中，通过找到样本与标签间的关联性可设计并训练出合适的模型，但是收集到的样本可能会因为环境、样本本身客观缺陷或是人为等因素影响样本在训练时的训练效果，同时也会影响模型的精准度。
技术实现思路
有鉴于此，有必要提供一种基于神经网络的数据处理装置、方法及计算机可读存储介质，其可提高模型的准确率，使得数据处理高效、准确。本专利技术一实施方式提供一种基于神经网络的数据处理方法，包括：将样本数据划分为训练集及测试集；利用所述训练集训练预设神经网络，以训练得到第一检测模型；利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；判断所述第一准确率是否大于所述第二准确率；若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。优选地，所述预设神经网络为卷积神经网络，所述训练集的数据量大于所述测试集的数据量。优选地，所述根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗的步骤包括：获取用户从数据清洗库中选定的数据清洗方式；及基于所述选定的数据清洗方式对所述训练集及所述测试集进行清洗；其中，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式为一种数据清洗方式或多种数据清洗方式的组合。优选地，所述数据清洗库包括多个数据清洗单元，每一所述数据清洗单元对应一种数据类型，所述方法还包括：获取所述样本数据的数据类型；及根据所述样本数据的数据类型输出所述数据清洗单元的选用建议。优选地，所述对所述第一检测模型进行预设方式的微调的步骤包括：根据预设调整规则对所述第一检测模型的模型参数进行调整。优选地，所述模型参数为隐藏层的层数和/或隐藏层的神经元数。优选地，所述方法还包括：获取所述样本数据的数据类型；根据所述样本数据的数据类型获取历史清洗记录中所选用的数据清洗方式；及推送历史清洗记录中被选用次数排名前预设位的数据清洗方式为建议的数据清洗方式。优选地，所述样本数据为多个图片样本，所述数据清洗方式包括以下的一种或者多种的组合：图片特征提取、去背景处理、去噪处理、平滑处理。本专利技术一实施方式提供一种基于神经网络的数据处理装置，所述装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现上述基于神经网络的数据处理方法的步骤。本专利技术一实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，多条所述指令可被一个或者多个处理器执行，以实现上述的基于神经网络的数据处理方法的步骤。与现有技术相比，上述基于神经网络的数据处理装置、方法及计算机可读存储介质，支持用户自主选择数据清洗方式，且可根据样本数据类型进行数据清洗方式推荐，可降低对专业人员的技术经验与对应用场景的熟悉度的依赖，且可提高模型的准确率，进而使得数据处理更高效、准确。附图说明图1是本专利技术一实施方式的数据处理装置的功能模块图。图2是本专利技术一实施方式的数据处理程序的功能模块图。图3是本专利技术一实施方式的数据处理方法的流程图。主要元件符号说明如下具体实施方式将结合上述附图进一步说明本专利技术。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。进一步需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。请参阅图1，为本专利技术数据处理装置较佳实施例的示意图。数据处理装置100可以包括存储器10、处理器20以及存储在所述存储器10中并可在所述处理器20上运行的数据处理程序30。所述处理器20执行所述数据处理程序30时实现数据处理方法实施例中的步骤，例如图3所示的步骤S300～S318。或者，所述处理器20执行所述数据处理程序30时实现图2中各模块的功能，例如模块101～110。所述数据处理程序30可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器10中，并由所述处理器20执行，以完成本专利技术。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述数据处理程序30在所述数据处理装置100中的执行过程。例如，所述数据处理程序30可以被分割成图2中的划分模块101、第一训练模块102、第一验证模块103、清洗模块104、推荐模块105、第二训练模块106、第二验证模块107、判断模块108、选定模块109及输入模块110。各模块具体功能参见下图2中各模块的功能。本领域技术人员可以理解，所述示意图仅是数据处理装置100的示例，并不构成对数据处理装置100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据处理装置100还可以包括输入输出设备、通信模块、总线等。所称处理器20可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器20也可以是任何常规的处理器等，所述处理器20可以利用各种接口和总线连接数据处理装置100的各个部分。所述存储器本文档来自技高网...

【技术保护点】
1.一种基于神经网络的数据处理方法，其特征在于，所述方法包括：/n将样本数据划分为训练集及测试集；/n利用所述训练集训练预设神经网络，以训练得到第一检测模型；/n利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；/n根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；/n对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；/n利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；/n判断所述第一准确率是否大于所述第二准确率；/n若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；/n若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及/n将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。/n

【技术特征摘要】
1.一种基于神经网络的数据处理方法，其特征在于，所述方法包括：
将样本数据划分为训练集及测试集；
利用所述训练集训练预设神经网络，以训练得到第一检测模型；
利用所述测试集对所述第一检测模型进行验证，并根据验证结果统计得到第一准确率；
根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗；
对所述第一检测模型进行预设方式的微调，并利用清洗后的训练集对微调后的第一检测模型进行训练，以得到第二检测模型；
利用清洗后的测试集对所述第二检测模型进行验证，并根据验证结果统计得到第二准确率；
判断所述第一准确率是否大于所述第二准确率；
若所述第一准确率大于所述第二准确率，则选定所述第一检测模型为最终检测模型；
若所述第一准确率不大于所述第二准确率，则选定所述第二检测模型为所述最终检测模型；及
将待测数据输入至所述最终检测模型，以得到所述待测数据的检测结果。


2.如权利要求1所述的方法，其特征在于，所述预设神经网络为卷积神经网络，所述训练集的数据量大于所述测试集的数据量。


3.如权利要求1所述的方法，其特征在于，所述根据当前设定的数据清洗方式对所述训练集及所述测试集进行清洗的步骤包括：
获取用户从数据清洗库中选定的数据清洗方式；及
基于所述选定的数据清洗方式对所述训练集及所述测试集进行清洗；
其中，所述数据清洗库包含有多种数据清洗方式，所述设定的数据清洗方式为一种数据清洗方式或多种数据清洗方式的组合。


4.如权利要求3所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：林子甄，蔡东佐，孙国钦，郭锦斌，李宛真，
申请(专利权)人：富泰华工业深圳有限公司，鸿海精密工业股份有限公司，
类型：发明
国别省市：广东;44