一种数据验证方法技术

本发明专利技术公开的数据验证方法，涉及数据处理技术领域，通过将待验证的数据集输入训练过的神经网络模型，根据神经网络模型的输出结果，判断数据集中是否存在错误的数据，不需要编写相互独立的程序对各个步骤进行验证，提高了效率，不需要人为去排查错误数据，降低了人工成本，在中间数据丢失的情况下，会输出错误提醒，提高了验证的准确度。

A data verification method

【技术实现步骤摘要】
一种数据验证方法
本专利技术涉及数据处理
，具体涉及一种数据验证方法。
技术介绍
随着智能手机及网络的普及，人们获取信息的途径也越来越多，但在信息展示的过程中，会发生展示错误的信息及当出现错误信息时处理错误信息的速度较慢的，极大地影响了企业形象及用户体验，所以需要事先对待展示的数据进行验证。现有的数据验证方法存在以下缺陷：(1)针对大量的数据计算步骤，需要编写相互独立的程序对各个步骤进行验证，工作量大，效率较低；(2)产生错误后，基本都需要人为去排查错误数据，时间成本较高；(3)在中间数据丢失的情况下，无bug产生，无错误提醒，但依然能输出错误结果到展示端，准确度较低。
技术实现思路
为解决现有技术的不足，本专利技术实施例提供了一种数据验证方法，该方法包括：将待验证的数据集输入训练过的神经网络模型；根据所述神经网络模型的输出结果，判断所述数据集中是否存在错误的数据，若是，则输出所述数据及所述数据在所述数据集中的位置。优选地，所述神经网络模型的训练过程包括：设计数据集的数据结构并将所述数据集存储于数据库中，分别验证所述数据集中各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成原始数据集；对所述数据集中各个数据进行计算，分别验证各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成中间数据集；对所述中间数据集进行计算，分别验证各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成结果数据集；将所述结果数据集展示到界面上，分别验证界面上各个数据的正确性，根据各个数据的正确与否对各个数据进行标识，生成界面数据集；将所述原始数据集、所述中间数据集、所述结果数据集及所述界面数据集输入神经网络模型，对所述神经网络模型进行训练。优选地，所述神经网络模型为LSTM神经网络模型。优选地，所述神经网络模型的训练过程还包括：随机丢弃所述中间数据集中的数据，将所述中间数据集输入神经网络模型对所述神经网络模型进行训练，以达到训练后的神经网络模型具备识别数据丢失的功能。本专利技术实施例提供的数据验证方法具有以下有益效果：(1)通过使用训练过的神经网络模型，不需要编写相互独立的程序对各个步骤进行验证，减少了工作量，提高了效率；(2)通过使用训练过的神经网络模型，产生错误后，不需要人为去排查错误数据，降低了人工成本；(3)在中间数据丢失的情况下，会输出错误提醒，提高了验证的准确度。具体实施方式以下结合具体实施例对本专利技术作具体的介绍。本专利技术实施例提供的数据验证方法包括以下步骤：S101，将待验证的数据集输入训练过的神经网络模型。作为一个具体的实施例，该数据集可以为原始数据集、中间数据集和结果数据集中的一种或多种。S102，根据神经网络模型的输出结果，判断数据集中是否存在错误的数据，若是，则输出数据及数据在数据集中的位置。可选地，神经网络模型的训练过程包括：设计数据集的数据结构并将数据集存储于数据库中，分别验证数据集中各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成原始数据集。其中，可以通过编写程序或者人为对原始数据集及相应的计算过程进行验证。对数据集中各个数据进行计算，分别验证各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成中间数据集。其中，可以通过编写程序或者人为对中间数据集及相应的计算过程进行验证。对中间数据集进行计算，分别验证各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成结果数据集。其中，可以通过编写程序或者人为对结果数据集及相应的计算过程进行验证。将结果数据集展示到界面上，分别验证界面上各个数据的正确性，根据各个数据的正确与否对各个数据进行标识，生成界面数据集。其中，可以通过人为对结果数据集及相应的计算过程进行验证。作为一个具体的实施例，在对各个数据标识的过程中，将正确的数据标识为“1”，将错误的数据标识为“0”。将原始数据集、中间数据集、结果数据集及界面数据集输入神经网络模型，对神经网络模型进行训练。作为一个具体的实施例，可以从用户打开gofun共享汽车APP产生的操作记录中获取原始数据集。比如原始数据为100条APP操作记录(打开、查看、返回、预定、订单、取消、定位)，其中，该原始数据集为15条用户交易单记录(10条订单、5条取消单)，平均每10条操作记录中产生一个订单。该原始数据集对应的中间数据集为：城市1的订单数量为2条、城市2的订单数量为5条及城市3的订单数量为3条；该中间数据集对应的结果数据集为全国城市订单数量为10条。优选地，神经网络模型为LSTM神经网络模型。优选地，神经网络模型的训练过程还包括：随机丢弃中间数据集中的数据，将中间数据集输入神经网络模型对所述神经网络模型进行训练。本专利技术实施例提供的数据验证方法，通过将待验证的数据集输入训练过的神经网络模型，根据神经网络模型的输出结果，判断数据集中是否存在错误的数据，不需要编写相互独立的程序对各个步骤进行验证，提高了效率，不需要人为去排查错误数据，降低了人工成本，在中间数据丢失的情况下，会输出错误提醒，提高了验证的准确度。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本专利技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本专利技术的内容，并且上面对特定语言所做的描述是为了披露本专利技术的最佳实施方式。此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本文档来自技高网...

【技术保护点】
1.一种数据验证方法，其特征在于，包括：/n将待验证的数据集输入训练过的神经网络模型；/n根据所述神经网络模型的输出结果，判断所述数据集中是否存在错误的数据，若是，则输出所述数据及所述数据在所述数据集中的位置。/n

【技术特征摘要】
1.一种数据验证方法，其特征在于，包括：
将待验证的数据集输入训练过的神经网络模型；
根据所述神经网络模型的输出结果，判断所述数据集中是否存在错误的数据，若是，则输出所述数据及所述数据在所述数据集中的位置。


2.根据权利要求1所述的数据验证方法，其特征在于，所述神经网络模型的训练过程包括：
设计数据集的数据结构并将所述数据集存储于数据库中，分别验证所述数据集中各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成原始数据集；
对所述数据集中各个数据进行计算，分别验证各个数据的正确性，根据各个数据的正确与否对各个数据进行标识并记录各个数据的位置，生成中间数据集；
对所述中间数据集进行计算...

【专利技术属性】
技术研发人员：李增永，
申请(专利权)人：北京首汽智行科技有限公司，
类型：发明
国别省市：北京;11