数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法，包括：获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示该数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，得到校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确。

【技术实现步骤摘要】
数据处理方法及系统
本专利技术涉及一种数据处理方法及系统。
技术介绍
随着电子信息技术的飞速发展，目前，越来越多的数据以电子数据形式进行存储。当用户需要其中某些数据时，则要从存储的数据中筛选所需要的数据，而在筛选的过程中，经常会出现筛选错误的情况，例如提取了错误的数据，或者错过了需要的数据。这些错误的情况需要人为发现，往往具有较大的时延，从而影响数据使用的时效性和可用性。
技术实现思路
本专利技术的一个方面提供了一种数据处理方法，包括：获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示该数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，得到校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确。本专利技术的另一个方面提供了一种数据处理系统，包括数据获取模块，获取数据；数据处理模块，根据预设规则处理获取的数据，得到处理结果，所述处理结果表示该数据是否满足所述预设规则；数据校验模块，将所述获取的数据输入到训练好的神经网络中进行计算，得到校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；处理结果判断模块，当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确。本专利技术的另一个方面提供了一种数据处理系统，包括：一个或多个存储器，存储有可执行指令；以及一个或多个处理器，执行所述可执行指令，以实现获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示该数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，得到校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确的方法。本专利技术的另一个方面提供了一种计算机可读存储介质，存储有可执行指令，所述指令在被处理器执行时实现获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示该数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，得到校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确的方法。附图说明为了更完整地理解本专利技术及其优势，现在将参考结合附图的以下描述，其中：图1示意性示出了根据本专利技术实施例的数据处理系统的应用场景。图2示意性示出了根据本专利技术实施例的数据处理方法。图3示意性示出了根据本专利技术实施例的数据处理系统的结构框图。图4示意性示出了根据本专利技术另一实施例的数据处理系统的结构框图。具体实施方式根据结合附图对本专利技术示例性实施例的以下详细描述，本专利技术的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。在本专利技术中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。在本说明书中，下述用于描述本专利技术原理的各种实施例只是说明，不应该以任何方式解释为限制专利技术的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本专利技术的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本专利技术的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。本专利技术的实施例提供了一种数据处理方法，该方法包括获取数据，并判断获取的数据是否满足预设的规则，得到处理结果，该处理结果表示该数据是否满足预设规则。将获取的数据输入到训练好的神经网络中进行计算，得到校验结果，该校验结果表示获取的数据与预设规则的匹配度。当处理结果与校验结果之间的差值在预定误差范围内时，认为处理结果正确，否则认为处理结果不正确。根据本专利技术实施例的方法引入了神经网络来校验数据处理的准确度。例如，在处理数据时，可以使用0和1分别表示数据是否满足预设规则。可以理解，这里并不必须使用0和1两个数值，而是可以根据实际情形，采用其他数值或标识，只要可以区分出数据满足或不满足预设规则即可。具体地，若数据满足预设规则，则处理结果为1；若不满足预设规则，则处理结果为0。作为示例，预设规则例如可以包括时间规则、地点规则等等。然后，同样的数据输入到训练好的神经网络中进行计算，将神经网络输出的数值作为校验结果，神经网络输出的数值越接近1，则证明该数据与预设规则的匹配度越高，越接近0，则证明该数据与预设规则的匹配度越低。对比处理结果与校验结果，当处理结果与校验结果之间的差值在预定误差范围内时，认为处理结果是正确。例如，如果误差范围设为0.2，认为上述差值小于0.2时，处理结果正确。于是，同样的数据，如果处理结果为1，校验结果为0.9，小于误差范围0.2，则认为该数据处理结果正确，该数据满足预设规则。又例如，同样的数据，如果处理结果为1，校验结果为0.5，大于误差范围0.2，则认为该数据处理结果错误。根据本专利技术的实施例，可以对处理结果错误的数据进行检查，以更正该错误，或直接丢弃处理结果错误的数据。该方法引入了神经网络作为校验，进一步地保证了数据处理的准确度。并且在数据处理错误时，可以及时识别出该错误，从而进行相应处理。下面参照图1和图2描述根据本专利技术实施例的数据处理系统及方法。图1示意性示出了根据本专利技术实施例的数据处理系统100的应用场景。根据本专利技术的实施例，数据处理系统100可以应用于各种数据处理场景，构建数据仓库、构建数据库以及数据挖掘等。但本领域技术人员可以理解，数据处理系统100不限于上述举例的场景，也可以应用于其他应用场景的数据处理。如图1所示，数据处理系统100可以与数据源系统200以及业务系统300进行交互。上述系统可以采用一个或多个计算机系统来实现。其中一个或多个计算机系统可以集中部署在本地，或者可以分布式地布置在多个地点，并且通过通信网络实现交互。根据本专利技术的实施例，数据源系统200产本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示所述数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，输出校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确。

【技术特征摘要】
1.一种数据处理方法，包括：获取数据；根据预设规则处理获取的数据，得到处理结果，所述处理结果表示所述数据是否满足所述预设规则；将所述获取的数据输入到训练好的神经网络中进行计算，输出校验结果，所述校验结果表示所述获取的数据与所述预设规则的匹配度；当所述处理结果与所述校验结果之间的差值在预定误差范围内时，认为所述处理结果正确，否则认为所述处理结果不正确。2.根据权利要求1所述的方法，其中，所述预设规则包括以下任意一种或多种：时间规则、类别规则、价格规则、地区规则、数量规则、数据大小规则、数据格式规则。3.根据权利要求1所述的方法，其中，所述神经网络包括使用sigmoid函数的三层反向传播神经网络。4.根据权利要求3所述的方法，其中，所述处理结果包括：若所述数据满足所述预设规则，则所述数据的处理结果为1，否则，所述数据的处理结果为0。5.根据权利要求3所述的方法，其中，在将所述获取的数据输入到训练好的神经网络中进行计算之前，所述方法还包括：使用训练数据对所述神经网络进行训练，当所述训练数据满足所述预设规则时，令所述神经网络输出的校验结果为0.9，当所述训练数据不满足所述预设规则时，令所述神经网络输出的校验结果为0.1。6.根据权利要求1所述的方法，还包括以下任意一项：发送处理结果为满足所述预设规则且所述处理结果正确的数据；或者发送处理结果为满足所述预设规则的数据和所述校验结果；或者发送所述处理结果为满足所述预设规则的数据和所述数据的相应校验结果。7.一种数据处理系统，包括：数据获取模块，获取数据；数据处理模块，根据预设规则处理获取的数据，得到处理结果，所述处理结果表示所述数据是否满足所述预设规则；数据校验模块...

【专利技术属性】
技术研发人员：李娜，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11