批量数据的处理方法和装置制造方法及图纸

本发明专利技术为安全检测技术领域，本发明专利技术提供一种批量数据的处理方法和装置，所述方法包括接收若干个批量数据文件，获取所述批量数据文件的属性信息；根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。该方法有利于保证数据的处理效率，最终保证数据的处理质量。

The Processing Method and Device of Batch Data

【技术实现步骤摘要】
批量数据的处理方法和装置
本专利技术涉及数据处理
，具体而言，本专利技术涉及一种批量数据的处理方法和装置。
技术介绍
随着互联网大数据技术的发展，服务器所要处理的数据量会爆发式增长，同时，具数据处理、存储、查询等功能的服务器系统也逐渐发展为多级分功能模块的处理系统。如何服务器系统的功能模块之间如何进行数据同步处理变得尤为重要。为了做到这一点，现有的做法是在数据处理的闲时，如凌晨12点，对服务器系统内各个功能模块之间的数据进行同步处理。但是，在同步的过程中通常以所有需要同步的数据一同进行同步处理，无益于服务器系统的功能模块之间的同步处理效率和数据质量。
技术实现思路
为克服以上技术问题，特别是现有技术中将所有需要同步的数据一同进行同步处理不利于服务器系统的功能模块之间的同步处理效率和数据质量的问题：第一方面，本专利技术提供一种批量数据的处理方法，其包括以下步骤：接收若干个批量数据文件，获取所述批量数据文件的属性信息；根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。在其中一个实施例中，所述根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息的步骤，包括：根据数据信息索引，依据所述数据信息提取对应的特征字节；将每一数据信息的特征字节与数据表中的原数据信息进行比对；根据比对的结果，将所述数据信息覆盖数据表的对应数据信息。在其中一个实施例中，所述属性信息是对所述批量数据文件中的数据信息属于新增数据信息增和更新数据信息进行划分。在其中一个实施例中，所述批量数据的处理方法还包括：当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理；根据所述数据信息的错误日志进行数据修正。在其中一个实施例中，所述当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理的步骤，包括：根据数据信息索引，当检测到无法从所述数据表中存储的数据信息解析得到所述数据信息索引对应的相关内容时，则判断所述数据信息为异常状态；根据所述数据信息查找得到其对应的批量数据文件，并停止该批量数据文件进行数据处理。在其中一个实施例中，所述根据所述数据信息的错误日志进行修正的步骤包括：根据错误日志获取对应的数据信息的异常字节；将所述异常字节对应于所述数据信息索引相应的字节，对所述异常字节进行修正。在其中一个实施例中，所述根据所述批量数据文件存储的匹配规则，将对应所述批量数据文件的属性信息将其中的数据信息存储至各数据表中的步骤还包括：获取所述数据信息的实际形成时间段；若所述实际形成时间段在对应的批量数据文件的设定生成时间段内，将对应的数据信息先存储至临时数据表中；待其他批量数据文件完成存储后，根据所述批量数据文件存储的匹配规则，再将所述临时数据表中的数据信息存储至对应的数据表中。第二方面，本专利技术还提供一种批量数据的处理装置，其包括：接收模块，用于接收若干个批量数据文件，获取所述批量数据文件的属性信息；存储模块，用于根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；覆盖模块，用于根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。第三方面，本专利技术还提供一种服务器，其包括：一个或多个处理器；存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序配置用于执行第一方面实施例所述的批量数据的处理方法。第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现第一方面实施例所述的批量数据的处理方法。本专利技术所提供的一种批量数据的处理方法和装置，根据所接收的若干个批量数据文件的属性信息将各自的数据信息分配至不同的数据表中，并根据不同数据表的数据信息的特点，获取其特征字节覆盖数据表对应的数据信息。在上述基础上，本专利技术还提供另一种批量数据的处理方法和装置，当检测所述数据表所存储的数据信息为异常状态时，对所述批量数据文件停止相应的数据处理，并根据数据信息的错误日志进行相应的修复。本专利技术所提供的技术方案将在服务器系统中功能模块之间同步的数据处理的需要，定义属性信息并对所述数据信息进行分类形成各自的批量数据文件。所述批量数据文件之间是相互独立的，服务器可以同时或者单独对所述批量数据文件进行处理。但是，若存在有批量数据文件出现异常状态，和/或需要进行其他数据处理，如数据的修正、停止数据处理等措施时，不影响其他批量数据文件的正常数据处理。这样，可以保证数据同步的过程中，可防止因个别数据出现异常，造成其他数据处理停滞不前的情况出现，有利于保证数据的处理效率，最终保证数据的处理质量。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术实施例方案的应用环境图；图2是本专利技术中的一个实施例的批量数据的处理方法的流程图；图3是本专利技术中的另一个实施例的批量数据的处理方法的流程图；图4为本专利技术中的一个实施例的批量数据的处理装置的示意图；图5为本专利技术中的一个实施例的服务器的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。本
技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个本文档来自技高网...

【技术保护点】
1.一种批量数据的处理方法，其特征在于，包括以下步骤：接收若干个批量数据文件，获取所述批量数据文件的属性信息；根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。

【技术特征摘要】
1.一种批量数据的处理方法，其特征在于，包括以下步骤：接收若干个批量数据文件，获取所述批量数据文件的属性信息；根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息的步骤，包括：根据数据信息索引，依据所述数据信息提取对应的特征字节；将每一数据信息的特征字节与数据表中的原数据信息进行比对；根据比对的结果，将所述数据信息覆盖数据表的对应数据信息。3.根据权利要求2所述的方法，其特征在于，所述属性信息是对所述批量数据文件中的数据信息属于新增数据信息增和更新数据信息进行划分。4.根据权利要求1所述的方法，其特征在于，还包括：当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理；根据所述数据信息的错误日志进行数据修正。5.根据权利要求4所述的方法，其特征在于，所述当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理的步骤，包括：根据数据信息索引，当检测到无法从所述数据表中存储的数据信息解析得到所述数据信息索引对应的相关内容时，则判断所述数据信息为异常状态；根据所述数据信息查找得到其对应的批量数据文件，并停止该批量数据文件进行数据处理。6.根据权利要求4或5...

【专利技术属性】
技术研发人员：徐丽萍，姚伏霞，安娜娜，包六十三，邹延鑫，徐晶，欧阳海，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东,44