计算机设备中的数据处理方法和系统技术方案

本发明专利技术提供了一种计算机设备中的数据处理方法和系统，计算机设备中存储了多条数据，该数据包括第一类和第二类数据，第一类数据为待处理的原始采集数据，所述第一类数据包括第一数据项，所述第二类数据为用于对所述第一类数据进行处理的数据，所述第二类数据中包括所述第一数据项，该数据处理方法包括：由第一类数据生成多个原始文件，由第二类数据生成多个中间文件，将中间文件合并到原始文件中，以每个合并后的文件中单条数据为单位，将合并后的文件拆分成多个子文件，以及将子文件整合成结果文件。通过本发明专利技术，可以借助于文件操作对具有相同数据项的数据进行关联并且对数据进行分类，解决了数据冗余和数据处理效率低下的问题。

【技术实现步骤摘要】

本专利技术涉及计算机应用技术，尤其涉及一种计算机设备中的数据处理方法和系统。
技术介绍
银行在进行业务处理的过程中，可能产生大量的数据，这些数据一般为存储在计算机设备的数据库中的数据，比如用户信息、账户信息、账户交易信息等等，每条数据均具有多个数据项。例如，账户信息可以包括多条账户数据，每条账户数据均具有账号、账户所在地、账户类型等数据项。用于处理银行业务的系统对这些数据进行处理，在实际操作中，需要这样的系统能够处理多种业务需求，这些业务需求包括生成数据的报表、在与外围设备(比如银行工作人员的计算机设备、用户自助服务设备等等)进行数据同步期间进行数据采集和数据加工等等。通常这些数据分成多类，不同类别的数据之间通过一个数据项相关联，即相关联的两类数据具有某个相同的数据项。术语“数据库”是一种形象化的描述，数据实际上是存储在存储介质中的。典型地，为了使用于处理银行核心业务的系统能够应对上述业务需求，利用结构化查询语言(SQL, Structured Query Language)对数据库进行查询。然而,这种典型的数据处理方法存在一定的局限性首先，多类数据通过数据项相关联，当对某一类数据进行查询时，通常先将与这类数据相关联的所有其他类数据都查找出来，然后，在所有查询出来的各类数据的基础上查找出需要的数据，这样，对于本次业务处理不需要用到的其他类数据也进行了操作，因此，造成了大量的数据冗余；其次，在实际操作中经常对包含大量(特别是上亿条)数据进行上述关联，因此，造成数据处理效率非常低下，数据处理时间随着数据量的增长呈现出几何级的增长。在实际的银行业务操作中，为了保证与外围设备的数据同步等目的，必须要解决上述数据冗余和数据处理效率低下的问题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种计算机设备中的数据处理方法和系统。下面将对本专利技术的技术方案进行详细描述。本专利技术提供了一种计算机设备中的数据处理方法，所述计算机设备包括存储介质，在所述存储介质中存储了多条数据，每条数据均由多个数据项组成，其中，所述数据包括第一类和第二类数据，所述第一类数据为待处理的原始采集数据，所述第一类数据包括第一数据项，所述第二类数据为用于对所述第一类数据进行处理的数据，所述第二类数据中包括所述第一数据项，其中，所述数据处理方法包括由所述第一类数据生成多个原始文件，所述原始文件中记载有多条所述第一类数据；由所述第二类数据生成多个中间文件，所述中间文件中记载有多条所述第二类数据；将各所述中间文件合并到各所述原始文件中，每个合并后的文件中记载有多条数据，每条数据由具有相同的所述第一数据项的所述第一类数据和所述第二类数据组合而成；以每个合并后的文件中单条数据为单位，将所述合并后的文件中的数据的一个或多个数据项作为拆分项，并且根据所述拆分项将所述合并后的文件拆分成多个子文件，每个子文件中记载至少一条所述单条数据；以及将具有相同的所述拆分项的所述子文件分别整合成结果文件。本专利技术同时提供了一种计算机设备中的数据处理系统，所述计算机设备包括存储介质，在所述存储介质中存储了多条数据，每条数据均由多个数据项组成，其中，所述数据包括第一类和第二类数据，所述第一类数据为待处理的原始采集数据，所述第一类数据包括第一数据项，所述第二类数据为用于对所述第一类数据进行处理的数据，所述第二类数据中包括所述第一数据项，其中，所述数据处理系统包括卸载模块、预处理模块、拼接模块、拆分模块和整合模块，其中，所述卸载模块用于由所述第一类数据生成多个原始文件，所述原始文件中记载有多条所述第一类数据；所述预处理模块用于由所述第二类数据生成多个中间文件，所述中间文件中记载有多条所述第二类数据；所述拼接模块用于将各所述中间文件合并到各所述原始文件中，每个合并后的文件中记载有多条数据，每条数据由具有相同的所述第一数据项的所述第一类数据和所述第二类数据组合而成；所述拆分模块用于以每个合并后的文件中单条数据为单位，将所述合并后的文件中的数据的一个或多个数据项作为拆分项，并且根据所述拆分项将所述合并后的文件拆分成多个子文件，每个子文件中记载至少一条所述单条数据；以及所述整合模块用于将具有相同的所述拆分项的所述子文件分别整合成结果文件。使用本专利技术的方法和系统，可以借助于文件操作对具有同数据项的数据进行关联并且对数据进行分类。因此，解决了数据冗余和数据处理效率低下的问题。附图说明图1是示出了本专利技术数据处理方法的流程图；图2是示出了本专利技术数据处理方法的实施例的示意图；图3是示出了本专利技术数据处理方法另一实施例的示意图；以及图4是示出了本专利技术数据处理系统的结构的示意图。具体实施例方式下面结合附图和具体实施例对本专利技术作进一步详细描述，但不作为对本专利技术的限定。计算机设备包括数据库，可以将银行业务的操作中用到的数据存储在数据库中，每条数据均由多个数据项组成，其中，所述数据包括第一类和第二类数据，第一类数据为待处理的原始采集数据，第一类数据包括第一数据项，第二类数据为用于对第一类数据进行处理的数据，第二类数据中包括第一数据项。例如，数据库中包括账户数据和客户数据两类数据，账户数据中每条数据均包括账号、账户所在地和账号类型三种数据项，客户数据中每条数据均包括客户姓名、账号、客户类型三种数据项；账户数据和客户数据都具有账号数据项，也就是说这两类数据通过账号数据项相关联。上述对数据分类存放是为了避免将所有数据都存储在一起从而导致处理效率低下。图1是示出了本专利技术数据处理方法的流程图，如图1所示，所述数据处理方法包括如下步骤步骤101，由所述第一类数据生成多个原始文件；待处理的原始采集数据为第一类数据，第一类数据包括第一数据项，第二类数据为用于对第一类数据进行处理的数据，第二类数据中包括第一数据项。将部分存储介质划分成占用不同物理地址的多个数据区，将第一类数据按照不同的子类别分别存储到各个数据区中，为每个数据区中存储的第一类数据均生成一个原始文件；以数据的一个或多个数据项或者某些时间点为基准来将数据分成子类。此外，在步骤101之前，可以清除计算机设备中存储的历史信息，例如，删除上次生成的数据区、数据文件或其他相关文件；可以根据分区参数动态生成转存语句，然后计算机设备调用转存语句以便生成原始文件。特别地，所生成的原始文件的个数可能会达到上百个，这里，原始文件的个数可以由用于将数据分成子类的数据项或时间点来确定；步骤102，由所述第二类数据生成多个中间文件；该步骤可通过两种方式来实现。在一种方式中，将部分存储介质划分成占用不同物理地址的多个数据区；将第二类数据按照不同的子类别分别存储到各个数据区中；为每个数据区中存储的第二类数据均生成一个中间文件；或者，在除了第一类数据和第二类数据以外的数据中还包括第三类数据，第二类数据包括第二数据项，第三类数据为用于对第二类数据进行处理的数据，第三类数据中包括第二数据项，则可采用第二种方式来由第二类数据生成中间文件将部分存储介质划分成占用不同物理地址的多个数据区；将第二类数据按照不同的子类别分别存储到各个数据区中；为每个数据区均生成一个第一临时文件；将部分存储介质划分成占用不同物理地址的多个数据区；将第三类数据按照不同的子类别分别存储到各个数据区中；为每个数据区均生成一个第二临本文档来自技高网...

【技术保护点】
一种计算机设备中的数据处理方法，所述计算机设备包括存储介质，在所述存储介质中存储了多条数据，每条数据均由多个数据项组成，其中，所述数据包括第一类和第二类数据，所述第一类数据为待处理的原始采集数据，所述第一类数据包括第一数据项，所述第二类数据为用于对所述第一类数据进行处理的数据，所述第二类数据中包括所述第一数据项，其特征在于，所述数据处理方法包括：由所述第一类数据生成多个原始文件，所述原始文件中记载有多条所述第一类数据；由所述第二类数据生成多个中间文件，所述中间文件中记载有多条所述第二类数据；将各所述中间文件合并到各所述原始文件中，每个合并后的文件中记载有多条数据，每条数据由具有相同的所述第一数据项的所述第一类数据和所述第二类数据组合而成；以每个合并后的文件中单条数据为单位，将所述合并后的文件中的数据的一个或多个数据项作为拆分项，并且根据所述拆分项将所述合并后的文件拆分成多个子文件，每个子文件中记载至少一条所述单条数据；以及将具有相同的所述拆分项的所述子文件分别整合成结果文件。

【技术特征摘要】
1.一种计算机设备中的数据处理方法，所述计算机设备包括存储介质，在所述存储介质中存储了多条数据，每条数据均由多个数据项组成，其中，所述数据包括第一类和第二类数据，所述第一类数据为待处理的原始采集数据，所述第一类数据包括第一数据项，所述第二类数据为用于对所述第一类数据进行处理的数据，所述第二类数据中包括所述第一数据项，其特征在于，所述数据处理方法包括 由所述第一类数据生成多个原始文件，所述原始文件中记载有多条所述第一类数据； 由所述第二类数据生成多个中间文件，所述中间文件中记载有多条所述第二类数据； 将各所述中间文件合并到各所述原始文件中，每个合并后的文件中记载有多条数据，每条数据由具有相同的所述第一数据项的所述第一类数据和所述第二类数据组合而成； 以每个合并后的文件中单条数据为单位，将所述合并后的文件中的数据的一个或多个数据项作为拆分项，并且根据所述拆分项将所述合并后的文件拆分成多个子文件，每个子文件中记载至少一条所述单条数据；以及 将具有相同的所述拆分项的所述子文件分别整合成结果文件。2.根据权利要求1所述的计算机设备中的数据处理方法，其特征在于，由所述第一类数据生成多个原始文件具体包括 将部分所述存储介质划分成占用不同物理地址的多个数据区；将所述第一类数据按照不同的子类别分别存储到各个所述数据区中；为每个数据区中存储的所述第一类数据均生成一个原始文件。3.根据权利要求1所述的计算机设备中的数据处理方法，其特征在于，由所述第二类数据生成多个中间文件包括 将部分所述存储介质划分成占用不同物理地址的多个数据区；将所述第二类数据按照不同的子类别分别存储到各个所述数据区中；为每个数据区中存储的所述第二类数据均生成一个中间文件。4.根据权利要求1所述的计算机设备中的数据处理方法，其特征在于，在除了所述第一类数据和所述第二类数据以外的数据中还包括第三类数据，所述第二类数据包括第二数据项，所述第三类数据为用于对所述第二类数据进行处理的数据，所述第三类数据中包括所述第二数据项，由所述第二类数据生成多个中间文件包括 将部分所述存储介质划分成占用不同物理地址的多个数据区；将所述第二类数据按照不同的子类别分别存储到各个所述数据区中；为每个数据区均生成一个第一临时文件； 将部分所述存储介质划分成占用不同物理地址的多个数据区；将所述第三类数据按照不同的子类别分别存储到各个所述数据区中；为每个数据区均生成一个第二临时文件；以及 对于所述第一临时文件中的每条数据，均从所述第二临时文件中查找出一条数据，使得这两条数据具有相同的所述第二数据项，并且将查找出的这条数据中的除了所述第二数据项以外的全部数据项合并到所述第一临时文件中对应的那条数据中以得到一个所述中间文件。5.根据权利要求1所述的数据处理方法，其特征在于，将所述中间文件合并到所述原始文件中包括对于所述原始文件中的每条数据，均从所述中间文件中查找出一条数据，使得这两条数据具有相同的所述第一数据项，并且将查找出的这条数据中的除了所述第一数据项以外的全部数据项合并到所述原始文件中对应的那条数据中以得到一个合并后的文件。6.一种计算机设备中的数据处理系统，所述计算机设备包括存储介质，在所述存储介质中存储了多条数据，每条数据均由多个数据项组成，其中，所述数...

【专利技术属性】
技术研发人员：彭丰华，韩玉忠，夏理，刘永钢，周凌，卢超，尹杰，刘静华，杨涛，刘芳，蔡震，黄鸿滨，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：