一种数据处理方法和装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法，该方法包括：对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型，将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统中进行存储。本发明专利技术实施例还同时公开了一种数据处理装置。

A data processing method and device

The embodiment of the invention discloses a data processing method, the method includes: business processing of entrance file, generate multiple breakpoint data, and respectively determine the type of each of the breakpoint data storage system, the data are sent to each of the breakpoints and the breakpoint data type in the corresponding storage. An embodiment of the invention also discloses a data processing device at the same time.

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及数据处理领域，尤其涉及一种数据处理方法和装置。
技术介绍
目前，出账计算作为业务运营支撑系统(BusinessOperationSupportSystem，简称为BOSS)的核心部分，对用户的消费、余额以及开停机都起着重要的作用，所以，迫切需要高效、高稳定性和高准确率的出账计算的处理方法。在现行的分发机制中，对于任意号码的话单文件中的每项数据，可能在任意一个进程的任意一个线程进行处理，那么，话单文件中的每项数据在同时处理的情况下，会导致大量的碰撞从而影响出账计算的准确性，为了避免同时处理的情况发生，必须针对每个用户的出账计算进行加锁，使得BOSS能够针对每个用户来进行出账计算，然而，BOSS在进行出账计算的过程中，会将每个流程处理节点所产生的断点数据存储在BOSS的本地磁盘当中，然而，本地磁盘的存储空间有限，并且将断点数据存储在本地磁盘需要耗费较多的本地I/O资源，当存在多个断点文件时，会由于较大的I/O开销导致BOSS的性能显著下降，从而降低了BOSS处理数据能力。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种数据处理方法和装置，提高了BOSS处理数据能力，进而提高用户的体验度。为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供一种数据处理方法，所述方法包括：对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。进一步地，所述对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型，包括：在对入口文件进行业务处理的各个节点，分别生成与各所述节点对应的断点数据；根据各所述节点的类型，分别确定各所述断点数据的类型。进一步地，所述将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储，包括：所述断点数据的类型为第一预设类型时，将所述断点数据发送至云服务器进行存储；所述断点数据的类型为第二预设类型时，将所述断点数据发送至本地磁盘进行存储。进一步地，所述方法还包括：所述第一预设类型用于标识全局性高性能处理所需的断点数据时，将所述断点数据发送至分布式内存数据库进行存储；所述第一预设类型用于标识全局性普通共享断点数据时，将所述断点数据发送至分布式文件系统进行存储。进一步地，所述方法还包括：BOSS发生中断，重新上电后，根据在对所述入口文件进行业务处理的节点的类型，确定所述节点对应的断点数据的类型；从所述断点数据的类型对应的存储系统中获取所述断点数据；根据所述断点数据继续进行业务处理。第二方面，本专利技术实施例提供一种数据处理装置，包括：确定模块，用于对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；存储模块，用于将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统中进行存储。进一步地，所述确定模块，包括：生成子模块，用于在对入口文件进行业务处理的各个节点，分别生成与各所述节点对应的断点数据；确定子模块，用于根据各所述节点的类型，分别确定各所述断点数据的类型。进一步地，所述存储模块，包括：第一存储子模块，用于所述断点数据的类型为第一预设类型时，将所述断点数据发送至云服务器进行存储；第二存储子模块，用于所述断点数据的类型为第二预设类型时，将所述断点数据发送至本地磁盘进行存储。进一步地，所述第一存储子模块，具体用于：所述第一预设类型用于标识全局性高性能处理所需的断点数据时，将所述断点数据发送至分布式内存数据库进行存储；所述第一预设类型用于标识全局性普通共享断点数据时，将所述断点数据发送至分布式文件系统进行存储。进一步地，所述装置还包括：接续模块，用于在BOSS发生中断，重新上电后，根据在对所述入口文件进行业务处理的节点的类型，确定所述节点对应的断点数据的类型；从所述断点数据的类型对应的存储系统中获取所述断点数据；根据所述断点数据继续进行业务处理。本专利技术实施例所提供的数据处理方法和装置，数据处理装置在对入口文件中的每个用户的话单文件进行处理，生成多个断点数据，确定出断点数据的类型，并将该断点数据发送至与断点数据的类型对应的存储系统中进行存储，也就是说，本专利技术实施例中，根据断点数据的类型来分类存储断点数据至不同的存储系统中，使得断点数据不在受到本地磁盘存储空间的限制，并且当存在多个断点数据时，将断点数据发送至不同的存储系统中进行存储，避免了存储在本地磁盘所需要耗费的本地I/O资源，减小了本地磁盘的I/O开销，从而提高了BOSS处理数据能力，进而提高用户的体验度。附图说明图1为本专利技术实施例中的数据处理方法的流程示意图；图2为本专利技术实施例中的数据处理方法的一种可选的流程示意图；图3为本专利技术实施例中的数据处理方法的另一种可选的流程示意图；图4为本专利技术实施例中数据处理装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。本专利技术实施例提供一种数据处理方法，图1为本专利技术实施例中的数据处理方法的流程示意图，参考图1所示，该方法包括：S101：对入口文件进行业务处理时，生成多个断点数据，及分别确定各断点数据的类型；其中，BOSS在出账计算中，首先，获取入口文件，该入口文件为进行出账计算的原始文件，并且入口文件中存储有多个话单文件，其中，话单文件中存储有用户的号码、用户通话开始时间和结束时间、及计费金额。这里，在获取到入口文件之后，进行调度处理，然后按用户排序规整后对话单文件开始进行业务逻辑处理，处理完一个用户的话单文件之后，会生成多个断点数据，并确定该断点数据的类型；需要说明的是，上述断点数据包括断点文件和断点记录表，该断点记录表记录了生成每个断点文件的状态信息，该断点记录表包括有用户号码、文件名、处理时间、处理标识，该处理标识包括成功或者失败；当BOSS系统出现中断时，BOSS可以通过断点记录表继续进行出账计算。为了确定出断点数据的类型，在一种可选的实施例中，S101可以包括：在对入口文件进行业务处理的各个节点，分别生成与各节点对应的断点数据；根据各节点的类型，分别确定各断点数据的类型。具体来说，在BOSS在出账计算中，获取到入口文件，完成调度，按照预设的处理流程节点对话单文件分节点进行处理之后，会生成各个节点对应的断点数据，然后将各个节点的类型确定为断点数据的类型；另外，在另一种可选的实施例中，还可以对生成的断点数据进行划分，根据断点数据的重要等级对断点数据进行分类，得到断点数据的类型，例如，将与金额有关的文件划分为一类断点数据的类型，将临时文件划分为一类断点数据的类型，将异常信息的文件划分为一类断点数据的类型等等；至此，确定出了断点数据的类型。S102：将各断点数据分别发送至与各断点数据的类型对应的存储系统中进行存储。在确定出各断点数据的类型之后，根据断点数据的类型确定出对应的存储系统，然后将断点数据发送至确定出的存储系统中，这里，存储系统可以包括：云服务器和本地磁盘，这里，本专利技术不做具体限定。在一种可选的实施例中，为了实现断点数据的分类存储，S102可以包括：断点数据的类型为第一预设类型时，将断点数据发送至云服务器进行存储；断点数据的类型为第二预设类本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型；将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。2.根据权利要求1所述的方法，其特征在于，所述对入口文件进行业务处理时，生成多个断点数据，及分别确定各所述断点数据的类型，包括：在对入口文件进行业务处理的各个节点，分别生成与各所述节点对应的断点数据；根据各所述节点的类型，分别确定各所述断点数据的类型。3.根据权利要求1所述的方法，其特征在于，所述将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储，包括：所述断点数据的类型为第一预设类型时，将所述断点数据发送至云服务器进行存储；所述断点数据的类型为第二预设类型时，将所述断点数据发送至本地磁盘进行存储。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述第一预设类型用于标识全局性高性能处理所需的断点数据时，将所述断点数据发送至分布式内存数据库进行存储；所述第一预设类型用于标识全局性普通共享断点数据时，将所述断点数据发送至分布式文件系统进行存储。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：BOSS发生中断，重新上电后，根据在对所述入口文件进行业务处理的节点的类型，确定所述节点对应的断点数据的类型；从所述断点数据的类型对应的存储系统中获取所述断点数据；根据所述断点数据继续进行业务处理。6...

【专利技术属性】
技术研发人员：赵勇，杨慧，李学成，苏伟杰，温健军，张韬，徐杰，
申请(专利权)人：中国移动通信集团四川有限公司，中国移动通信集团公司，
类型：发明
国别省市：四川,51