The embodiment of the invention discloses a data processing method, the method includes: business processing of entrance file, generate multiple breakpoint data, and respectively determine the type of each of the breakpoint data storage system, the data are sent to each of the breakpoints and the breakpoint data type in the corresponding storage. An embodiment of the invention also discloses a data processing device at the same time.
【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及数据处理领域,尤其涉及一种数据处理方法和装置。
技术介绍
目前,出账计算作为业务运营支撑系统(BusinessOperationSupportSystem,简称为BOSS)的核心部分,对用户的消费、余额以及开停机都起着重要的作用,所以,迫切需要高效、高稳定性和高准确率的出账计算的处理方法。在现行的分发机制中,对于任意号码的话单文件中的每项数据,可能在任意一个进程的任意一个线程进行处理,那么,话单文件中的每项数据在同时处理的情况下,会导致大量的碰撞从而影响出账计算的准确性,为了避免同时处理的情况发生,必须针对每个用户的出账计算进行加锁,使得BOSS能够针对每个用户来进行出账计算,然而,BOSS在进行出账计算的过程中,会将每个流程处理节点所产生的断点数据存储在BOSS的本地磁盘当中,然而,本地磁盘的存储空间有限,并且将断点数据存储在本地磁盘需要耗费较多的本地I/O资源,当存在多个断点文件时,会由于较大的I/O开销导致BOSS的性能显著下降,从而降低了BOSS处理数据能力。
技术实现思路
有鉴于此,本专利技术实施例期望提供一种数据处理方 ...
【技术保护点】
一种数据处理方法,其特征在于,包括:对入口文件进行业务处理时,生成多个断点数据,及分别确定各所述断点数据的类型;将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:对入口文件进行业务处理时,生成多个断点数据,及分别确定各所述断点数据的类型;将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储。2.根据权利要求1所述的方法,其特征在于,所述对入口文件进行业务处理时,生成多个断点数据,及分别确定各所述断点数据的类型,包括:在对入口文件进行业务处理的各个节点,分别生成与各所述节点对应的断点数据;根据各所述节点的类型,分别确定各所述断点数据的类型。3.根据权利要求1所述的方法,其特征在于,所述将各所述断点数据分别发送至与各所述断点数据的类型对应的存储系统进行存储,包括:所述断点数据的类型为第一预设类型时,将所述断点数据发送至云服务器进行存储;所述断点数据的类型为第二预设类型时,将所述断点数据发送至本地磁盘进行存储。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:所述第一预设类型用于标识全局性高性能处理所需的断点数据时,将所述断点数据发送至分布式内存数据库进行存储;所述第一预设类型用于标识全局性普通共享断点数据时,将所述断点数据发送至分布式文件系统进行存储。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:BOSS发生中断,重新上电后,根据在对所述入口文件进行业务处理的节点的类型,确定所述节点对应的断点数据的类型;从所述断点数据的类型对应的存储系统中获取所述断点数据;根据所述断点数据继续进行业务处理。6...
【专利技术属性】
技术研发人员:赵勇,杨慧,李学成,苏伟杰,温健军,张韬,徐杰,
申请(专利权)人:中国移动通信集团四川有限公司,中国移动通信集团公司,
类型:发明
国别省市:四川,51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。