本发明专利技术适用于数据处理技术领域,提供了批量数据逻辑处理方法及装置。该方法包括:在至少一个应用服务器中建立数据域,数据域包括参数数据域、原始数据域和结果数据域;一次性读取数据服务器参数表中的数据到参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到原始数据域中,生成原始数据;读取参数数据域中的参数记录和原始数据域中的原始数据,并对读取到的参数记录和原始数据进行逻辑运算,在结果数据域中生成逻辑运算的结果数据。该方法提高了数据处理的效率。
【技术实现步骤摘要】
批量数据逻辑处理方法及装置
本专利技术属于数据处理
,尤其涉及一种批量数据逻辑处理方法及装置。
技术介绍
批量数据逻辑处理是当前业务系统经常遇到的处理场景,比如电信计费、金融系统流水清算和互联网上的数据日终处理等。在各个行业中数据处理的过程类似,该过程包括:对原始数据进行校验,根据系统自身的行业规则进行业务逻辑判断、业务逻辑运算,最终形成业务处理的结果。传统的批量数据逻辑处理有以下两种:其一是,批量数据逻辑在数据服务器中处理。该处理流程包括:将数据的校验和业务运算写成存储过程或函数,提交到数据库中,在使用时应用服务器发起业务处理请求,调用存储过程或函数,完成批量数据逻辑处理。这样的处理方法实际上是数据服务器完成了应用逻辑的运算,使得数据服务器压力增大,且只能单台物理机器下的多任务并发,效率提升受限。其二是,批量数据逻辑在应用服务器中处理。该处理流程包括:读取一条数据、批量数据逻辑处理,处理结果写回数据库,以此循环。这样的处理方法造成了应用服务器和数据库服务器通讯和数据库服务器的I/O操作都过于频繁,处理效率低。故现有批量数据逻辑处理技术中存在处理效率低的问题,有必要提出一种新的技术方案,以解决上述技术问题。
技术实现思路
鉴于此,本专利技术实施例提供一种批量数据逻辑处理方法及装置,现有批量数据逻辑处理技术中存在处理效率低的问题。本专利技术实施例的第一方面,提供一种批量数据逻辑处理方法,包括:在至少一个应用服务器中建立数据域,所述数据域包括参数数据域、原始数据域和结果数据域;一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据;读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,并对读取到的所述参数记录和所述原始数据进行逻辑运算,在结果数据域中生成所述逻辑运算的结果数据。本专利技术实施例的第二方面,提供一种批量数据逻辑处理装置,包括:建立模块,用于在至少一个应用服务器中建立数据域,所述数据域包括参数数据域、原始数据域和结果数据域;第一读取生成模块,用于一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据;第二读取生成模块,用于读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,并对读取到的所述参数记录和所述原始数据进行逻辑运算,在结果数据域中生成所述逻辑运算的结果数据。本专利技术实施例与现有技术相比存在的有益效果是:本专利技术实施例所提供的批量数据逻辑处理方法或装置中,在至少一个应用服务器中建立数据域;一次性读取数据服务器参数表中的数据到所述参数数据域中生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中生成原始数据;读取所述参数数据域中的参数记录和所述原始数据域中的原始数据进行逻辑运算,对应在结果数据域中生成结果数据。一次性的数据读取尽可能的减少了应用服务器与数据库服务器的交互次数,提高了数据操作的效率;批量的数据运算完全在应用服务器内存中进行,充分的发挥了应用服务器的性能,减少数据库服务器的资源消耗;因此提高了数据处理的效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的批量数据逻辑处理方法的实现流程图;图2是本专利技术实施例提供的批量数据逻辑处理方法S103的具体实现流程图;图3是本专利技术另一实施例提供的批量数据逻辑处理方法的实现流程图;图4是本专利技术再一实施例提供的批量数据逻辑处理方法的实现流程图;图5是本专利技术实施例提供的批量数据逻辑处理装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本专利技术进行详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。本专利技术实施例提供了批量数据逻辑处理方法及装置。为了说明本专利技术所提供的方法,下面通过具体实施例来进行说明。实施例一图1示出了本专利技术实施例提供的批量数据逻辑处理方法的实现流程图。如图1所示,该方法包括如下步骤:S101:在至少一个应用服务器中建立数据域,所述数据域包括参数数据域、原始数据域和结果数据域。其中,至少一个应用服务器是指应用服务器的数量至少为一个。为了分别存放后续从数据服务器读取的数据,在至少一个应用服务器中建立数据域,建立的数据域包括但不限于参数数据域、原始数据域和结果数据域。S102:一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据。获取需要进行处理的数据,该数据包括服务器参数表中的数据和服务器原始数据表中的数据。对这些需要进行处理的数据进行一次性读取:一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据。该步骤一次性的数据读取尽可能的减少了应用服务器与数据库服务器的交互次数,提高了数据操作的效率。S103:读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,并对读取到的所述参数记录和所述原始数据进行逻辑运算,在结果数据域中生成所述逻辑运算的结果数据。在应用服务器中,读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,判断原始数据的业务类型,在相应的操作域中进行逻辑运算,逻辑运算结束后,将逻辑运算的结果写入已经建立的结果数据域,在结果数据域中生成所述逻辑运算的结果数据。该步骤中,批量的数据运算完全在应用服务器内存中进行,充分的发挥了应用服务器的性能,减少数据库服务器的资源消耗。具体地,图2示出了本专利技术实施例提供的批量数据逻辑处理方法S103的具体实现流程。如图2所示,该方法包括如下步骤:S201:建立逻辑处理域,所述逻辑处理域包括各个业务类型对应的操作域。在应用服务器中,为了对所述参数记录和所述原始数据进行逻辑运算,建立逻辑处理域。而由于需要处理的数据可能属于不同种类的业务类型,因此逻辑处理域包括各个业务类型对应的操作域。S202:读取所述参数数据域中的参数记录和所述原始数据域中的原始数据。在应用服务器中,读取参数数据域中的参数记录和所述原始数据域中的原始数据。为了提升读取的效率,优选地,所述读取为一次性读取。S203:根据所述原始数据的业务类型将所述原始数据及对应的参数记录传入相应的所述操作域。为了提升处理的效率,判断所述原始数据的业务类型,根据所述原始数据的业务类型将所述原始数据及对应的参数记录传入相应的所述操作域。例如:现有原始数据1、原始数据2、业务类型A、业务类型B、操作域a和操作域b,其中业务类型A对应操作域a,业务类型B对应操作域b。判断出原始数据1属于业务类型A,原始数据2属于业务类型B,则将原始数据1及对应的参数传入操作域a;则将原始数据2及对应的参数传入操作域b。所述不同原始数据即对应参数传入相应操作域的操作可并行处理,以便于进一步提升处理本文档来自技高网...
【技术保护点】
一种批量数据逻辑处理方法,其特征在于,包括:在至少一个应用服务器中建立数据域,所述数据域包括参数数据域、原始数据域和结果数据域;一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据;读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,并对读取到的所述参数记录和所述原始数据进行逻辑运算,在结果数据域中生成所述逻辑运算的结果数据。
【技术特征摘要】
1.一种批量数据逻辑处理方法,其特征在于,包括:在至少一个应用服务器中建立数据域,所述数据域包括参数数据域、原始数据域和结果数据域;一次性读取数据服务器参数表中的数据到所述参数数据域中,生成参数记录,一次性读取数据服务器原始数据表中的数据到所述原始数据域中,生成原始数据;读取所述参数数据域中的参数记录和所述原始数据域中的原始数据,并对读取到的所述参数记录和所述原始数据进行逻辑运算,在结果数据域中生成所述逻辑运算的结果数据。2.如权利要求1所述的方法,其特征在于,所述读取所述参数数据域中的参数记录和所述原始数据域中的原始数据进行逻辑运算,对应在结果数据域中生成结果数据,包括:建立逻辑处理域,所述逻辑处理域包括各个业务类型对应的操作域;读取所述参数数据域中的参数记录和所述原始数据域中的原始数据;根据所述原始数据的业务类型将所述原始数据及对应的参数记录传入相应的所述操作域;基于所述业务类型的业务逻辑和规则,在所述操作域中对所述参数记录和所述原始数据进行逻辑运算,得到运算结果;在所述结果数据域中生成关于所述运算结果的结果数据。3.如权利要求1所述的方法,其特征在于,在所述在至少一个应用服务器中建立数据域之前,所述方法还包括:将所述数据服务器中的原始数据表中的数据分成多个原始数据区间,每个原始数据区间对应由一个任务进行处理,所述任务同属于一个应用服务器。4.如权利要求3所述的方法,其特征在于,所述多个原始数据区间的大小是相同的,所述任务并行处理。5.如权利要求1所述的方法,其特征在于,所述在结果数据域中生成所述逻辑运算的结果数据之后,所述方法还包括:将所述结果数据域中的结果数据一次性写入所述数据服务器的结...
【专利技术属性】
技术研发人员:李忠碧,
申请(专利权)人:深圳市金证科技股份有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。