针对实时服务数据的处理方法及相关系统技术方案

本发明专利技术公开一种针对实时服务数据的处理方法、相关系统、相关计算器可读介质及相关电子设备，在本发明专利技术的一实施例中，其特征在于，包括：执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。

【技术实现步骤摘要】
针对实时服务数据的处理方法及相关系统
本公开涉及数据处理领域，特别是涉及针对实时服务数据以及批处理数据的处理方法、相关系统、相关计算器可读介质及相关电子设备。
技术介绍
传统业务系统批处理业务为独占式，不论单机、多机还是分布式部署，因为与业务实时服务存在数据库资源竞争问题，为了避免出现死锁和错误的数据覆盖，必须给批处理提供专有的独占时间窗口。在此时间范围内，系统不能提供业务实时服务，占用了大量的系统的服务有效时间，降低了用户体验和资源利用率。或者采用分时控制方式，减少独占的时间窗口；或者采用数据分片方式，保留部分数据可以用于实时业务服务。但上述方式都会直接降低系统实时业务服务时效，降低用户体验，尤其在互联网业务24小时的服务要求下，已无法满足系统的实际需求。
技术实现思路
本专利技术的目的之一在于基于服务编排和高速缓存提供交易锁，实时业务服务和批处理进程对数据资源使用同一种方式竞争互斥的交易锁，实现联机批处理下的实时业务高可用性。同时实时业务服务具有更高的锁优先级，进一步保证实时业务的高可用性。本专利技术一实施例公开一种数据处理方法，其包括执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。在本专利技术的一实施例中，所述新交易锁包括所述数据对象的关键词及提交者辨认字号。在本专利技术的一实施例中，所述提交者辨认字号包括唯一识别号。在本专利技术的一实施例中，数据处理方法还包括执行实时服务编排，用于对所述数据对象进行数据处理；在本专利技术的一实施例中，数据处理方法还包括执行交易锁解锁服务，所述执行交易锁解锁服务的步骤包括：进行数据处理后，检查所述数据对象所对应的交易锁是否为所述新交易锁；及当所述数据对象所对应的所述交易锁仍为所述新交易锁时，将所述新交易锁删除。在本专利技术的一实施例中，所述执行交易锁解锁服务的步骤还包括当所述数据对象所对应的所述交易锁不为所述新交易锁时，将所述数据对象登记为异常个案。在本专利技术的一实施例中，所述执行交易锁加锁服务的步骤还包括当所述交易锁的所述提交者为实时服务时，结束数据处理。在本专利技术的一实施例中，所述原交易锁和所述新交易锁储存在高速缓存中。本专利技术一实施例公开一种数据处理系统，其包括数据库，用于储存数据；多个服务器，用于进行实时服务数据处理，所述实时服务数据处理的步骤包括；提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁；及高速缓存，用于储存所述原交易锁及所述新交易锁。本专利技术一实施例公开一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。本专利技术一实施例公开一种电子设备，其包括一个或多个处理器；及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据处理方法。附图说明图1为本专利技术一实施例的实时服务数据处理方法中交易锁加锁方法流程图；图2为本专利技术一实施例的实时服务数据处理方法流程图；图3为本专利技术一实施例的实时服务数据处理方法中交易锁解锁方法流程图；图4为本专利技术一实施例的批处理数据处理方法流程图；及图5为本专利技术一实施例的数据处理系统示意图。具体实施方式为更好的理解本专利技术的精神，以下结合本专利技术的部分优选实施例对其作进一步说明。为了使本
中具有通常知识者能制造并使用本专利技术的实施例，以下描述是针对一个特别的应用及其条件的情况。各种针对本专利技术的实施例所进行的修改方式，对本
中具有通常知识者是显而易见的。而在此所定义的一般原理，在不偏离本专利技术的实施例的精神与范围下，可用于其他的实施方式和应用。因此，本专利技术的实施方式并不局限于已显示的实施例，而可得到与在此所揭示内容的原理与特征相符的最宽广范围。新一代核心业务系统面向互联网获客类业务场景，具有业务量并发峰值高，数据总量大，处理时效快的特点，同时需要提供24小时不间断业务服务。传统核心业务系统中的批量数据处理方案，在新场景下实施，需要基于新核心业务系统的架构和应用特点进行改造，提供高数据吞吐量的同时，不能因批处理执行而导致业务中断。新一代核心业务系统采用基于springboot的微服务架构搭建，基于业务场景，设计了10多个服务中心提供核心系统各类功能服务，直接或组合后提供业务服务。后端搭配了mysql关系型数据和mongodb非关系型数据库，组合提供数据服务。批处理功能根据业务场景，集中处理数据库中的各类业务数据。而让实时服务和批量处理在日间同时运行，既可以提高服务器利用率，提高批处理吞吐量，同时避免业务出现间断，是此系统批处理的最佳解决方案。在此情境下，实时服务和批量数据处理存在资源竞争的情况，比如在同一时间对同一天数据存在更新的请求，本专利技术将根据服务编排的特点，在微服务架构下，引入竞争式的交易锁解决上述问题。图1为本专利技术一实施例的实时服务数据处理方法中交易锁加锁方法100的流程图，倘若大体上能得到相同的结果，本专利技术并不限定完全依照图1中的步骤顺序执行。实时服务加锁方法100可归纳为以下步骤。在步骤101中，提取数据对象关键词。在本实施例中数据对象自一共享数据库中获得，并且处理数据对象是一保单，但本专利技术并不以此为限。除外，关键词是以处理数据对象如一保单的保单号。需说明的是，关键词是从业务交易主体中提取，而所有交易使用的格式和内容一致。在步骤102中，检查对应至所述处理数据对象的交易的原交易锁是否存在，若是，则进入步骤103；若否，则进入步骤105。在本实施例中交易锁是由关键词，如一保单的保单号，以及提交者的辨认字号如一ID所结合产生。在本实施例中，实时服务的提交者的ID使用服务编排实例的唯一识别号UUID。在本实施例中，批处理的提交者的ID使用所述批处理服务所对应的服务器地址和进程号组合生产的唯一ID。若是存在对应至所述处理数据对象的原交易锁，代表所述处理数据对象可能正在由另一批处理实例或实时服务处理中，由于实时服务的优先级较批处理高，将会额外检查目前的交易锁属于批处理或是实时服务，又或者属于异常状况，来决定加锁服务是否成功。若不存在对应至所述处理数据对象的原交易锁，则可直接对所述处理数据对象进行数据处理。在步骤103中，检查原交易锁是否属于批处理实例。若是，则进入步骤104；否则进入步骤106。在本实施例中，检查对应至所述处理数据对象的交易的原交易锁是否属于批处理，若是，由于实时服务的优先级较高，因此可直接覆盖批处理的交易锁，否则，原交易锁可能属于其他实时服务或者所述处理数据对象出现异常状况，因此都会造成加锁服务失败，结束加锁服务。在步骤104中，覆盖原交易锁。在本实施例中，检查对应至所述处理数据对象的交易本文档来自技高网...

【技术保护点】
1.一种针对实时服务数据的处理方法，其特征在于，包括：执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。

【技术特征摘要】
1.一种针对实时服务数据的处理方法，其特征在于，包括：执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。2.根据权利要求1所述的数据处理方法，其特征在于，所述新交易锁包括所述数据对象的关键词及提交者辨认字号。3.根据权利要求2所述的数据处理方法，其特征在于，所述提交者辨认字号包括唯一识别号。4.根据权利要求1所述的数据处理方法，其特征在于，还包括：执行实时服务编排，用于对所述数据对象进行数据处理；及执行交易锁解锁服务，所述执行交易锁解锁服务的步骤包括：进行数据处理后，检查所述数据对象所对应的交易锁是否为所述新交易锁；及当所述数据对象所对应的所述交易锁仍为所述新交易锁时，将所述新交易锁删除。5.根据权利要求4所述的数据处理方法，其特征在于，所述执行交易锁解锁服务的步骤还包括：当所述数据对象所对应的所述交易锁不为所述新交易锁时，将所述数据对象登记为异常个案。...

【专利技术属性】
技术研发人员：张崝，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京,11