一种后台业务处理框架的搭建方法和系统技术方案

本发明专利技术特别涉及一种后台业务处理框架的搭建方法和系统。方法包括：获取预设的配置文件；对系统进行初始化后读取所述配置文件内容，并将读取的内容提供给主进程；主进程获取配置文件内容之后，启动日志管理模块，并通过日志管理模块创建日志管理线程，以对程序的日志进行读写；同时通过主线程启动线程管理模块，并通过线程管理模块创建业务线程，以对程序的业务进行处理；所述业务线程包括数据抽取流程和数据处理流程，所述数据抽取流程用于创建定时任务数据源，所述数据处理流程用于业务数据处理。本发明专利技术通过对后台的批处理应用的公共部分进行固化，从而大大提高了开发人员的效率，也使得系统框架更加稳定，问题排查更加直接有效。

【技术实现步骤摘要】
一种后台业务处理框架的搭建方法和系统
本专利技术涉及互联网通讯领域，特别涉及一种后台业务处理框架的搭建方法和系统。
技术介绍
框架属于一种轻量级的调度框架，能够将较大的批量任务拆分成合适的子任务再发送至消息服务器中缓存，并等待应用服务集群的处理。框架只专注于任务的拆分和调度，并不涉及任何业务逻辑、中间状态等。对于传统的后台业务处理框架，由于没有对后台的批处理应用的公共部分进行固化，系统会反复的调用公共部分从而导致某些环节因为通讯流量过大出现访问超时或者拥堵，导致整个系统稳定性差，严重时会导致系统崩溃。
技术实现思路
本专利技术提供了一种后台业务处理框架的搭建方法和系统，解决以上所述技术问题。本专利技术解决上述技术问题的技术方案如下：一种批量后台通用框架方法，包括以下步骤：S1，获取预设的配置文件；S2，创建主进程，对系统进行初始化后读取所述配置文件，并将读取的内容提供给主进程；S3，控制主进程获取所述配置文件的内容，并通过主进程启动日志管理模块，然后通过日志管理模块创建日志管理线程，以对日志管理线程的日志进行读写；同时通过主进程启动线程管理模块，然后通过线程管理模块创建业务线程，以对程序的业务数据进行处理；所述业务线程包括数据抽取流程和数据处理流程，所述数据抽取流程用于创建定时任务数据源，所述数据处理流程用于处理数据源的业务数据，所述数据源包括定时任务数据源和系统外部写入的数据源。本专利技术的有益效果是：本专利技术通过对后台的批处理应用的公共部分进行固化，从而大大提高了开发人员的效率，也使得系统框架更加稳定，问题排查更加直接有效。进一步,步骤S3中所述数据抽取流程用于创建定时任务数据源，具体为：S301，获取预设的SQL语句；S302，执行SQL语句，并将执行SQL语句的结果输入到定时任务中创建定时任务数据源。采用上述进一步方案的有益效果是：通过创建定时任务数据源，方便后续在有业务需要处理的时候从数据源中调取数据，节省系统资源。进一步，步骤S3中所述数据抽取流程用于业务数据处理，具体为：S311，创建业务主线程和业务处理子线程；S312，采用业务主线程对数据源进行扫描，若数据源中无业务数据，则控制业务主线程进行等待，若数据源中有业务数据，则控制业务主线程按照数据提取的配置规则对数据源的业务数据进行提取，并对提取的业务数据按照预设的数据分发规则进行业务数据分发；S313，采用业务处理子线程接收所述业务主线程分发的业务数据，并按照预设的处理规则对所述业务数据进行处理。采用上述进一步方案的有益效果是：通过构建业务主线程对定时任务数据源的数据进行提取，然后分发给业务处理子线程进行业务数据处理，业务数据处理框架结构分工明确，方便在业务处理的过程中程序出现问题后的进行查找。进一步，步骤S311和步骤S312中，将所述数据提取的配置规则、数据分发规则以及业务处理子线程处理规则分别抽象成方法，业务线程重写到抽象方法中完成业务线程的运行，所述数据提取的配置规则、数据分发规则以及业务处理子线程处理规则预设在缓存中。采用上述进一步方案的有益效果是：将数据提取的配置规则、数据分发规则以及业务处理子线程处理规则预存放在缓存中，调用速度快，有利于提高系统的响应速度。进一步，步骤S312中，所述数据分发采用负载均衡的方式分发给业务处理子线程。采用上述进一步方案的有益效果是：通过采用负载均衡的方式分发数据解决了在数据分发的过程中网络拥塞的问题，提高服务器响应速度，服务就近提供，达到更好的访问质量。进一步，步骤S2中，将所述配置文件的内容加载于内存中，且在整个框架搭建方法中只加载一次，后续直接在内存中进行调用。采用上述进一步方案的有益效果是：通过将配置文件的内容加载在内存中，后续在使用配置文件的内容是不需要重复加载，直接通过在内存中调用后使用，节省了系统响应时间。本专利技术还提供了一种后台业务处理框架的搭建系统，包括：获取模块，用于获取预设的配置文件；配置文件加载模块，用于对系统进行初始化后读取所述配置文件，并将读取的内容提供给主进程；搭建模块，用于控制主进程获取所述配置文件的内容后，通过主进程启动日志管理模块，并通过日志管理模块创建用于对程序的日志进行读写的日志管理线程；同时通过主进程启动线程管理模块，并通过线程管理模块创建用于对程序的业务进行处理的业务线程；所述线程管理模块包括数据抽取单元和数据处理单元，所述数据抽取单元用于创建定时任务数据源，所述数据处理单元用于处理数据源的业务数据，所述数据源包括定时任务数据源和系统外部写入的数据源。本专利技术的有益效果是：本专利技术提供的后台业务处理框架的搭建系统，通过对后台的批处理应用的公共部分进行固化，从而大大提高了开发人员的效率，也使得系统框架更加稳定，问题排查更加直接有效。进一步，所述线程管理模块还包括缓存单元，所述缓存单元用于存储数据提取的配置规则、数据分发规则以及业务处理子线程处理规则。采用上述进一步方案的有益效果是：设置缓存单元存放存储数据提取的配置规则、数据分发规则以及业务处理子线程处理规则，提高系统安全验证的响应速率。进一步，所述数据抽取单元具体用于获取预设的SQL语句，执行SQL语句，并将执行SQL语句的结果输入到定时任务中创建定时任务数据源。采用上述进一步方案的有益效果是：通过创建定时任务数据源，方便后续在有业务需要处理的时候从数据源中调取数据，节省系统资源。进一步，所述数据处理单元具体用于创建业务主线程和业务子线程,采用业务主线程对数据源进行扫描，若数据源中无业务数据，则控制业务主线程进行等待，若数据源中有业务数据，则控制业务主线程按照数据提取的配置规则对数据源的业务数据进行提取，并对提取的业务数据按照预设的数据分发规则进行业务数据分发；采用业务处理子线程接收所述业务主线程分发的业务数据，并按照预设的处理规则对所述业务数据进行处理；业务数据处理完成之后，删除业务处理子线程从业务主线程中获取的业务数据，并对业务处理子线程处理过程中生成的业务数据进行备份。采用上述进一步方案的有益效果是：通过构建业务主线程对定时任务数据源的数据进行提取，然后分发给业务处理子线程进行业务数据处理，业务数据处理框架系统结构分工明确，方便在业务处理的过程中系统程序出现问题后的进行查找。附图说明图1为本专利技术一个实施例提供的一种后台业务处理框架的搭建方法的流程示意图；图2为本专利技术一个实施例提供的一种后台业务处理框架的搭建系统的结构示意图；图3为本专利技术另一实施例提供的一种后台业务处理框架的搭建系统的结构示意图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。如图1所示，本专利技术一个实施例提供的一种后台业务处理框架的搭建方法的流程示意图，包括以下步骤：S1，获取预设的配置文件；S2，创建主进程，对系统进行初始化后读取所述配置文件，并将读取的内容提供给主进程；S3，控制主进程获取所述配置文件的内容，并通过主进程启动日志管理模块，然后通过日志管理模块创建日志管理线程，以对日志管理线程的日志进行读写；同时通过主进程启动线程管理模块，然后通过线程管理模块创建业务线程，以对程序的业务数据进行处理；所述业务线程包括数据抽取流程和数据处理流程，所述数据抽取流程用于创建定时任务数据源，所本文档来自技高网...

【技术保护点】
一种后台业务处理框架的搭建方法，其特征在于，包括以下步骤：S1，获取预设的配置文件；S2，创建主进程，对系统进行初始化后读取所述配置文件，并将读取的内容提供给主进程；S3，控制主进程获取所述配置文件的内容，并通过主进程启动日志管理模块，然后通过日志管理模块创建日志管理线程，以对日志管理线程的日志进行读写；同时通过主进程启动线程管理模块，然后通过线程管理模块创建业务线程，以对程序的业务数据进行处理；所述业务线程包括数据抽取流程和数据处理流程，所述数据抽取流程用于创建定时任务数据源，所述数据处理流程用于处理数据源的业务数据，所述数据源包括定时任务数据源和系统外部写入的数据源。

【技术特征摘要】
1.一种后台业务处理框架的搭建方法，其特征在于，包括以下步骤：S1，获取预设的配置文件；S2，创建主进程，对系统进行初始化后读取所述配置文件，并将读取的内容提供给主进程；S3，控制主进程获取所述配置文件的内容，并通过主进程启动日志管理模块，然后通过日志管理模块创建日志管理线程，以对日志管理线程的日志进行读写；同时通过主进程启动线程管理模块，然后通过线程管理模块创建业务线程，以对程序的业务数据进行处理；所述业务线程包括数据抽取流程和数据处理流程，所述数据抽取流程用于创建定时任务数据源，所述数据处理流程用于处理数据源的业务数据，所述数据源包括定时任务数据源和系统外部写入的数据源。2.根据权利要求1所述的一种后台业务处理框架的搭建方法，其特征在于，步骤S3中所述数据抽取流程创建定时任务数据源的具体步骤为：S301，获取预设的SQL语句；S302，执行SQL语句，并将执行SQL语句的结果输入到定时任务中创建定时任务数据源。3.根据权利要求2所述的一种后台业务处理框架的搭建方法，其特征在于，步骤S3中所述数据处理流程处理业务数据的具体步骤为：S311，创建业务主线程和业务处理子线程；S312，采用业务主线程对数据源进行扫描，若数据源中无业务数据，则控制业务主线程进行等待，若数据源中有业务数据，则控制业务主线程按照数据提取的配置规则对数据源的业务数据进行提取，并对提取的业务数据按照预设的数据分发规则进行业务数据分发；S312，采用业务处理子线程接收所述业务主线程分发的业务数据，并按照预设的处理规则对所述业务数据进行处理；S313，业务数据处理完成之后，删除业务处理子线程从业务主线程中获取的业务数据，并对业务处理子线程处理过程中生成的业务数据进行备份。4.根据权利要求3所述的一种后台业务处理框架的搭建方法，其特征在于，步骤S311和步骤S312中，将所述数据提取的配置规则、数据分发规则以及业务处理子线程处理规则分别抽象成方法，业务线程重写到抽象方法中完成业务线程的运行，所述数据提取的配置规则、数据分发规则以及业务处理子线程处理规则预设在缓存中。5.根据权利要求4所述的一种后台业...

【专利技术属性】
技术研发人员：王智，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：北京,11