基于队列服务的PHP多进程数据处理系统及其处理方法技术方案

本发明专利技术公开了基于队列服务的PHP多进程数据处理系统及其处理方法，将任务生成和消费任务更新处理进行拆分，互不影响；所述任务生成具体如下：根据周期更新配置到基础数据库中读取待更新数据，将待更新数据根据隶属关系进行分层拆分，一个层级数据生成一个任务生产脚本，多个层级数据则一一对应生成多个任务生产脚本，采用单进程方式，逐个保存到消息队列中；所述消费任务更新处理具体如下：采用多进程方式，利用消费服务器集群一一对应读取多个由生成任务模块保存到消息队列中的任务生产脚本，将多个任务生产脚本同时处理更新，即多个消费任务同时进行。各个模块解耦，很好的做到了异常隔离，方便定位问题。方便定位问题。方便定位问题。

【技术实现步骤摘要】
基于队列服务的PHP多进程数据处理系统及其处理方法


[0001]本专利技术涉及爬虫领域，营销领域等，具体涉及基于队列服务的PHP多进程数据处理系统及其处理方法。

技术介绍

[0002]越来越多的企业开始建立自己的数据平台，无论是基于营销领域的媒体源各个层级数据，还是大数据公司基于各项爬虫业务的基础数据。
[0003]PHP(PHP:Hypertext Preprocessor)即“超文本预处理器”，是在服务器端执行的脚本语言，尤其适用于Web开发并可嵌入HTML中。PHP语法学习了C语言，吸纳Java和Perl多个语言的特色发展出自己的特色语法，并根据它们的长项持续改进提升自己，例如java的面向对象编程，该语言当初创建的主要目标是让开发人员快速编写出优质的web网站。PHP同时支持面向对象和面向过程的开发，使用上非常灵活。
[0004]API(Application Programming Interface，应用程序接口)是一些预先定义的接口(如函数、HTTP接口)，或指软件系统不同组成部分衔接的约定。用来提供应用程序与开发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于队列服务的PHP多进程数据处理系统，其特征在于：包括生成任务模块，消费任务模块和统计任务模块；所述生成任务模块用于根据周期更新配置到基础数据库中读取待更新数据，将待更新数据根据隶属关系进行分层拆分，一个层级数据生成一个任务生产脚本，多个层级数据则一一对应生成多个任务生产脚本，采用单进程方式，逐个保存到消息队列中；所述消费任务模块采用多进程方式，利用消费服务器集群一一对应读取多个由生成任务模块保存到消息队列中的任务生产脚本，将多个任务生产脚本同时处理更新，即多个消费任务同时进行，每个消费任务可以通过服务器进程判断方式调用php程序进行数据更新；当一个消费服务器中的消费任务处理完成后，将当前消费任务对应的任务生产脚本从消息队列中删除，然后利用消费服务器读取消息队列中的下一个任务生产脚本进行下一个任务生产脚本的处理，直到消息队列中的任务生产脚本被全部处理完成，当前消费任务停止执行；所述统计任务模块用于检测消费任务模块中的消费任务的执行状态。2.根据权利要求1所述的基于队列服务的PHP多进程数据处理系统，其特征在于：所述统计任务模块中检测消费任务模块中的消费任务的执行状态包括统计消费任务的执行次数以及任务执行过程中的错误次数。3.根据权利要求1所述的基于队列服务的PHP多进程数据处理系统，其特征在于：所述统计任务模块中能够根据用户设定的错误次数阈值，主动推送异常信息以及状态信息发送邮件给用户。4.根据权利要求1所述的基于队列服务的PHP多进程数据处理系统，其特征在于：所述生成任务模块中，多个任务生产脚本依据入队列时间逐个保存到消息队列中。5.根据权利要求1所述的基于队列服务的PHP多进程数据处理系统，其特征在于：所述消费任务模块中，单台服务器对应的消费服务器集群的部署瓶颈在于服务器配置。6.根据权利要求1所述的基于队列服务的PHP...

【专利技术属性】
技术研发人员：李佳博，
申请(专利权)人：上海欣兆阳信息科技有限公司，
类型：发明
国别省市：