一种以PIPE为通信基础的数据挖掘分析平台制造技术

本发明专利技术公开了一种以PIPE为通信基础的数据挖掘分析平台，具体涉及计算机信息服务领域，包括主通道数据挖掘分析平台，所述主通道数据挖掘分析平台包括子通讯模块、子分析模块和主控平台模块；主通道数据挖掘分析平台通过读取配置文件，获取不同子分析模块的相关配置；子通讯模块用于具体业务流程计算分析，当启动子通讯模块后，子通讯模块将读取自有的配置文件信息；主通道数据挖掘分析平台通过读取配置后，启动主控平台模块。本发明专利技术通过提供一种以PIPE通讯基础，实现同一平台中不同数据挖掘模块之间相互通讯，从而降低耦合性，实现通讯进程间的信息交互，从而更轻松完成复杂的应用场景，提高数据挖掘平台性能。

A data mining and analysis platform based on pipe

【技术实现步骤摘要】
一种以PIPE为通信基础的数据挖掘分析平台
本专利技术涉及计算机信息服务
，更具体地说，本专利技术涉及一种以PIPE为通信基础的数据挖掘分析平台。
技术介绍
传统的数据挖掘分析平台通常是不同的数据统计分析模块寄宿在不同的计算机进程中，数据统计方式繁杂多样，数据分析各自完成。缺少互相交互信息的功能，因此在某些应用场景中存在高耦合性，同样也因此造成数据挖掘分析平台的工作负担。PIPE是一种以共享资源为基础，提供通信公共资源方式，不同的进程之间可以访问到同一份公共资源；因此进程之间要交换数据必须通过公共资源，在内核中开辟一块缓冲区，进程A把数据从用户空间写入到公共资源缓冲区，进程B再从公共资源缓冲区把数据读取走，然后进程再完成自己业务场景；因此，专利技术一种以PIPE为通信基础的数据挖掘分析平台很有必要。
技术实现思路
为了克服现有技术的上述缺陷，本专利技术的实施例提供一种以PIPE为通信基础的数据挖掘分析平台，通过读取平台已有配置文件表，主控平台模块调用PIPE函数方法，获取通讯管道的ID和描述，同时创建通道等待交互连接，子分析模块读取自有配置，获取已设置好的通道ID和描述，对主控平台模块的通道进行连接；在子分析模块数据单独进行业务数据分析时，将运行状态数据写入PIPE所创建的通道中，主控平台模块可以往管道里写，子分析模块可以从管道里读，管道是利用环形队列实现的，数据从写端流入从读端流出，这样就实现了主控平台模块与子分析模块之间的进程通信，实现同一平台中不同数据挖掘模块之间相互通讯，从而降低耦合性，实现通讯进程间的信息交互，从而更轻松完成复杂的应用场景，提高数据挖掘平台性能。为实现上述目的，本专利技术提供如下技术方案：一种以PIPE为通信基础的数据挖掘分析平台，包括主通道数据挖掘分析平台，所述主通道数据挖掘分析平台包括子通讯模块、子分析模块和主控平台模块；主通道数据挖掘分析平台通过读取配置文件，获取不同子分析模块的相关配置；子通讯模块用于具体业务流程计算分析，当启动子通讯模块后，子通讯模块将读取自有的配置文件信息；主通道数据挖掘分析平台通过读取配置后，启动主控平台模块，所述主控平台模块用于对子分析模块进行启动、停止、定时或者周期性启停操作；主数据挖掘分析平台运行后，通过进程创建PIPE通信管道，同时获取通道ID及通道描述指向通道两端；子分析模块在主数据挖掘分析平台运行后，自动被加载到主数据挖掘分析平台中，同时读取自有配置文件信息，获取主数据挖掘分析平台已经开放的PIPE通道信息、子分析模块运行中产生日志信息，即可通过进程将日志信息写入已开放的PIPE通讯管道中，主数据挖掘分析平台通过读取已有PIPE通信管道中的数据后，将信息用以处理业务流程。在一个优选地实施方式中，所述不同子分析模块的相关配置具体为通道ID、通道频率、子模块配置信息。在一个优选地实施方式中，所述PIPE通讯管道利用环形队列实现，数据从写端流入通道，从读端流出通道，以实现平台中不同进程间相互通信。本专利技术还提供了一种以PIPE为通信基础的数据挖掘分析方法，具体步骤如下：S1、当主数据挖掘分析平台启动后，读取平台已有配置文件表，主控平台模块调用PIPE函数方法，通过已读取的配置文件表，获取通讯管道的ID和描述，同时创建通道等待交互连接；S2、在主控平台模块加载完成后，子分析模块同样加载完毕，然后读取自有配置，获取已设置好的通道ID和描述，对主控平台模块的通道进行连接；在子分析模块数据单独进行业务数据分析时，将运行状态数据写入PIPE所创建的通道中；S3、主控平台模块可以往管道里写，子分析模块可以从管道里读，管道是利用环形队列实现的，数据从写端流入从读端流出，这样就实现了主控平台模块与子分析模块之间的进程通信。在一个优选地实施方式中，所述步骤S2中，主控平台模块开启fd[0]和fd[1]，子分析模块也开启fd[0]和fd[1]，即主控平台模块和子分析模块均打开管道读端和写端。在一个优选地实施方式中，所述步骤S3中，主控平台模块关闭fd[0]，子分析模块关闭fd[1]，即主控平台模块关闭管道读端，子分析模块关闭管道写端。本专利技术的技术效果和优点：1、本专利技术通过读取平台已有配置文件表，主控平台模块调用PIPE函数方法，通过已读取的配置文件表，获取通讯管道的ID和描述，同时创建通道等待交互连接，子分析模块读取自有配置，获取已设置好的通道ID和描述，对主控平台模块的通道进行连接；在子分析模块数据单独进行业务数据分析时，将运行状态数据写入PIPE所创建的通道中，主控平台模块可以往管道里写，子分析模块可以从管道里读，管道是利用环形队列实现的，数据从写端流入从读端流出，这样就实现了主控平台模块与子分析模块之间的进程通信；本专利技术的技术方案，不同的进程间实现不同的业务流程，且在特定需要时，可以将自己的信息，通过PIPE传输方式发送到其他进程中，从而整合了数据分析平台资源，提升数据分析能力，且对于复杂的业务场景变得更容易实现；2、本专利技术通过提供一种以PIPE通讯基础，实现同一平台中不同数据挖掘模块之间相互通讯，从而降低耦合性，实现通讯进程间的信息交互，从而更轻松完成复杂的应用场景，提高数据挖掘平台性能。附图说明图1为本专利技术的主通道数据挖掘分析平台结构框图。图2为本专利技术的父进程创建PIPE通信管道示意图。图3为本专利技术的父进程fork出子进程，同时子进程继承父进程的ID和描述的示意图。图4为本专利技术的父进程与子进程完成PIPE通信示意图。附图标记为：1主通道数据挖掘分析平台、101子通讯模块、102子分析模块、103主控平台模块。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。根据图1所示的一种以PIPE为通信基础的数据挖掘分析平台，包括主通道数据挖掘分析平台1，所述主通道数据挖掘分析平台1包括子通讯模块101、子分析模块102和主控平台模块103；主通道数据挖掘分析平台1通过读取配置文件，获取不同子分析模块102的相关配置，具体为通道ID、通道频率、子模块配置信息等；子通讯模块101用于具体业务流程计算分析，当启动子通讯模块101后，子通讯模块101将读取自有的配置文件信息；主通道数据挖掘分析平台1通过读取配置后，启动主控平台模块103，所述主控平台模块103用于对子分析模块102进行启动、停止、定时或者周期性启停操作；主数据挖掘分析平台运行后，通过进程创建PIPE通信管道，同时获取通道ID及通道描述指向通道两端；子分析模块102在主数据挖掘分析平台运行后，自动被加载到主数据挖掘分析平台中，同时读取自有配置文件信息，获本文档来自技高网...

【技术保护点】
1.一种以PIPE为通信基础的数据挖掘分析平台，其特征在于：包括主通道数据挖掘分析平台(1)，所述主通道数据挖掘分析平台(1)包括子通讯模块(101)、子分析模块(102)和主控平台模块(103)；/n主通道数据挖掘分析平台(1)通过读取配置文件，获取不同子分析模块(102)的相关配置；/n子通讯模块(101)用于具体业务流程计算分析，当启动子通讯模块(101)后，子通讯模块(101)将读取自有的配置文件信息；/n主通道数据挖掘分析平台(1)通过读取配置后，启动主控平台模块(103)，所述主控平台模块(103)用于对子分析模块(102)进行启动、停止、定时或者周期性启停操作；/n主数据挖掘分析平台运行后，通过进程创建PIPE通信管道，同时获取通道ID及通道描述指向通道两端；/n子分析模块(102)在主数据挖掘分析平台运行后，自动被加载到主数据挖掘分析平台中，同时读取自有配置文件信息，获取主数据挖掘分析平台已经开放的PIPE通道信息、子分析模块(102)运行中产生日志信息，即可通过进程将日志信息写入已开放的PIPE通讯管道中，主数据挖掘分析平台通过读取已有PIPE通信管道中的数据后，将信息用以处理业务流程。/n...

【技术特征摘要】
1.一种以PIPE为通信基础的数据挖掘分析平台，其特征在于：包括主通道数据挖掘分析平台(1)，所述主通道数据挖掘分析平台(1)包括子通讯模块(101)、子分析模块(102)和主控平台模块(103)；
主通道数据挖掘分析平台(1)通过读取配置文件，获取不同子分析模块(102)的相关配置；
子通讯模块(101)用于具体业务流程计算分析，当启动子通讯模块(101)后，子通讯模块(101)将读取自有的配置文件信息；
主通道数据挖掘分析平台(1)通过读取配置后，启动主控平台模块(103)，所述主控平台模块(103)用于对子分析模块(102)进行启动、停止、定时或者周期性启停操作；
主数据挖掘分析平台运行后，通过进程创建PIPE通信管道，同时获取通道ID及通道描述指向通道两端；
子分析模块(102)在主数据挖掘分析平台运行后，自动被加载到主数据挖掘分析平台中，同时读取自有配置文件信息，获取主数据挖掘分析平台已经开放的PIPE通道信息、子分析模块(102)运行中产生日志信息，即可通过进程将日志信息写入已开放的PIPE通讯管道中，主数据挖掘分析平台通过读取已有PIPE通信管道中的数据后，将信息用以处理业务流程。


2.根据权利要求1所述的一种以PIPE为通信基础的数据挖掘分析平台，其特征在于：所述不同子分析模块(102)的相关配置具体为通道ID、通道频率、子模块配置信息。


3.根据权利要求1所述的一种以PIPE为通信基础的数据挖掘分析平台，其特征在于：所述PIPE通讯管道利用环形队列实现，数据从写端流入通道，从读端流...

【专利技术属性】
技术研发人员：时春，佘秋野，王志华，王凤雷，
申请(专利权)人：江苏未来智慧信息科技有限公司，
类型：发明
国别省市：江苏;32