松散环境下分布式大数据计算的中间件体系框架制造技术

本发明专利技术涉及的是一个对应于PAAS&IASS可适用于云大数据计算应用的松散环境下分布式大数据计算中间件体系框架（以下简称Rhizome），包括代理模块，功能模块和功能管理模块三个构架主体。本发明专利技术的优点：1）解决了常用云分布式计算框架支持大数据计算应用时无法处理复杂通信机制及效率低下的问题；同时可采用MoC，如数据流模式在云计算框架中显式体现和拓展应用的并行模式；2）采用的两层代理模式在云操作系统环境中支持可靠及可量化的客户端+云的软件开发；实验性的评估展示了在Rhizome的帮助下Hadoop云视频计算应用取得了优异的表现，并且提供了实质上更好的编程简易性、硬件加速单元对接便易性和系统稳健性。

【技术实现步骤摘要】
松散环境下分布式大数据计算的中间件体系框架
本专利技术涉及的是一种松散环境下分布式大数据计算的中间件体系框架，对应于云计算中PAAS&IASS层，用来构建专门的高效大数据计算应用（如云计算环境下视频处理应用），亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中。
技术介绍
开源的云基础软件如Nimbus和Eucalyptus,允许组织团体建立自己的云系统来促进计算设备资源的利用，我们可以设想对需要进行集中大数据运算如智能监控的用户而言计算能力的获取已经不再是障碍。然而，要进行这样的计算必须满足两个主要的先决条件：(i)编程模式的简易性，能更好的支持服务质量如容错性和监控型，(ii)要有适当的并行模式来实行高效机制。云技术（特别是其中的分布式大数据计算框架）如Hadoop,Dryad,和HPCC应用到大数据计算应用（如视频处理中视频摘要提取），经验表明尽管大多数所谓的并行应用程序可以借助云技术但需要面对复杂通信模式和高强度计算性能的要求，而当前框架设计即使用上MPI仍然无法满足运行效率要求。
技术实现思路
本专利技术提出的是一种松散环境下分布式大数据计算的中间件体系框架，其目的旨在采取一种代理加功能管理器加功能实体的方案，通过共享内存管道及可加速的本地实现解决现有框架的运行效率问题，同时通过代理加功能管理器方式维护并提高了现有框架在任务调度，状态监控等方面的一致性和有效性。其中各种不同模块的接口被类似MPI的技术很好的定义。这些接口允许各种不同的模块可以在相关环境下协同使用，如代理模块就可以用任何一种语言编写例如java/C#/ECL，提高了中间件体系框架的适用性，如可嵌入现有云分布式计算框架或异构MPSoC及多电路板计算机体系软件运行环境中。本专利技术的技术解决方案：松散环境下分布式大数据计算中间件体系框架，对应于PAAS&IASS层，适用于云大数据计算应用，亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中，其特征是包括代理模块，功能模块和功能管理模块，以视频分析为例各模块的操作步骤如下：步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务（功能模块），功能管理模块同时分配共享内存通道作为数据源及格式转换任务（功能模块）输出，相关信息（含共享内存接口信息反映在代理模块中）；步骤二：通过算法代理模块，连接算法功能管理模块，启动算法分析任务（功能模块），功能管理模块同时分配共享内存通道作算法分析任务（功能模块）输入，相关信息（含共享内存接口信息反映在代理模块中）；步骤三：待处理云数据在信号的帮助下在共享内存的通道内高速传输，同时算法分析任务等功能模块以本地操作系统实现或硬件加速单元等方式高速执行，并上传/存储相应分析结果；步骤四：各功能模块的任务完成进度及任务状态将频繁的报给特定的功能管理模块，并等待代理模块请求时（现有云框架的任务调度，状态监控需求），由功能管理模块提交给代理模块；步骤五：任务完成后，通过代理模块，提交请求给对应功能管理模块，关闭视频解码任务和算法分析任务（功能模块）。本专利技术的优点：解决了常用云分布式计算框架（Hadoop、Drayd、HPCC)等无法高效解决视频分析等大数据计算应用的复杂通信机制及效率低下的问题。同时可采用MoC（计算模式），如数据流模式（DataFlow）在云计算框架中显式体现和拓展应用的并行模式。该中间件体系框架采用的代理加功能管理器加功能实体模式在云操作系统环境中支持运行更加稳健和开发更加敏捷的客户端+云的软件开发。实验性的评估展示了在其帮助下Hadoop云视频计算应用取得了优异的表现，并且提供了实质上更好的编程简易性和系统稳健性。附图说明附图1是Rhizome构架及云系统框架部署运行示意图。附图2是Rhizome构架及云系统框架接口操作示例时序图。具体实施方式对照附图1，其结构包括代理模块，功能模块和功能管理模块，各模块的操作步骤如下：步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务（功能模块），功能管理模块同时分配共享内存通道作为数据源及格式转换任务（功能模块）输出，相关信息（含共享内存接口信息反映在代理模块中）；步骤二：通过算法代理模块，连接算法功能管理模块，启动算法分析任务（功能模块），功能管理模块同时分配共享内存通道作算法分析任务（功能模块）输入，相关信息（含共享内存接口信息反映在代理模块中）；步骤三：待处理云数据在信号的帮助下在共享内存的通道内高速传输，同时算法分析任务等功能模块以本地操作系统实现或硬件加速单元等方式高速执行，并上传/存储相应分析结果；步骤四：各功能模块的任务完成进度及任务状态将频繁的报给特定的功能管理模块，并等待代理模块请求时（现有云框架的任务调度，状态监控需求），由功能管理模块提交给代理模块；步骤五：任务完成后，通过代理模块，提交请求给对应功能管理模块，关闭视频解码任务和算法分析任务（功能模块）。所述的功能模块，其结构包括类似于MPI的标准通讯信令接口（含构造参数传递指令、状态上传指令、管理模块注册指令等），标准用于大数据传递的共享内存接口（含数据格式描述、数据有效性标识、数据所有者标识等），标准功能（如分析、解码等）执行模块（可为接口层加上实际硬件加速单元）。所述功能管理模块，其结构包括类似于MPI的标准通讯信令接口，该接口包括对代理请求接口、对功能请求接口；代理管理模块含代理和对应功能的组合的管理；功能管理模块含功能生命周期和状态的管理。所述代理模块，是包含在云分布式计算环境中的任务中，作为实际执行功能模块的代表并包含配置和状态信息，这些代理可以用任何一种语言编写例如java/C#/ECL，嵌入现有云分布式计算框架或异构MPSoC及多电路板计算机体系软件运行环境中。图1中云系统包含分布式任务运行环境（任务调度系统，例如MapReduce），其中任务中示例代理模块有（算法1，算法2，视频源1），云系统基础构架为支持分布式任务运行的基本环境及其组件，其中示例功能管理模块（算法功能管理，视频源功能管理）和其中示例功能模块（算法1工作实体，算法2工作实体，视频源获取工作实体）位于系统虚拟机中或本地操作系统层，内存共享管理为本地操作系统提供给云运行基本环境和Rhizome运行服务。所述的代理在任务中作为功能模块的代表并包含配置和状态信息，这些信息可以用任何一种语言编写例如java/C#/ECL。作为一个代表，代理会在任务被提交并安排好时创建，并且在任务逻辑功能申明的数据流中与对应的功能节点一致。输入和输出通道的信息在它们被任务链接在一起时会被传送。有了类似MPI的接口，每个代理关联一个特定功能管理进程，比如视频抓取，动态检测甚至矩阵乘法。某个特定功能的管理进程在VM或在本地操作系统内作为守护进程。它们管理并监控功能模块的生命周期并且当硬件或软件运行失败时允许云服务主动作出反应去重启该功能模块。每个功能模块的状态（如完成进度，活的\死的）会由类似MPI的消息定期向管理模块更新，并当请求时报告给代理以实现负载平衡的目的。特定类型的功能模块在VM或在本地操作系统内作为独立的进程运行。每个功能模块在共享内存中有各自的输入输出通道，大量的待处理云本文档来自技高网...

【技术保护点】
松散环境下分布式大数据计算中间件体系框架，对应于PAAS&IASS层，适用于云大数据计算应用，亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中，其特征是包括代理模块，功能模块和功能管理模块，以视频分析处理为例各模块的操作步骤如下：步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务功能模块，功能管理模块同时分配共享内存通道作为数据源及格式转换任务功能模块输出，相关信息，包括共享内存接口信息，反映在代理模块中；步骤二：通过算法代理模块，?连接算法功能管理模块，启动算法分析任务功能模块，功能管理模块同时分配共享内存通道作算法分析任务功能模块输入，相关信息，包括共享内存接口信息，反映在代理模块中；步骤三：待处理云数据在信号的帮助下在共享内存的通道内高速传输，同时算法分析任务等功能模块以本地操作系统实现或硬件加速单元方式高速执行，并上传/存储相应分析结果；步骤四：各功能模块的任务完成进度及任务状态将频繁的报给特定的功能管理模块，并等待代理模块请求时，应现有云框架的任务调度，状态监控需求时，由功能管理模块提交给代理模块；步骤五：任务完成后，通过代理模块，提交请求给对应功能管理模块，关闭视频解码任务和算法分析任务功能模块。...

【技术特征摘要】
1.松散环境下分布式大数据计算中间件系统，对应于PAAS&IASS层，适用于云大数据计算应用，亦可应用于异构MPSoC及多电路板计算机体系软件运行环境中，其特征是包括代理模块，功能模块和功能管理模块，视频分析处理各模块的操作步骤如下：步骤一：通过数据源代理模块，连接数据源及格式转换功能管理模块，启动数据源及格式转换任务功能模块，数据源及格式转换功能管理模块同时分配共享内存通道作为数据源及格式转换任务功能模块输出，共享内存接口信息反映在代理模块中；步骤二：通过算法代理模块，连接算法功能管理模块，启动算法分析任务功能模块，算法功能管理模块同时分配共享内存通道作为算法分析任务功能模块输入，共享内存接口信息反映在代理模块中；步骤三：待处理云数据在信号的帮助下在共享内存通道内高速传输，同时算法分析任务功能模块以本地操作系统实现或硬件加速单元方式高速执行，并上传和存储相应分析结果；步骤四：各功能模块的任务完成进度及任务状态将频繁的报给各功能模块对应的功能管理模块，并等待代理模块请求，应现有云框架的任务调度，状态监控需求时，由各功能模块对应的功能管理模块将各功能模块的任务完成进度及任务状态提交给代理模块；步骤五：...

【专利技术属性】
技术研发人员：朱方，孙建东，
申请(专利权)人：南京南自信息技术有限公司，
类型：发明
国别省市：