云处理装置和方法制造方法及图纸

本发明专利技术提供了一种云处理装置和方法，其中，云处理装置，包括：Mina流程改造单元，用于对Mina本身流程进行改造；负载提高单元，用于基于对Mina本身流程的改造，通过业务流程的转换和业务属性的拆分，提高负载；Mina集群管理器，用于提供集群解决机制，进行集群维护。通过本发明专利技术的技术方案，可以在现有的云处理方式基础上，充分利用单对象类型完成多对象类型元数据的云处理，建立多对象类型元数据参与的云处理的通用、统一处理思路。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体地，涉及一种云处理装置和一种云处理方法。
技术介绍
企业软件服务端采用Mina框架进行构建原生业务处理服务，机制解决了对于资源（文件、视频、音频、图片）的传输管理，网络通讯集群处理总线的设计增强了基于Mina构建的支撑云体系的健壮性，同时也简化了开发，降低了运营成本。数据处理方面通过实时波频处理、动态流切换机制和连接集线分析三项机制，提升了集群环境下业务处理的并发高效性。本模型使用Mina作为Java网络通讯框架极大简化了通过网络构造应用的难度，机制主要面向支撑型云计算平台领域，解决了资源处理和数据处理结合的应用场景，通过设计Mina集群总线和服务器心跳处理总线保障了集群环境下业务处理的高效性和稳定性。单台Mina服务通过机制改造减少了数据转换、传输、申请与销毁的资源消耗开销，同时增加了实时波频状态处理模块解决了在云计算环境下业务访问分布不均匀和资源使用不均匀的情况。目前行业和领域内尚未出现一种基于Java高效处理网络通讯的运营支撑云处理机制，主流处理方式倾向于C/C++的开源实现，或是通过GoLang、Erlang等并发模型进行实现，开发成本较高，在业务处理健壮性也没有一套统一机制，同时上述方案还存在以下具体缺陷：（1）Mina框架中对于StreamIoHandler多线程传输资源场景下，效率低，支持客户端连接数少，稳定性差（官方不推荐使用StreamIoHandler）。（2）Mina并发环境下资源传输无法实现零拷贝模式，需要自己修改底层实现，目前没有统一实现标准。（3）客户端请求资源和业务处理速度的快慢，服务端无法实时感知，绝大多数支撑平台缺少波频处理模块，当慢连接出现时，往往造成系统宕机或假死情况发生。（4）缺乏对字节流、字符流的统一管理机制，Mina自身不提供数据压缩与解压机制实现，同时缺乏通讯数据串行化处理。（5）缺乏一套统一有效的面向支撑云体系集群通讯与服务总线，企业内实现总线需要采用ESB做服务总线，性能损耗严重，缺少心跳处理总线。（6）开发成本高，高效云支撑服务一般通过C/C++开源实现，很难与企业Java体系架构应用和平台做集成，同时开发效率低。（7）缺乏对资源处理转换、传输、申请与销毁的控制，尚未形成一套统一机制和模型。（8）缺乏基于Mina构建的连接分析处理机制，无法动态处理单机粒度连接压力和资源损耗。（9）Mina作为网络通讯框架构建的服务无法将业务数据中公共数据进行提炼，例如连接元数据容器。（10）以Mina实现的支撑云缺少操作流程组装、操作流程溯源分析，如希望高效实现分析过程，在网络通讯场景复杂度高，尚没有成功方案。（11）Mina在业务处理与资源处理混合处理的场景下，单机处理事务能力较差，平均只在1400/s上下（标准DELL R410 4核 16G内存环境下）。（12）Mina在处理网络请求时需实现动态负载均衡算法，目前主流负载均衡中间件无法满足，需要结合流控数据和资源消耗做出判定。现状：目前行业内没有一套成熟使用Mina框架作为网络通讯框架应用在支撑运营云的处理机制。存在的方案大部分采用C/C++或一些函数式面向并发的脚本语言进行开发，无法实现兼容大部分企业级网络通讯类型的技术需求。通过Mina进行构建的网络平台存在严重的机制问题，包括对于资源、并发、数据的控制，同时也缺少通讯的服务总线。因此，需要一种新的云处理技术，可以在现有的云处理方式基础上，充分利用单对象类型完成多对象类型元数据的云处理，建立多对象类型元数据参与的云处理的通用、统一处理思路。
技术实现思路
本专利技术正是基于上述问题，提出了一种新的云处理技术，可以在现有的云处理方式基础上，充分利用单对象类型完成多对象类型元数据的云处理，建立多对象类型元数据参与的云处理的通用、统一处理思路。有鉴于此，本专利技术提出了一种云处理装置，包括：Mina流程改造单元，用于对Mina本身流程进行改造；负载提高单元，用于基于对Mina本身流程的改造，通过业务流程的转换和业务属性的拆分，提高负载；Mina集群管理器，用于提供集群解决机制，进行集群维护。在该技术方案中，可以通过对Mina本身机制的改造和整体Mina集群环境下的通讯处理，有效解决对于资源数据处理、流控波频处理、高负载高并发环境下的访问处理等复杂逻辑问题。在上述技术方案中，优选地，所述Mina流程改造单元，具体包括：Mina数据流程改进模块，用于基于维护的集群，获取客户端连接句柄，传递到客户端；客户端连接注册器，将客户端连接句柄分发给主线程，由主线程获取业务数据；将业务数据传输到数据托管服务层，进行数据分类和数据管理，完成字节流处理；Mina业务流改进模块，用于基于处理后的字节流，通过字节流初始化处理，通过Mina的业务处理机制进行封装。在该技术方案中，可以描述系统从监听客户端请求到加载与处理数据的整体流程；同时标识出处理不同类型客户端请求的处理方式，对于字节流和字符流提供了不同机制进行处理。在上述技术方案中，优选地，所述负载提高单元，具体包括：智能波频调度模块，用于实时记录客户端流量，定时回写一次客户端描述元数据信息，根据波频调度策略实时改变客户端句柄处理的优先级；波频淘汰策略处理模块，用于调度波频淘汰策略，对负载状态及压力进行控制；Mina本地资源分析处理模块，用于对本地资源进行监控，定时将当前服务器资源情况汇总到集群服务中做校正；根据Mina服务本地汇总的数据进行合并分析，对服务器中连接句柄进行调度分类。在该技术方案中，可以描述Mina内部对于压力和流控的处理方式，主要集中在波频调度引擎和本地监控分析引擎、同时也描述了与集群管理之间的关系。在上述技术方案中，优选地，所述Mina数据流程改进模块由主线程获取业务数据的操作，进一步包括：管理客户端信息，并提供客户端对象容器、同时仅只有主线程可以访问数据库，当需要客户端需要访问数据库时，主线程负责推送处理好的数据给客户端句柄；和/或，所述Mina数据流程改进模块进行数据分类和数据管理的操作，进一步包括：根据数据类型判定数据传输方式，将资源类数据传输剥离出Mina处理框架，通过资源传输流处理引擎处理，通过Mina框架剥离器汇总到数据托管服务层，形成循环操作；业务类数据通过Mina自身的业务封装进行处理，对封装进行局部改进；所述数据类型，包括资源类和业务类；和/或，所述Mina业务流改进模块通过字节流初始化处理的操作，进一步包括：在自接力处理引擎中完成翻译，划分出业务实例，将业务实例传输到Preworker线程池内进行处理，线程池内所有子线程都均兼容前摄器处理机制、反应堆处理机制、阻塞器处理机制；和/或，所述智能波频调度模块根据波频调度策略实时改变客户端句柄处理的优先级的操作，进一步包括：当出现低于本服务处理阀值的句柄时，强行将句柄虫数据托管服务层中剥离，并传递给集群中慢连接传输接口，由集群根据句柄属性进行句柄再传递；和/或，所述Mina本地资源分析处理模块监控的本地资源本文档来自技高网...

【技术保护点】
一种云处理装置，其特征在于，包括：Mina流程改造单元，用于对Mina本身流程进行改造；负载提高单元，用于基于对Mina本身流程的改造，通过业务流程的转换和业务属性的拆分，提高负载；Mina集群管理器，用于提供集群解决机制，进行集群维护。

【技术特征摘要】
1.一种云处理装置，其特征在于，包括：
Mina流程改造单元，用于对Mina本身流程进行改造；
负载提高单元，用于基于对Mina本身流程的改造，通过业务流程的转换和业务属性的拆分，提高负载；
Mina集群管理器，用于提供集群解决机制，进行集群维护。
2.根据权利要求1所述的云处理装置，其特征在于，所述Mina流程改造单元，具体包括：
Mina数据流程改进模块，用于基于维护的集群，获取客户端连接句柄，传递到客户端；客户端连接注册器，将客户端连接句柄分发给主线程，由主线程获取业务数据；将业务数据传输到数据托管服务层，进行数据分类和数据管理，完成字节流处理；
Mina业务流改进模块，用于基于处理后的字节流，通过字节流初始化处理，通过Mina的业务处理机制进行封装。
3.根据权利要求1或2所述的云处理装置，其特征在于，所述负载提高单元，具体包括：
智能波频调度模块，用于实时记录客户端流量，定时回写一次客户端描述元数据信息，根据波频调度策略实时改变客户端句柄处理的优先级；
波频淘汰策略处理模块，用于调度波频淘汰策略，对负载状态及压力进行控制；
Mina本地资源分析处理模块，用于对本地资源进行监控，定时将当前服务器资源情况汇总到集群服务中做校正；根据Mina服务本地汇总的数据进行合并分析，对服务器中连接句柄进行调度分类。
4.根据权利要求3所述的云处理装置，其特征在于，所述Mina数据流程改进模块由主线程获取业务数据的操作，进一步包括：
管理客户端信息，并提供客户端对象容器、同时仅只有主线程可以访问数据库，当需要客户端需要访问数据库时，主线程负责推送处理好的数据给客户端句柄；
和/或，
所述Mina数据流程改进模块进行数据分类和数据管理的操作，进一步包括：
根据数据类型判定数据传输方式，将资源类数据传输剥离出Mina处理框架，通过资源传输流处理引擎处理，通过Mina框架剥离器汇总到数据托管服务层，形成循环操作；业务类数据通过Mina自身的业务封装进行处理，对封装进行局部改进；所述数据类型，包括资源类和业务类；
和/或，
所述Mina业务流改进模块通过字节流初始化处理的操作，进一步包括：
在自接力处理引擎中完成翻译，划分出业务实例，将业务实例传输到Preworker线程池内进行处理，线程池内所有子线程都均兼容前摄器处理机制、反应堆处理机制、阻塞器处理机制；
和/或，
所述智能波频调度模块根据波频调度策略实时改变客户端句柄处理的优先级的操作，进一步包括：
当出现低于本服务处理阀值的句柄时，强行将句柄虫数据托管服务层中剥离，并传递给集群中慢连接传输接口，由集群根据句柄属性进行句柄再传递；
和/或，
所述Mina本地资源分析处理模块监控的本地资源，包括CPU、内存和网络。
5.根据权利要求1或2所述的云处理装置，其特征在于，所述Mina集群管理器，具体包括：
慢连接处理引擎提供模块，用于负责接收Mina服务器提交的不符合当前服务器处理诉求的客户端连接句柄，在集群中维护一张句柄容器表，通过探测初始化句柄的地域特性，将句柄传递给负责处理条件的Mina服务器中；
集群处理服务总线提供模块，用于与Mina服务中的通知引擎交互，收集和判定当前MINA服务的处理能力，进行系统评级，处理能力强的服务器优先选择快速句柄进行连接；动态调整服务器的评级，在集群内设置一定的步长进行信息的维护；
集群心跳处理总线提供模块，用于当Mina服务器触发公共业务时，通过集群业务员计算方式处理统一业务；
集群负载处理...

【专利技术属性】
技术研发人员：马太航，
申请(专利权)人：用友软件股份有限公司，
类型：发明
国别省市：北京;11