一种多节点任务异步协同处理方法技术

本发明专利技术涉及一种多节点任务异步协同处理方法，包括：多任务拆分并发处理；多线程并行处理；异步控制管理机制；针对私有云平台集群服务的特点，建立代码分析任务拆分、多节点并行处理、异步控制管理机制，形成多节点的任务协同处理能力，通过本发明专利技术，能够加快实现代码组成分析过程，使集群结构更加清晰，更容易理解。

An asynchronous cooperative processing method for multi node tasks

【技术实现步骤摘要】
一种多节点任务异步协同处理方法
本专利技术涉及信息安全领域，尤其涉及一种多节点任务异步协同处理方法。
技术介绍
随着信息化的发展，软件的复杂程度也逐渐增加，代码审计时需要进行组成分析的软件代码数据量十分庞大。为保证匹配识别准确度，存储的开源代码、第三方动态库、安全漏洞数据等知识需要全覆盖，用于识别匹配的知识库数据量达到6TBit以上。一般的个人电脑计算速度较慢，常规服务器无法提供大规模并行计算能力，一般的硬盘也难以满足多节点同时吞吐数据的要求，为了保证软件代码组成分析系统代码搜索匹配效率，项目采用具备服务器集群横向扩展能力的私有云计算平台。通过增加计算机或虚拟机来近乎线性地提高代码分析计算能力和海量代码数据存储能力，实现多节点的高并发处理，使代码搜索匹配效率随节点线性增加。现阶段本领域的软件已有的成果是美国Blackduck(黑鸭软件)，但并没有公开核心技术预处理过程与匹配方式。Blackduck是一款成熟软件，来自美国，这套软件在美国律师事务所、知识产权局、企业审计部门、软件承包商等单位广泛应用，并应用到其他国家的大型软件公司本文档来自技高网...

【技术保护点】
1.一种项目多节点任务异步协同处理方法，其特征在于，所述方法包括：/n采用多进程的模型对多代码分析处理任务进行拆分处理；/n通过基于I/O多路复用的模型处理多任务的请求；/n由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信；/n采用多线程的方式来并行计算代码分析摘要信息和传输数据；/n采用线程池(ThreadPool)的模式来执行任务；/n项目采用的异步控制机制采用基于epoll调用的单线程异步事件触发机制来实现各类IO的高效并发。/n

【技术特征摘要】
1.一种项目多节点任务异步协同处理方法，其特征在于，所述方法包括：
采用多进程的模型对多代码分析处理任务进行拆分处理；
通过基于I/O多路复用的模型处理多任务的请求；
由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信；
采用多线程的方式来并行计算代码分析摘要信息和传输数据；
采用线程池(ThreadPool)的模式来执行任务；
项目采用的异步控制机制采用基于epoll调用的单线程异步事件触发机制来实现各类IO的高效并发。


2.如权利要求1所述的项目多节点任务异步协同处理方法，其特征在于：
使用Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信包括：
主进程初始化，创建命令管道fifo，创建Heartbeat子进程，主进程关闭管道写端，子进程关闭管道写端。调用epoll_create()函数创建epoll文件句柄epollfd。创建socket，绑定端口500...

【专利技术属性】
技术研发人员：闫卫杰，张怀珠，余徐勇，
申请(专利权)人：北京关键科技股份有限公司，
类型：发明
国别省市：北京;11