一种自然语言处理系统化服务平台技术方案

本发明专利技术公开了一种自然语言处理系统化服务平台，包括稳定的流式处理系统、非稳定的机器集群系统和分布式多副本下载系统；C-API接口、Python接口和http服务端接口；多语言服务框架和分布式远程调用服务器；所述流式处理系统采用消息队列的设计方式，消息队列分为队头和队尾两个组件，算子从队尾组件中接收数据进行并行并消费，实现数据的传递。本发明专利技术利用了计算机多核并行计算的优势，充分均衡的利用高性能计算机的计算资源，构架出高效高可靠性的自然语言平台，本发明专利技术的HTTP接口、C++语言和python的接口，提供方便在接口方面的调用，支持多平台的调用，具有很好的工程应用价值。

【技术实现步骤摘要】

本专利技术涉及语言处理
，特别是涉及一种自然语言处理系统化服务平台。
技术介绍
非实时计算几乎都基于MapReduce计算框架，但MapReduce并不是万能的。对于搜索应用环境中的某些现实问题，MapReduce并不能很好地解决。特别是Twitter推出的storm在取得巨大成功之后，各大互联网公司，尤其是基于数据挖掘，搜索引擎开发的互联网公司都争先进入这一领域，各个公司都推出自己的流式计算系统，其中著名的公司有Google，Twitter, Facebook 等公司。稳定的流式处理系统流式计算平台，面向大数据实时处理领域、实现拓扑式的流式计算模型，率先支持dprc等高级应用，并预期支持迭代式计算。系统采用RP自主研发的分布式消息队列spinal系统，实现数据的分布式拥塞控制与数据传输，以用户需求为核心，支持多语言调用，多实例并发，并作为独立的计算单元，满足多模式的运维层系统调度。从系统资源利用率的角度出发，其在满足系统运行的前提下，提升资源利用率，降低系统成本。对于海量数据运算，可完美结合公司非稳定的集群系统，实现量级部署与调度。该系统大胆进行创新工作，与公司ni本文档来自技高网...

【技术保护点】
一种自然语言处理系统化服务平台，其特征在于，包括：接入平台后台的稳定的流式处理系统、非稳定的机器集群系统和分布式多副本下载系统；供用户访问的C‑API接口、Python接口和http服务端接口；多语言服务框架，用于在本地客户端提供统一的接口，将远程访问和本地访问切换；分布式远程调用服务器，用于逻辑服务并通过异步回调将结果返回给客户端；所述流式处理系统采用消息队列的设计方式，所述消息队列分为队头和队尾两个组件，所述队头组件为数据的接受端，所述队尾组件为数据的发送端，算子从队尾组件中接收数据进行并行并消费，实现数据的传递。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴含前，刘桐仁，姚莉，李露，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32