一种自然语言处理的集成平台及方法技术

本发明专利技术涉及一种自然语言处理的集成平台及方法，集成平台包括：数据层、核心能力层、应用层；所述核心能力层包括基础算法层、算法层、接口层、服务层；数据层用于将非结构化数据以及结构化数据进行数据处理，处理为适用于不同接口的数据，核心能力层通过模型训练实现不同算法，在服务层生成各自独立的目标组件，用户在应用层根据自身需求选择相应目标组件完成业务。通过本发明专利技术，集成了一整套自底向上的丰富、高效的中文自然语言处理模块，实现了快速训练、快速部署，简化了用户使用难度，对处理算法所需的模型、数据进行管理，构建实现的统一标准，便于后续模型接口的增添，实现接口的可插拔需求。

【技术实现步骤摘要】
一种自然语言处理的集成平台及方法
本专利技术涉及人工智能和语言学领域，尤其涉及一种自然语言处理的集成平台及方法。
技术介绍
自然语言处理系统是人工智能和语言学领域的分支学科，用于研究如何让计算机处理及运用自然语言。实现人机之间自然语言通信，意味着要使计算机理解自然语言，生成自然语言，即既能理解自然语言文本的意义，也能以自然语言文本来表达既定的意图、思想等。无论实现自然语言理解，还是自然语言生成，其任务实现都是十分复杂且困难的，从现有的理论和技术现状看，构建一个通用的、高质量的自然语言处理平台，仍然是长期努力的目标。目前针对相关技术中，存在以下瓶颈，尚未提出有效解决方案，1、现有技术中提供的自然语言处理算法应用，多数是针对某种特定的自然语言处理任务进行开发的，应用开发后的算法工具包的功能具有局限性。2、接口不统一，用户使用难度较大。3、用户想要对工具包进行扩展时，需要编写大量代码，实现困难，导致自然语言处理方法具有较大的使用局限性，适用性差。本专利技术集成了一整要自底向上的丰富、高效的中文自然语言处理模块，本文档来自技高网...

【技术保护点】
1.一种自然语言处理方法的集成平台,其特征在于，包括：/n数据层，将非结构化数据以及结构化数据进行处理，处理为适用于不同接口的数据；/n核心能力层，用于生成不同各自独立的目标组件；/n应用层，用于供客户根据自身需求选择相应目标组件。/n

【技术特征摘要】
1.一种自然语言处理方法的集成平台,其特征在于，包括：
数据层，将非结构化数据以及结构化数据进行处理，处理为适用于不同接口的数据；
核心能力层，用于生成不同各自独立的目标组件；
应用层，用于供客户根据自身需求选择相应目标组件。


2.根据权利要求1所述的一种自然语言处理方法集成平台，其特征在于，所述核心能力层包括：
基础算法层，使用开源库进行底层算法的开发，学习数据特征，进行基础的文本分析；
算法层，在所述基础算法层的进行基础文本分析的基础上进行复杂的文本分析；
接口层，对外提供公共访问方式，将算法模型进行统一封装成接口的形式以供前端进行调用；
服务层，对算法模块接口进行统一管理，将自然语言处理相关的各算法统一封装，生成各自独立的目标组件。


3.根据权利要求2所述的一种自然语言处理方法集成平台，其特征在于，所述算法层包括：在所述基础算法层的基础上实现高级算法文本任务模块。


4.根据权利要求3所述的一种自然语言处理方法集成平台，其特征在于，所述基础算法层包括进行基础文本分析技术的基础算法模块，使用开源库进行底层算法的开发。


5.根据权利要求2所述的一种自然语言处理方法集成平台，其特征在于，所述接口层提供分词接口、Word2Vec接口、TF-IDF接口、关键词提取接口、命名实体识别接口、依存句法分析接口、自动摘要接口、情感分析接口、文本分类接口、文本聚类接口这10个算法模块接口；
所述接口层对外提供公共访问方式，将算法模型进行统一封装成接口的形式以供前端进行调用，前端通过调用接口来达到使用后端算法的效果。


6.根据权利要求5所述的一种自然语言处理方法集成平台，其特征在于，所述接口层使用flask服务实现http接口。


7.根据权利要求2所述的一种自然语言处理方法集成平台，其特征在于，所述服务层包括模型管理模块、语料管理模块、词典管理模...

【专利技术属性】
技术研发人员：祝彦森，王硕，徐凯波，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：上海;31