一种支持多模态输入的自然语言处理系统及其方法技术方案

本发明专利技术涉及自然语言技术领域，具体地说，涉及一种支持多模态输入的自然语言处理系统及其方法。其包括数据输入单元、特征提取单元、处理单元、综合处理单元，数据输入单元接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行预处理操作，将预处理操作后的初步的数据传入特征提取单元中，使特征提取单元进行审核，识别出不同类型的数据。本发明专利技术对不同类型的数据进行提取文本、图像、语音数据，可以把得到的图像、语音数据运用图像识别技术和语音识别技术都转化为文本形式数据，再运用信息熵算法对图像数据和语音数据转化为文本数据进行拆分，词性标注和命名实体标注，再将处理后的数据进行整合分析得出新的文本数据。文本数据。文本数据。

【技术实现步骤摘要】
一种支持多模态输入的自然语言处理系统及其方法


[0001]本专利技术涉及自然语言处理
，具体地说，涉及一种支持多模态输入的自然语言处理系统及其方法。

技术介绍

[0002]自然语言是指人类平时使用的口头交流语言或书面语言，人类的自然语言包含了丰富的语言结构、语法规则和语义知识，可用于表达各种不同的意图，人类可以使用自然语言进行沟通和交流，而计算机则需要学习和理解自然语言才能够理解和利用人类的语言，自然语言处理是一个涉及计算机科学、人工智能和语言学等多个领域的交叉领域，主要研究如何使用计算机处理和分析自然语言，自然语言处理是一项非常重要的技术，可以为人们提供丰富的自然语言交流和信息处理体验，同时也为各个行业和领域带来了很多的机会和挑战。
[0003]从上述描述可以看出，目前的自然语言处理系统主要针对文本数据进行处理，对于多模态输入数据的处理能力较弱，用户往往不能同时使用多种输入模态，如文字描述、图片和语音的数据同时进行，适应实际应用场景的局限性，不能对多模态的信息进行融合和整合，因此我们提出了一种支持多模态输入的自然语言处理系统及其方法。

技术实现思路

[0004]本专利技术的目的在于提供一种支持多模态输入的自然语言处理系统的方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术目的之一在于，提供了一种支持多模态输入的自然语言处理系统，包括数据输入单元、特征提取单元、处理单元、综合处理单元；数据输入单元接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行预处理操作；特征提取单元对预处理后的初步的数据进行审核，识别出不同类型的数据，并对不同类型的数据进行数据提取，将提取出的数据传到处理单元中；处理单元接收特征提取单元提取出的数据并进行图像识别处理、语音识别处理和文本识别处理，将处理后的数据转化为文本数据，并对文本数据进行处理；综合处理单元接收处理后的文本数据进行整合和分析；数据输入单元接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行预处理操作，将预处理操作后的初步的数据传入特征提取单元中，使特征提取单元对接收的数据进行审核，识别出不同类型的数据，并对不同类型的数据进行数据提取，将提取出的数据传到处理单元中，当处理单元接收到提取出的数据时，直接进行图像数据识别处理、语音数据识别处理和文本数据识别处理，将处理后的数据转化为文本数据，并对文本数据进行处理，最后利用综合处理单元将接收处理后的文本数据进行整合和分析，得出新的文本数据。
[0006]作为本技术方案的进一步改进，数据输入单元包括数据接收模块和数据预处理模块，数据接收模块用于接收多模态的输入数据，将接收的数据定义成初步的数据，数据预处理模块用于接收初步的数据，并对初步的数据进行预处理操作。
[0007]作为本技术方案的进一步改进，预处理操作步骤包括清洗步骤、去重步骤和统一数据格式步骤，清洗步骤运用异常值处理算法去除初步的数据中语音数据的噪声，去重步骤用于移除重复的数据，统一数据格式步骤用于把文本数据、图像数据和语音数据转化为统一的数据格式，并在格式转化后将数据存储在数据库中。
[0008]作为本技术方案的进一步改进，特征提取单元包括执行特征模块和识别提取模块，执行特征模块用于提取数据库中统一数据格式的数据，并对提取的数据进行审核，确定是否出现乱码现象，识别提取模块用于接收执行特征模块审核后的数据，识别出不同类型的数据，并从不同类型的数据中提取出文本数据、图像数据和语音数据。
[0009]作为本技术方案的进一步改进，处理单元包括文本处理单元、图像处理单元和语音处理单元，文本处理单元用于接收特征提取单元提取出的文本数据，并对接收的文本数据进行处理，图像处理单元用于接收特征提取单元提取出的图像数据，并对图像数据进行物体场景的图像识别和目标检测处理，语音处理单元用于接收特征提取单元提取出的语音数据，并对语音数据进行处理，文本处理单元、图像处理单元和语音处理单元用于接收特征提取单元提取出的文本数据、图像数据和语音数据，图像处理单元将图像数据进行图像数据识别处理，语音处理单元对语音数据进行语音数据识别处理，图像处理单元和语音处理单元将处理的数据转化为文本数据，转化后的文本数据传入本处理单元中进行处理。
[0010]作为本技术方案的进一步改进，文本处理单元包括分词模块和词性标注模块，分词模块用于接收识别提取模块提取出的文本数据，并对文本数据进行拆分，将文本数据中的连续字段拆分成有序字段，词性标注模块用于接收分词模块拆分后的文本数据，并对拆分后的文本数据进行词性标注和命名实体标注。
[0011]作为本技术方案的进一步改进，图像处理单元包括图像识别模块和目标检测模块，图像识别模块用于接收识别提取模块提取出的图像数据，使用Haar
‑
like矩形特征算法识别图像数据中的图像，获取图像中的物体或场景，目标检测模块用于接收图像识别模块识别出图像中的物体或场景，并使用目标检测技术对图像中的物体和场景进行目标检测，利用信息熵算法将图像转化为文本数据，再将文本数据传入分词模块中。
[0012]作为本技术方案的进一步改进，语音处理单元包括语音识别模块，语音识别模块用于接收识别提取模块提取出的语音数据，并使用语音识别技术将接收的语音数据转化为文本数据，再将文本数据传入分词模块中。
[0013]作为本技术方案的进一步改进，综合处理单元包括信息融合模块和联合分析模块，信息融合模块用于接收词性标注模块处理后的文本数据，并对处理后的文本数据进行整理，得出新的文本数据，联合分析模块用于接收括信息融合模块新的文本数据进行分析，当分析出含有问题，并向数据接收模块进行反馈。
[0014]本专利技术目的之二在于，提供了一种操作上述所述的支持多模态输入的自然语言处理系统及其方法，包括如下方法步骤：S1、数据输入单元接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行清洗语音数据中的噪声，移除重复的数据，统一数据格式的预处理操作；
S2、特征提取单元接收预处理操作后的数据格式进行审核，当数据格式审核有问题时，重新接收多模态的输入数据，数据格式审核无问题时直接进行识别，并将提取出的文本数据、图像数据和语音数据分配到文本处理单元、图像处理单元、语音处理单元不同的处理单元中进行处理；S3、综合处理单元接收处理单元处理后的数据进行整理，得出新的文本数据，并对新的文本数据进行分析。
[0015]与现有技术相比，本专利技术的有益效果：1、该支持多模态输入的自然语言处理系统的方法中，可以同时接收文本、图像、语音数据多模态输入数据定义成初步的数据，并对初步的数据进行去除初步的数据中语音数据的噪声，移除重复的字段，把文本数据、图像数据和语音数据统一数据格式，并将数据格式存储在数据库中，确保存入数据库中数据的质量，数据统一存储在数据库中方便了使用者更好地管理和查询数据。
[0016]2、该支持多模态输入的自然语言处理系统的方法中，可以把得到的图像、语音数据运用图像识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多模态输入的自然语言处理系统，其特征在于：包括数据输入单元（1）、特征提取单元（2）、处理单元、综合处理单元（6）：所述数据输入单元（1）接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行预处理操作；所述特征提取单元（2）对预处理后的初步的数据进行审核，识别出不同类型的数据，并对不同类型的数据进行数据提取，将提取出的数据传到处理单元中；所述处理单元接收特征提取单元（2）提取出的数据并进行图像识别处理、语音识别处理和文本识别处理，将处理后的数据转化为文本数据，并对文本数据进行处理；所述综合处理单元（6）接收处理后的文本数据进行整合和分析；所述数据输入单元（1）接收多模态的输入数据，将接收的数据定义成初步的数据，并对初步的数据进行预处理操作，将预处理操作后的初步的数据传入特征提取单元（2）中，使特征提取单元（2）对接收的数据进行审核，识别出不同类型的数据，并对不同类型的数据进行数据提取，将提取出的数据传到处理单元中，当处理单元接收到提取出的数据时，直接进行图像数据识别处理、语音数据识别处理和文本数据识别处理，将处理后的数据转化为文本数据，并对文本数据进行处理，最后利用综合处理单元（6）将接收处理后的文本数据进行整合和分析，得出新的文本数据。2.根据权利要求1所述的支持多模态输入的自然语言处理系统，其特征在于：所述数据输入单元（1）包括数据接收模块（11）和数据预处理模块（12）；所述数据接收模块（11）用于接收多模态的输入数据，将接收的数据定义成初步的数据；所述数据预处理模块（12）用于接收初步的数据，并对初步的数据进行预处理操作。3.根据权利要求2所述的支持多模态输入的自然语言处理系统，其特征在于：所述预处理操作步骤包括清洗步骤、去重步骤和统一数据格式步骤；所述清洗步骤运用异常值处理算法去除初步的数据中语音数据的噪声；所述去重步骤用于移除重复的数据；所述统一数据格式步骤用于把文本数据、图像数据和语音数据转化为统一的数据格式，并在格式转化后将数据存储在数据库中。4.根据权利要求3所述的支持多模态输入的自然语言处理系统，其特征在于：所述特征提取单元（2）包括执行特征模块（21）和识别提取模块（22）；所述执行特征模块（21）用于提取数据库中统一数据格式的数据，并对提取的数据进行审核，确定是否出现乱码现象；所述识别提取模块（22）用于接收执行特征模块（21）审核后的数据，识别出不同类型的数据，并从不同类型的数据中提取出文本数据、图像数据和语音数据。5.根据权利要求4所述的支持多模态输入的自然语言处理系统，其特征在于：所述处理单元包括文本处理单元（3）、图像处理单元（4）和语音处理单元（5）；所述文本处理单元（3）用于接收特征提取单元（2）提取出的文本数据，并对接收的文本数据进行处理；所述图像处理单元（4）用于接收特征提取单元（2）提取出的图像数据，并对图像数据进行物体场景的图像识别和目标检测处理；
所述语音处理单元（5）用于接收特征提取单元（2）提取出的语音数据，并对语音数据进行处理；所述文本处理单元（...

【专利技术属性】
技术研发人员：郭燕飞，
申请(专利权)人：天津亿科科技有限公司，
类型：发明
国别省市：