【技术实现步骤摘要】
本专利技术涉及数据处理领域，尤其涉及一种融合多模态交互的文本处理方法与系统。
技术介绍
1、随着信息化的发展，时时刻刻都会产生海量的数据，虽然多模态数据可以提供较为全面且准确的信息，但是对于多模态数据的处理则较为困难。在现有技术中由于多模态数据包含的信息量较大，导致数据处理效率较低，由于常用的处理方案是将多模态数据进行拆分后处理，破坏了多模态数据原有的数据关联，导致最终获取的处理结果准确性降低。
2、因此，在现有技术中多模态数据处理方法存在处理效率低，处理准确性低的技术问题。
技术实现思路
1、本申请通过提供一种融合多模态交互的文本处理方法与系统，解决了在现有技术中多模态数据处理方法存在处理效率低，处理准确性低的技术问题。
2、本申请提供一种融合多模态交互的文本处理方法，所述方法包括：接收多模态源数据，进行数据相关性分析整合，确定数据级联序列集，其中，各数据级联序列存在至少两种数据模态；读取文本处理标准，对所述数据级联序列集进行划级，确定多级数据级联序列，所述多级数据级联序列带有级间主次标识与级内主次标识；基于所述文本处理标准，结合自适应排布模型进行所述多级数据级联序列的文本纲要提炼与数据布局，确定目标文本框架；监督训练模态转换模型，其中，所述模态转换模型包括n个双向转换分支；基于所述目标文本框架，识别数据模态标准，结合所述模态转换模型，对所述多级数据级联序列进行双向转换分支匹配与数据模态转换处理，确定备用数据集；基于所述备用数据集，对所述目标文本框架进行排
3、本申请还提供了一种融合多模态交互的文本处理系统，所述系统包括：数据获取模块，用于接收多模态源数据，进行数据相关性分析整合，确定数据级联序列集，其中，各数据级联序列存在至少两种数据模态；数据划级模块，用于读取文本处理标准，对所述数据级联序列集进行划级，确定多级数据级联序列，所述多级数据级联序列带有级间主次标识与级内主次标识；文本框架获取模块，用于基于所述文本处理标准，结合自适应排布模型进行所述多级数据级联序列的文本纲要提炼与数据布局，确定目标文本框架；转换模型获取模块，用于监督训练模态转换模型，其中，所述模态转换模型包括n个双向转换分支；备用数据获取模块，用于基于所述目标文本框架，识别数据模态标准，结合所述模态转换模型，对所述多级数据级联序列进行双向转换分支匹配与数据模态转换处理，确定备用数据集；处理结果获取模块，用于基于所述备用数据集，对所述目标文本框架进行排布填充，获取文本处理结果。
4、本申请还提供了一种电子设备，包括：
5、存储器，用于存储可执行指令；
6、处理器，用于执行所述存储器中存储的可执行指令时，实现本申请提供的一种融合多模态交互的文本处理方法。
7、本申请提供一种计算机可读存储介质，存储有计算机程序，该程序被处理器执行时，实现本申请提供的一种融合多模态交互的文本处理方法。
8、拟通过本申请提出的一种融合多模态交互的文本处理方法与系统，通过接收多模态源数据，进行数据相关性分析整合，确定数据级联序列集，对数据级联序列集进行划级，确定多级数据级联序列。基于文本处理标准，结合自适应排布模型进行多级数据级联序列的文本纲要提炼与数据布局，确定目标文本框架。监督训练模态转换模型。基于目标文本框架，识别数据模态标准，结合模态转换模型，对多级数据级联序列进行双向转换分支匹配与数据模态转换处理，确定备用数据集。基于备用数据集，对目标文本框架进行排布填充，获取文本处理结果。实现了对多模态数据的高效文本处理，提高了多模态数据的处理效率以及处理准确性。解决了现有技术中多模态数据处理方法存在处理效率低，处理准确性低的技术问题。
9、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种融合多模态交互的文本处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述多级数据级联序列带有级间主次标识与级内主次标识，包括：
3.如权利要求1所述的方法，其特征在于，所述模态转换模型包括多个双向转换分支，包括：
4.如权利要求1所述的方法，其特征在于，基于所述目标文本框架，识别数据模态标准，包括：
5.如权利要求4所述的方法，其特征在于，对所述多级数据级联序列进行双向转换分支匹配与数据模态转换处理，包括：
6.如权利要求5所述的方法，其特征在于，所述确定目标转换分支之后，包括：
7.如权利要求1所述的方法，其特征在于，获取文本处理结果之后，包括：
8.一种融合多模态交互的文本处理系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种融合多模态交互的文本处理方法。
【技术特征摘要】
1.一种融合多模态交互的文本处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述多级数据级联序列带有级间主次标识与级内主次标识，包括：
3.如权利要求1所述的方法，其特征在于，所述模态转换模型包括多个双向转换分支，包括：
4.如权利要求1所述的方法，其特征在于，基于所述目标文本框架，识别数据模态标准，包括：
5.如权利要求4所述的方法，其特征在于，对所述多级数据级联序列进行双向转换分支匹配与数据模态转换...
【专利技术属性】
技术研发人员：张志昌，张珂，杨致远，张圆圆，崔凌云，喻碧城，
申请(专利权)人：西北师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。