一种大语言模型驱动的多模态意见表达识别系统及方法技术方案

本发明专利技术公开了一种大语言模型驱动的多模态意见表达识别系统及方法，将提示学习模板和文本序列结合，构造新的文本序列；将文本和语音分别通过大语言模型编码器和语音编码器，生成对应的文本嵌入和语音嵌入；通过模态适配器，将语音特征映射到文本嵌入的空间中；将两个嵌入合并；合并之后的嵌入送入到大语言模型中，进行训练和预测，这一步中为了快速微调大语言模型，在大语言模型中进一步设置了参数微调模块(LoRA)。与现有技术相比，本发明专利技术实现了针对现实场景下的多模态意见表达提出智能识别的解决方法。

【技术实现步骤摘要】

本专利技术涉及信息安全，特别是涉及基于智能设备的随机口令验证方法。

技术介绍

1、在互联网和社交媒体的飞速发展背景下，仅凭借移动设备，人们就可以随时随地接入社交网络。

2、人类交流的复杂性在于其多模态性、时序性及异步性，实质上融合了语言(如词汇选择、句式结构)、视觉(包括面部表情和肢体语言)及声音(诸如语调和语速)三种主要模态。这些模态在交流过程中不是孤立的，而是互为补充、相互协调，形成复杂的异步交互序列。随着网络上的文本、图片和视频内容数量呈指数级增长，社交媒体成为了自然语言处理(nature language processing)领域，特别是意见和情感识别领域的宝贵数据源。在社交媒体文本处理领域，意见表达识别成为了一个日益重要的研究议题。其研究核心在于准确识别出载有特定观点的文本段落以及这些文本所表达的情感倾向。通过精准的意见表达识别，研究人员能够为更多涉及情感分析的下游应用任务奠定基础。例如，在医疗领域，整合意见表达识别技术能显著增强数字化医疗服务中的患者体验；同时，此技术亦能够有效监测社交媒体平台上的公众情绪和舆论走向除此之外，企业亦本文档来自技高网...

【技术保护点】

1.一种大语言模型驱动的多模态意见表达识别系统，其特征在于，包括：

2.根据权利要求1所述的一种大语言模型驱动的多模态意见表达识别系统，其特征在于，该系统进一步设置有参数微调模块，用于优化和调整大语言模型的参数，具体是通过引入低秩矩阵来调节和适应原有的模型参数，以及精细调整模型权重。

3.根据权利要求1所述的一种大语言模型驱动的多模态意见表达识别系统，其特征在于，所述模态适配模块中的适配结构由两个下采样层、个GELU激活函数和一个上采样层组成；第一个下采样层的结构是一个一维的卷积网络，使得语音特征的大小被缩减到一个适合进一步分析的上下文大小。</p>

4.根据...

【技术特征摘要】

1.一种大语言模型驱动的多模态意见表达识别系统，其特征在于，包括：

2.根据权利要求1所述的一种大语言模型驱动的多模态意见表达识别系统，其特征在于，该系统进一步设置有参数微调模块，用于优化和调整大语言模型的参数，具体是通过引入低秩矩阵来调节和适应原有的模型参数，以及精细调整模型权重。

3.根据权利要求1所述的一种大语言模型驱动的多模态意见表达识别系统，其特征在于，所述模态适配模块中的适配结构由两个下采样层、个...

【专利技术属性】
技术研发人员：贾伯年，孙越恒，
申请(专利权)人：天津大学，
类型：发明
国别省市：