【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种信息处理方法、装置、电子设备及存储介质。
技术介绍
1、传统方法主要面向文本方面的有害信息，依赖于手动制定的规则和特征工程，但难以适应新兴的有害信息形式，并且缺乏泛化能力。相比之下，基于深度学习的方法利用卷积神经网络、循环神经网络和注意力机制等技术，能够自动学习有害信息的特征。然而，该方法局限于单一模态数据，且面临有害信息多样性和不断演化的挑战，导致识别新型威胁时的效果不佳。此外，还会产生较高的误报率，对用户体验造成负面影响。因此，在信息处理领域仍需要进一步的研究和创新来解决这些问题。
技术实现思路
1、本申请提供一种信息处理方法、装置、电子设备及存储介质，用以解决如何提高信息处理的准确率问题。
2、第一方面，本申请提供一种信息处理方法，所述方法应用于多模态大模型，所述多模态大模型包括信息处理模块和多模态融合模块，所述方法包括：
3、将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到视觉特征和/或文本特征；
4、若提取出的特征包括视觉特征和文本特征，则将所述视觉特征和所述文本特征输入至所述多模态融合模块，以进行深度融合并提取融合后的多模态特征，以及根据所述多模态特征输出信息检测结果；其中所述多模态特征是通过线性变换、元素级相乘和门控融合的步骤将所述视觉特征和所述文本特征进行深度融合后得到的。
5、在本申请一实施例中，所述多模态大模型还包括预处理模块，所述将获取的待检测信息输入至所述信息处理模块
6、通过预处理模块对所述待检测信息进行格式识别和分类处理，以剔除不符合预设格式的信息并输出符合预设格式的待检测数据；
7、其中，所述预设格式包括标准化的图片格式和标准化的文本格式，所述待检测数据包括图像数据和/或文本数据。
8、在本申请一实施例中，所述信息处理模块包括图像信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到视觉特征的步骤包括：
9、若所述待检测数据包括图像数据，则执行如下步骤：
10、将所述图像数据输入至所述图像信息处理单元，所述图像信息处理单元包括多个由卷积层、批归一化层以及非线性层组成的基本层；
11、卷积层通过卷积核对所述图像数据进行滤波操作，并计算与卷积核相匹配的特征映射，以提取初级特征；
12、基于所述初级特征，卷积层与批归一化层和非线性层通过交替堆叠方式逐步提取更抽象和高级的视觉特征，以输出所述视觉特征。
13、在本申请一实施例中，所述信息处理模块包括文本信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到文本特征的步骤包括：
14、若所述待检测数据包括文本数据，则执行如下步骤：
15、将所述文本数据输入至所述文本信息处理单元，所述文本信息处理单元使用所述多模态大模型提供的分词器对所述文本数据进行分词，以将连续的文本序列分割为被语义意义划分的独立单元；
16、通过嵌入层将文本中的每个独立单元转换为向量表示，以输出所述文本特征。
17、在本申请一实施例中，所述线性变换是将所述文本特征映射到与所述视觉特征在同一高维空间；所述元素级相乘是将所述文本特征和所述视觉特征逐个元素相乘以得到元素级相乘特征；所述门控融合是通过权重操作确定所述文本特征、所述视觉特征以及所述元素级相乘特征在融合中的贡献，并输出融合后的多模态特征。
18、在本申请一实施例中，所述多模态融合模块包括线性变换单元、元素级相乘单元以及门控融合单元，将所述视觉特征和所述文本特征输入至所述多模态融合模块，以进行深度融合并提取融合后的多模态特征的步骤包括：
19、将所述文本特征输入至所述线性变换单元，以将其映射到与所述视觉特征在同一高维空间；
20、将具有相同维度的文本特征和视觉特征一起输入至所述元素级相乘单元，通过所述元素级相乘单元对所述文本特征和所述视觉特征执行逐元素相乘操作，以生成元素级相乘特征，其中每个元素为所述文本特征和所述视觉特征对应位置的乘积；
21、将具有不同维度的所述文本特征和所述视觉特征，以及所述元素级相乘特征一起输入至所述门控融合单元，通过所述门控融合单元对不同特征执行加权操作，以确定所述文本特征、所述视觉特征和所述元素级相乘特征在融合中的贡献并输出融合后的所述多模态特征。
22、在本申请一实施例中，所述多模态融合模块还包括信息检测单元，所述根据所述多模态特征输出信息检测结果的步骤包括：
23、将所述多模态特征输入至所述信息检测单元，所述信息检测单元包括多层的transformer编码器和一线性层；
24、所述多层的transformer编码器对所述多模态特征执行建模和编码操作，以捕捉输入序列中不同位置之间的关系，并捕获全局上下文信息，并在所述多层的transformer编码器的最后一层输出一高维特征向量，其中所述高维特征向量的每个维度对应不同的编码信息；
25、通过所述线性层对所述高维特征向量进行至少一个全连接层的映射，以捕获更抽象的特征并输出所述信息检测结果。
26、在本申请一实施例中，所述多模态大模型还包括后处理模块和有害信息数据库，所述方法还包括：
27、若所述信息检测结果包括有害信息检测结果，则同时还输出与所述有害信息检测结果对应的位置向量；
28、所述后处理模块根据所述有害信息检测结果和所述位置向量定位有害信息的位置，并输出判断为有害信息的概率值；
29、若所述概率值大于或等于预设的阈值，则将有害信息存储至所述有害信息数据库；若所述概率值低于所述预设的阈值，则向用户返回有害信息的提示。
30、本申请还提供一种信息处理装置，应用于多模态大模型，所述多模态大模型包括信息处理模块和多模态融合模块，所述装置包括：
31、特征提取模块，用于将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到视觉特征和/或文本特征；
32、信息检测模块，用于将提取到的视觉特征和文本特征输入至所述多模态融合模块，以进行深度融合并提取融合后的多模态特征，以及根据所述多模态特征输出信息检测结果；其中所述多模态特征是通过线性变换、元素级相乘和门控融合的步骤将所述视觉特征和所述文本特征进行深度融合后得到的。
33、第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的信息处理方法的步骤。
34、第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的信息处理方法的步骤。
35、本申请提供的一种信息处理方法、装置、电子设备及存储介质，该方法首先通本文档来自技高网...
【技术保护点】
1.一种信息处理方法，其特征在于，所述方法应用于多模态大模型，所述多模态大模型包括信息处理模块和多模态融合模块，所述方法包括：
2.根据权利要求1所述的信息处理方法，其特征在于，所述多模态大模型还包括预处理模块，所述将获取的待检测信息输入至所述信息处理模块进行特征提取的步骤包括：
3.根据权利要求2所述的信息处理方法，其特征在于，所述信息处理模块包括图像信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到视觉特征的步骤包括：
4.根据权利要求1所述的信息处理方法，其特征在于，所述信息处理模块包括文本信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到文本特征的步骤包括：
5.根据权利要求1所述的信息处理方法，其特征在于，所述线性变换是将所述文本特征映射到与所述视觉特征在同一高维空间；所述元素级相乘是将所述文本特征和所述视觉特征逐个元素相乘以得到元素级相乘特征；所述门控融合是通过权重操作确定所述文本特征、所述视觉特征以及所述元素级相乘特征在融合中的贡献，并输出融合后的多模态特征。p>
6.根据权利要求1所述的信息处理方法，其特征在于，所述多模态融合模块包括线性变换单元、元素级相乘单元以及门控融合单元，将所述视觉特征和所述文本特征输入至所述多模态融合模块，以进行深度融合并提取融合后的多模态特征的步骤包括：
7.根据权利要求6所述的信息处理方法，其特征在于，所述多模态融合模块还包括信息检测单元，所述根据所述多模态特征输出信息检测结果的步骤包括：
8.根据权利要求1所述的信息处理方法，其特征在于，所述多模态大模型还包括后处理模块和有害信息数据库，所述方法还包括：
9.一种信息处理装置，其特征在于，应用于多模态大模型，所述多模态大模型包括信息处理模块和多模态融合模块，所述装置包括：
10.一种电子设备，包括存储器、处理器及存储在所述存储器并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的信息处理方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的信息处理方法的步骤。
...【技术特征摘要】
1.一种信息处理方法，其特征在于，所述方法应用于多模态大模型，所述多模态大模型包括信息处理模块和多模态融合模块，所述方法包括：
2.根据权利要求1所述的信息处理方法，其特征在于，所述多模态大模型还包括预处理模块，所述将获取的待检测信息输入至所述信息处理模块进行特征提取的步骤包括：
3.根据权利要求2所述的信息处理方法，其特征在于，所述信息处理模块包括图像信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到视觉特征的步骤包括：
4.根据权利要求1所述的信息处理方法，其特征在于，所述信息处理模块包括文本信息处理单元，所述将获取的待检测信息输入至所述信息处理模块进行特征提取，以得到文本特征的步骤包括：
5.根据权利要求1所述的信息处理方法，其特征在于，所述线性变换是将所述文本特征映射到与所述视觉特征在同一高维空间；所述元素级相乘是将所述文本特征和所述视觉特征逐个元素相乘以得到元素级相乘特征；所述门控融合是通过权重操作确定所述文本特征、所述视觉特征以及所述元素级相乘特征在融合中的贡献，并输出融合后的多模态特征。
【专利技术属性】
技术研发人员：王士进，姚鑫，杨子清，崔一鸣，刘聪，胡国平，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。