【技术实现步骤摘要】
本专利技术涉及实体识别的，尤其涉及一种基于对比学习和多模态语义交互的命名实体识别方法。
技术介绍
1、随着社交媒体和互联网上信息传播的多样化，人们获取信息的方式已从传统的单一文本模式转向包括文本、图像、语音和视频在内的多模态方法。用户在社交媒体平台上分享的内容不仅包括文本，还有大量的图像信息。研究者发现，推文中的图像信息可以为文本提供更丰富的语义信息和上下文线索，从而提高命名实体识别的准确性。因此，大量的近期研究开始关注如何使用推文中的图像信息来提高ner模型的准确性，这种方法被称为多模态命名实体识别(mner)。
2、mner的主要目标是从多模态数据中识别和分类命名实体，如人名、地名、组织、日期、时间等。与传统的单模态命名实体识别相比，mner的优势在于其能够整合来自多个来源的信息，从而提供更为全面和准确的识别结果。mner能够更好地理解和解析互联网上的复杂信息，并在许多应用场景中发挥重要作用，如主题检测、多媒体搜索、多媒体关系提取以及多模态知识图谱。
3、mner旨在利用文本和图像数据，增强命名实体识别的准确...
【技术保护点】
1.一种基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，其步骤为：
2.根据权利要求1所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述ALBERT模型引入了词嵌入矩阵因子化和跨层参数共享策略，利用多层双向Transformer编码器对输入序列进行编码；所述MobileViT模型是结合Transformers和卷积层的图像处理模型；图像描述生成模型是一个包含视觉注意力的编解码框架的描述生成模型。
3.根据权利要求2所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述MobileViT模型首先将输...
【技术特征摘要】
1.一种基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，其步骤为：
2.根据权利要求1所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述albert模型引入了词嵌入矩阵因子化和跨层参数共享策略，利用多层双向transformer编码器对输入序列进行编码；所述mobilevit模型是结合transformers和卷积层的图像处理模型；图像描述生成模型是一个包含视觉注意力的编解码框架的描述生成模型。
3.根据权利要求2所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述mobilevit模型首先将输入的图像通过一个3×3标准卷积层提取图像中的局部特征，然后进行2×下采样将局部特征的尺寸缩小一半；使用五个mv2模块进行特征提取，其中步长为1的mv块用于保留更多的空间信息，步长为2的mv块执行2×下采样降低特征图的尺寸；获得的特征图被交替地送入mobilevit块和步长为2的mv2块；应用1×1标准卷积进行通道压缩，执行全局平均池化获得全局图像表示；
4.根据权利要求3所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述图像描述生成模型为长短时记忆网络，长短时记忆网络通过动态地选择图像特征提取句子内部单词之间的句法特征、单词位置编码信息、学习图像特征与句法特征、单词特征之间的映射关系，同时加入注意力机制赋予不同视觉区域不同的权重；
5.根据权利要求1-4中任意一项所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述对比学习的实现方法为：计算整体的文本表示ts和图像特征的全局特征vg之间的相似性，使用对比损失函数进行优化使得正样本的特征表示趋近，而负样本的特征表示相互远离，通过迭代训练使文本表示和图像表示更加一致；
6.根据权利要求5所述的基于对比学习和多模态语义交互的命名实体识别方法，其特征在于，所述生成正样本和负样...
【专利技术属性】
技术研发人员：马江涛，乔亚琼，王艳军，晋文朵，钱慎一，张帆，李祖贺，马宇科，程佳，李霆，李坤霖，刘博，卫梦屹，孙一帆，
申请(专利权)人：嵩山实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。