【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及基于多模态大模型理解和识别网络模因方法、系统及介质。
技术介绍
1、网络模因（meme）是指在互联网环境中通过模仿和快速传播的文化元素，涵盖图像、文字等多种形式。其本质上类似于生物基因的复制机制，通过快速传播和变异塑造网络语言和流行文化。网络模因是文化传承与创新的重要载体，具有快速、易传播和模仿的特点。
2、在社交媒体、在线社区、内容审核平台等需要进行实时安全管控的场景中，尤其是在短文本与图像审核系统中，面临的挑战越来越复杂。用户上传的图文融合内容（即网络模因）有时包含隐蔽性跨模态有害信息，例如，表面上看起来是一个正常的标题或评论，但图像中可能暗藏不当内容。此类内容如果未能及时识别，可能会对平台的用户体验造成严重影响，甚至引发社会舆论或法律风险。
3、在这些应用场景中，内容审核系统需要具备高效的多模态分析能力，能够同时处理图像和文字描述这两种不同的模态信息，并对其进行深度理解和分析。随着多模态大模型和上下文学习技术的快速发展，基于上下文示例的提示构建成为提升多模态有害模因识别能力的...
【技术保护点】
1.基于多模态大模型理解和识别网络模因方法，其特征在于，将待处理的多模态任务输入至已训练完成的上下文示例选择模型中，输出用于引导多模态大模型执行分类推理任务的上下文提示示例；
2.根据权利要求1所述的基于多模态大模型理解和识别网络模因方法，其特征在于，在对多模态任务样本依次进行特征提取并模态对齐得到跨模态联合嵌入表示中，具体为：
3.根据权利要求1所述的基于多模态大模型理解和识别网络模因方法，其特征在于，在粗粒度排序中，采用归一化余弦相似度函数计算跨模态联合嵌入表示与预设的候选样本库中每个候选样本的相似度。
4.根据权利要求3所述的...
【技术特征摘要】
1.基于多模态大模型理解和识别网络模因方法，其特征在于，将待处理的多模态任务输入至已训练完成的上下文示例选择模型中，输出用于引导多模态大模型执行分类推理任务的上下文提示示例；
2.根据权利要求1所述的基于多模态大模型理解和识别网络模因方法，其特征在于，在对多模态任务样本依次进行特征提取并模态对齐得到跨模态联合嵌入表示中，具体为：
3.根据权利要求1所述的基于多模态大模型理解和识别网络模因方法，其特征在于，在粗粒度排序中，采用归一化余弦相似度函数计算跨模态联合嵌入表示与预设的候选样本库中每个候选样本的相似度。
4.根据权利要求3所述的基于多模态大模型理解和识别网络模因方法，其特征在于，所述归一化余弦相似度函数计算公式如下：
5.根据权利要求1所述的基于多模态大模型理解和识别网络模因方法，其特征在于，所述对初始候选集进行筛选并划分为正样本示例集和负样本示例集，从而构建包括w2个候选样本的精筛候选集，具体...
【专利技术属性】
技术研发人员：聂壹琦，周愿恩，蒋贻顺，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。