基于多模态信息融合的端到端虚拟社交机器人检测方法技术

本发明专利技术涉及虚拟社交机器人检测技术领域，提出了一种基于多模态信息融合的端到端虚拟社交机器人检测方法，首先在公开数据集的基础上，通过扩充数据规模与信息维度，构建大规模虚拟社交机器人检测研究数据集；然后基于RoBERTa、PBG、Tab Net和CNN构建多样化的端到端特征表示学习模型，分别提取出包括用户文本、属性和异构关系的多种模态数据中的低维特征表示；最终基于通道注意力机制、空间注意力机制和门控机制以及交叉融合机制，挖掘多模态特征低维表示间的关联与重要度，融合多模态信息，实现虚拟社交机器人与人类的分类。本发明专利技术的检测方法具有更好的进化虚拟社交机器人适应能力，以及跨虚拟社交机器人类别迁移能力，且具有良好的泛化能力。

【技术实现步骤摘要】

本专利技术涉及虚拟社交机器人检测，具体为一种基于多模态信息融合的端到端虚拟社交机器人检测方法。

技术介绍

1、互联网时代信息技术高度发展，人们的社交方式也发生重大转变。在线社交网络成为公众生活中必不可少的社交参与方法。人们热衷于通过社交网络获取实时资讯，并就热点事件表达自身观点立场，制造个人影响力。

2、但由于社交网络的开放性，其中充斥着大量的虚假新闻、攻击言论、误导性观点等恶意内容。众多研究表明，虚拟社交机器人在这些恶意内容的传播上扮演了关键的作用。恶意组织利用虚拟社交机器人的自动化特性，操纵热点话题、操纵网络舆论、传播虚假信息、破坏网络生态、影响群体观点、进行网络舆论战。若不加以监管和控制，恶意虚拟社交机器人将严重破坏社会公正，威胁国家安全。因此，现在亟需一个新的方法来准确识别出虚拟社交机器人，维护网络空间的合法秩序。

3、现有的研究人员正努力通过社交用户的推文、属性与社交关系等信息识别虚拟社交机器人。但这些研究普遍存在以下问题：(1)大部分检测方案基于特征工程方法，存在主观性，只能识别具有某一类特点的虚拟社交机器人；(2)一部本文档来自技高网...

【技术保护点】

1.一种基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤1具体为：

3.根据权利要求1所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤2具体为：

4.根据权利要求3所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤2.2具体包括：

5.根据权利要求1所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤3中两两融合多模态融合的具体过程为：...

【技术特征摘要】

1.一种基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤1具体为：

3.根据权利要求1所述的基于多模态信息融合的端到端虚拟社交机器人检测方法，其特征在于，所述步骤2具体为：

4.根据权利要求3所...

【专利技术属性】
技术研发人员：王海舟，刘丰源，蔡易成，陈兴蜀，王文贤，唐文佚，唐瑞，
申请(专利权)人：四川大学，
类型：发明
国别省市：