【技术实现步骤摘要】
本专利技术属于音频处理，涉及一种音频处理智能体鲁棒性测评方法及相关装置。
技术介绍
1、多模态大模型在自然语言处理、图像生成和语音处理等领域展现了卓越的性能，成为当前人工智能研究的热点。通过使用大规模的数据集、注意力机制与多模态编码器，大模型能够捕捉到文本、图像和语音等输入中的特征和上下文关系，完成多种场景下的复杂任务。然而，随着多模态大模型的普及，研究者们也发现多模态大模型的安全面临着全新威胁。攻击者可以在正常输入语句、语音和图像等输入中插入隐蔽性误导性信息，生成对抗性样本，使得大模型产生攻击者所期望的回复，多模态对抗样本问题已经威胁了大模型的私有资产与安全运行。
2、音频大模型的出现，使得基于音频的攻击成为一种更加隐蔽且有效的攻击方式。首先，相较于其他模态的攻击，音频扰动攻击的隐蔽性大大增强。音频扰动可以设计于人耳不灵敏的频域内，导致人耳难以察觉甚至无法察觉音频扰动。其次，基于音频的攻击能够在保持隐蔽性的情况下，影响大范围内的音频大模型。施加的音频扰动可通过独立的音频播放设备进行广播，从而可在不存在硬件或网络连接的条件下...
【技术保护点】
1.一种音频处理智能体鲁棒性测评方法，其特征在于，包括：
2.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所述扰动来源包括：恶意音频播放进程、恶意音频发送方和恶意音频广播方；所述威胁模块包括：音频处理智能体的感知模块、推理模块、记忆模块和合作模块；所述攻击目标包括：音频处理智能体的机密性、完整性和可用性。
3.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所数获取待测评音频处理智能体的替代智能体包括：
4.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所述根据若干原始音频样本和预构建...
【技术特征摘要】
1.一种音频处理智能体鲁棒性测评方法，其特征在于，包括：
2.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所述扰动来源包括：恶意音频播放进程、恶意音频发送方和恶意音频广播方；所述威胁模块包括：音频处理智能体的感知模块、推理模块、记忆模块和合作模块；所述攻击目标包括：音频处理智能体的机密性、完整性和可用性。
3.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所数获取待测评音频处理智能体的替代智能体包括：
4.根据权利要求1所述的音频处理智能体鲁棒性测评方法，其特征在于，所述根据若干原始音频样本和预构建的若干攻击向量，通过待测评音频处理智能体的替代智能体，得到若干对抗音频样本包括：
5.根据权利要求4所述的音频处理智能体鲁棒性测评方法，其特征在于，所述预设步长的扰动通过下述方式得到：<...
【专利技术属性】
技术研发人员：蔺琛皓，汤子恒，杨雨龙，杨鑫山，李帅东，赵正宇，沈超，李前，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。