本公开提供了一种提示词注入的防护方法、装置、设备及存储介质，所述方法包括：获取目标AI应用的输入信息，对输入信息进行检测，确定输入信息是否符合目标AI应用的输入防护策略，其中，输入防护策略基于目标AI应用的配置信息进行学习得到，以确定输入信息是否存在提示词注入的风险，如果目标AI应用的输入信息符合输入防护策略，则利用目标AI应用的大模型对输入信息进行处理，得到输出结果。采用本技术方案，在获取到目标AI应用的输入信息后，利用基于目标AI应用的配置信息进行学习得到的输入防护策略对输入信息进行检测，以确定输入信息是否存在提示词注入的风险，从而有效防护目标AI应用的提示词注入攻击。
【技术实现步骤摘要】
本公开涉及数据处理领域，尤其涉及一种提示词注入的防护方法、装置、设备及存储介质。
技术介绍
1、随着人工智能和大模型技术的快速发展，ai(artificial intelligence，人工智能)应用逐渐普及并广泛接受用户的自然语言输入，以便进行分析、回答用户提问或调用后端工具执行相关指令。然而，这种开放的输入机制使得ai应用面临提示词注入攻击的风险。攻击者通过构造恶意输入，在输入的请求内容中嵌入隐蔽提示词，使得请求内容被拼接到ai应用的提示词模板中进行检测时，ai应用的大模型无法识别出请求内容中的潜在问题，导致ai应用的大模型输出错误判断。
2、相关技术中，通过在ai应用的提示词模板中明确规定用户输入的规则，直接将用户的输入信息注入至ai应用的提示词模板中，利用ai应用的大模型对嵌入输入信息的提示词模板进行检测，容易受到复杂提示词的误导，导致针对ai应用的提示词注入攻击防护不足。
技术实现思路
1、为了解决上述技术问题，本公开实施例提供了一种提示词注入的防护方法。
>2、第一方面，本公本文档来自技高网...
【技术保护点】
1.一种提示词注入的防护方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述输入信息为分步式输入信息，所述如果所述目标AI应用的输入信息符合所述输入防护策略，则利用所述目标AI应用的大模型对所述输入信息进行处理，得到输出结果，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标AI应用的防护模式，确定所述输入信息的处理策略，包括：
5.根据权利要求1所述的方法，其特征在于，所述获取目标AI应用的输入信息之前，还包括：p>
6.根据权...
【技术特征摘要】
1.一种提示词注入的防护方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述输入信息为分步式输入信息，所述如果所述目标ai应用的输入信息符合所述输入防护策略，则利用所述目标ai应用的大模型对所述输入信息进行处理，得到输出结果，包括：
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标ai应用的防护模式，确定所述输入信息的处理策略，包括：
5.根据权利要求1所述的方法，其特征在于，所述获取目标ai应用的输入信息之前，还包括：
6.根据权利要求1所述的方法，其特征在于，所述如果所述目标ai应用的输入信息符合所述输入防护策略，则利用所述目标ai应用的大模型对所述输入信...
【专利技术属性】
技术研发人员：许祥，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。