【技术实现步骤摘要】
本专利技术涉及信息安全，尤其涉及一种攻击防御方法、装置、终端设备以及存储介质。
技术介绍
1、随着人工智能的发展，生成式大模型作为信息安全的一大分支，其应用也越来越广泛，用户可以通过发送提示请求向生成式大模型提供的输入，以引导模型生成特定的回应或输出。
2、由于生成式大模型的响应方式、使用的数据以及可供使用的外部api和工具等信息可能包含敏感信息，攻击者可能通过特制的即时注入攻击即在模型推理过程中实时注入恶意输入，影响模型的输出结果来提取这些信息，从而进行进一步的攻击和侦察活动。
3、但是，在目前的生成式大模型注入攻击防御场景中通常通过对用户发送的提示或输出中的单词和短语进行语法检查过滤以及在模型响应时添加噪声来防御，而由于用户发送提示的格式和用语不固定，无法准确识别用户意图，导致攻击识别的误报率高，并不适用于针对提取信息类型的注入攻击进行防御的应用场景。
4、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种攻击防御方法、装置、终端设备以及存储介质，旨在实现对生成式大模型注入攻击防御场景中提取信息注入攻击的防御。
2、为实现上述目的，本申请提供一种攻击防御方法，所述攻击防御方法应用于网络端，包括以下步骤：
3、接收用户输入的用户提示文本；
4、根据所述用户提示文本，生成用户提示请求并发送至模型端，由所述模型端将所述用户提示请求输入到预设
5、接收所述模型端发送的模型提示响应；
6、基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施，所述提取信息攻击识别规则基于所述生成式大模型进行规则生成得到。
7、可选地，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤之前还包括：
8、根据所述生成式大模型中的模型配置参数、数据属性参数和工具配置参数，生成提取信息攻击识别参数；
9、基于预设的识别算法，根据所述提取信息攻击识别参数进行规则生成，获取提取信息攻击识别规则。
10、可选地，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤包括：
11、根据所述模型端的接口响应格式，对所述模型提示响应的响应消息体进行解析，获取响应消息体参数；
12、基于所述提取信息攻击识别规则，对所述响应消息体参数进行攻击识别，获取提取信息攻击识别结果；
13、基于预设的防御策略，根据所述提取信息攻击识别结果采取对应的防御措施。
14、可选地，所述基于所述提取信息攻击识别规则，对所述响应消息体参数进行攻击识别，获取提取信息攻击识别结果的步骤包括：
15、若所述响应消息体参数中包含模型配置参数，则得到所述提取信息攻击识别结果中包含模型配置注入攻击；
16、若所述响应消息体参数中包含数据属性参数，则得到所述提取信息攻击识别结果中包含数据属性注入攻击；
17、若所述响应消息体参数中包含工具配置参数，则得到所述提取信息攻击识别结果中包含工具配置注入攻击。
18、可选地，所述基于预设的防御策略，根据所述提取信息攻击识别结果采取对应的防御措施的步骤包括：
19、若所述提取信息攻击识别结果中包含模型配置注入攻击，则对所述模型配置参数对应的模型配置信息进行过滤，并限制所述用户的模型配置访问权限，以对所述模型配置注入攻击进行防御；
20、若所述提取信息攻击识别结果中包含数据属性注入攻击，则对所述数据属性参数对应的数据属性信息进行过滤，以对所述数据属性注入攻击进行防御；
21、若所述提取信息攻击识别结果中包含工具配置注入攻击，则对所述工具配置参数对应的工具配置信息进行过滤，并限制所述用户的工具配置访问权限及外部接口访问权限，以对所述工具配置注入攻击进行防御。
22、可选地，所述攻击防御方法应用于模型端，包括以下步骤：
23、接收网络端发送的用户提示请求，所述用户提示请求为所述网络端在接收用户输入的用户提示文本之后，根据所述用户提示文本生成；
24、将所述用户提示请求输入到预设的生成式大模型中进行提示应答，获取模型提示响应；
25、发送所述模型提示响应至所述网络端，由所述网络端基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施，所述提取信息攻击识别规则基于所述生成式大模型进行规则生成得到。
26、可选地，所述接收网络端发送的用户提示请求的步骤之后还包括：
27、基于所述提取信息攻击识别规则，对所述用户提示请求的请求消息体进行攻击识别，获取提取信息注入攻击参数；
28、根据所述提取信息注入攻击参数，对所述请求消息体进行过滤，以对所述提取信息注入攻击参数对应的注入攻击进行防御。
29、本申请实施例还提出一种攻击防御装置，所述攻击防御装置包括：
30、文本接收模块，用于接收用户输入的用户提示文本；
31、请求发送模块，用于根据所述用户提示文本，生成用户提示请求并发送至模型端，由所述模型端将所述用户提示请求输入到预设的生成式大模型中进行提示应答，获取模型提示响应；
32、响应接收模块，用于接收所述模型端发送的模型提示响应；
33、攻击防御模块，用于基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施，所述提取信息攻击识别规则基于所述生成式大模型进行规则生成得到。
34、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的攻击防御程序，所述攻击防御程序被所述处理器执行时实现如上所述的攻击防御方法的步骤。
35、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有攻击防御程序，所述攻击防御程序被处理器执行时实现如上所述的攻击防御方法的步骤。
36、本申请实施例提出的攻击防御方法、装置、终端设备以及存储介质，接收用户输入的用户提示文本；根据所述用户提示文本，生成用户提示请求并发送至模型端，由所述模型端将所述用户提示请求输入到预设的生成式大模型中进行提示应答，获取模型提示响应；接收所述模型端发送的模型提示响应；基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻本文档来自技高网...
【技术保护点】
1.一种攻击防御方法，其特征在于，所述攻击防御方法应用于网络端，包括以下步骤：
2.如权利要求1所述的攻击防御方法，其特征在于，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤之前还包括：
3.如权利要求1所述的攻击防御方法，其特征在于，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤包括：
4.如权利要求3所述的攻击防御方法，其特征在于，所述基于所述提取信息攻击识别规则，对所述响应消息体参数进行攻击识别，获取提取信息攻击识别结果的步骤包括：
5.如权利要求4所述的攻击防御方法，其特征在于，所述基于预设的防御策略，根据所述提取信息攻击识别结果采取对应的防御措施的步骤包括：
6.一种攻击防御方法，其特征在于，所述攻击防御方法应用于模型端，包括以下步骤：
7.如权利要求6所述的攻击防御方法，其特征在于，所述接收网
8.一种攻击防御装置，其特征在于，所述装置包括：
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的攻击防御程序，所述攻击防御程序配置为实现如权利要求1至7中任一项所述的攻击防御方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有攻击防御程序，所述攻击防御程序被处理器执行时实现如权利要求1至7任一项所述的攻击防御方法的步骤。
...【技术特征摘要】
1.一种攻击防御方法，其特征在于，所述攻击防御方法应用于网络端，包括以下步骤：
2.如权利要求1所述的攻击防御方法，其特征在于，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤之前还包括：
3.如权利要求1所述的攻击防御方法，其特征在于，所述基于预设的提取信息攻击识别规则，根据所述模型提示响应进行攻击识别，获取提取信息攻击识别结果，并根据所述提取信息攻击识别结果采取对应的防御措施的步骤包括：
4.如权利要求3所述的攻击防御方法，其特征在于，所述基于所述提取信息攻击识别规则，对所述响应消息体参数进行攻击识别，获取提取信息攻击识别结果的步骤包括：
5.如权利要求4所述的攻击防御方法...
【专利技术属性】
技术研发人员：王智民，
申请(专利权)人：北京六方云信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。