一种生成式人工智能的安全评估方法以及装置制造方法及图纸

技术编号:42698331 阅读:31 留言:0更新日期:2024-09-13 11:54
本发明专利技术公开了生成式人工智能的安全评估方法及装置,包括:构建训练样本数据集,其包括多个不同领域训练样本子集;通过预设预测模型对不同领域训练样本子集进行预测处理,以分别得到不同领域训练样本子集对应的拒答率、语句通顺度、描述准确度以及内容安全度;基于安全评估需求,对拒答率、语句通顺度、描述准确度以及内容安全度分配对应的权重,以计算得到拒答率评分、语句通顺度评分、描述准确度评分以及内容安全度评分;基于拒答率评分、语句通顺度评分、描述准确度评分以及内容安全度评分,确定安全评估结果。可实现多维度安全评估分析,且模型能够通过持续学习和自我优化,确保评估结果的时效性和有效性,减少人工参与的时间和成本。

【技术实现步骤摘要】

本专利技术涉及网络安全,尤其涉及一种生成式人工智能的安全评估方法以及装置


技术介绍

1、生成式人工智能是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。其改变了人类与技术互动的方式,并推动人工智能发展中的创新。

2、但是,当前生成式人工智能在处理复杂语境和理解用户意图时仍存在局限。这可能导致模型无法准确理解用户需求,从而生成与用户期望不符的内容。在模型的训练和应用过程中,可能涉及用户的敏感信息和隐私,引发数据安全和隐私保护的问题。尤其缺乏某些特定领域的专业知识,导致在特定行业或领域的问题上表现不佳。例如,网络安全领域及细分领域的术语和规范性语言理解方面可能存在局限。

3、当前,一般采用基于统计的安全评估方法,通常需要大量的标注数据进行模型训练。然而,在实际应用中,标注数据往往难以获取,且标注过程耗时耗力。同时,模型训练的成本也相对较高,需要强大的计算资源和时间投入。更重要的是,即使模型训练完成后,其对于新型安全威胁的识别能力也有待验证。


技术实现思路>

1、基于此,本文档来自技高网...

【技术保护点】

1.一种生成式人工智能的安全评估方法,其特征在于,所述方法,包括:

2.如权利要求1所述的生成式人工智能的安全评估方法,其特征在于,所述通过预设预测模型对所述不同领域训练样本子集进行预测处理,以分别得到所述不同领域训练样本子集对应的拒答率、语句通顺度、描述准确度以及内容安全度,包括:

3.如权利要求2所述的生成式人工智能的安全评估方法,其特征在于,所述通过预设拒答率预测模型对所述不同领域的训练样本子集进行预测,以得到所述不同领域训练样本子集对应的拒答率,包括:

4.如权利要求3所述的生成式人工智能的安全评估方法,其特征在于,所述预设拒答率预测模型包括多...

【技术特征摘要】

1.一种生成式人工智能的安全评估方法,其特征在于,所述方法,包括:

2.如权利要求1所述的生成式人工智能的安全评估方法,其特征在于,所述通过预设预测模型对所述不同领域训练样本子集进行预测处理,以分别得到所述不同领域训练样本子集对应的拒答率、语句通顺度、描述准确度以及内容安全度,包括:

3.如权利要求2所述的生成式人工智能的安全评估方法,其特征在于,所述通过预设拒答率预测模型对所述不同领域的训练样本子集进行预测,以得到所述不同领域训练样本子集对应的拒答率,包括:

4.如权利要求3所述的生成式人工智能的安全评估方法,其特征在于,所述预设拒答率预测模型包括多个决策树,所述基于所述预处理后训练样本子集,对所述预设拒答率预测模型进行训练,包括:

5.如权利要求2所述的生成式人工智能的安全评估方法,其特征在于,所述通过预设语句通顺度评估模型对所述不同领域训练样本子集进行预测,以得到所述不同领域训练样本子...

【专利技术属性】
技术研发人员:郑伟袁胜
申请(专利权)人:卓望数码技术深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1