System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 安全检测方法、装置、电子设备及可读存储介质制造方法及图纸_技高网
当前位置: 首页 > 专利查询>清华大学专利>正文

安全检测方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:40990781 阅读:5 留言:0更新日期:2024-04-18 21:33
本发明专利技术提供一种安全检测方法、装置、电子设备及可读存储介质,其中的方法包括:获取待检测文本;获取用户端对待检测文本的子任务检测指令;基于预先训练的安全检测模型,根据待检测文本的子任务检测指令,对待检测文本进行安全检测,得到安全检测结果;其中,安全检测模型通过根据训练样本数据集进行训练优化得到,以及,安全检测模型包括多个安全检测子任务模块。该方法通过包括多个安全检测子任务模块的安全检测模型对待检测文本进行安全检测,能够用于检测各种文本的安全性,克服了现有安全检测方法通用性不高、解释性不强且检测准确度低的缺陷,实现了更加准确、全面的检测性能。

【技术实现步骤摘要】

本专利技术涉及安全检测,尤其涉及一种安全检测方法、装置、电子设备及可读存储介质


技术介绍

1、近年来,安全检测已成为一个越来越重要的课题,尤其随着大型语言模型的快速发展,开发可靠的安全检测系统变得更加必要。

2、现有安全检测系统例如谷歌提供的perpective api等,大多依赖分类模型,在固定有限的若干安全类别上输出预测为不安全的概率。

3、但是,这些系统存在以下缺陷:

4、(1)缺乏细粒度的检测能力。例如一些安全检测器仅仅支持二分类检测,或者仅仅能够检测有限范围的安全问题。

5、(2)缺乏可解释性。目前的安全检测器大多数输出的是判断为不安全的概率,缺乏例如判断依据等相关解释性内容。

6、(3)缺乏结合上文的检测能力。现有安全检测器大多检测的是单独文本,而不支持对话级别的文本检测。

7、(4)缺乏泛化能力。现有安全检测器大多在有限来源的数据上进行训练,对于训练分布外的数据检测性能较差。

8、因此,如何解决现有安全检测方法通用性不高、解释性不强且检测准确度低的问题,显得十分必要。


技术实现思路

1、本专利技术提供一种安全检测方法、装置、电子设备及可读存储介质,用以克服现有安全检测方法通用性不高、解释性不强且检测准确度低的缺陷,实现更加准确、全面的检测性能。

2、一方面,本专利技术提供一种安全检测方法,包括:获取待检测文本;获取用户端对所述待检测文本的子任务检测指令;基于预先训练的安全检测模型,根据所述待检测文本的子任务检测指令,对所述待检测文本进行安全检测,得到安全检测结果;其中,所述安全检测模型通过根据训练样本数据集进行训练优化得到,以及,所述安全检测模型包括多个安全检测子任务模块。

3、所述多个安全检测子任务模块包括整体安全性判断子任务模块、潜在安全问题检测子任务模块、特定安全问题判断子任务模块、安全程度比较子任务模块、针对目标检测子任务模块、不安全片段检测子任务模块以及安全检测解释子任务模块。

4、进一步地,所述基于预先训练的安全检测模型,根据所述待检测文本的子任务检测指令,对所述待检测文本进行安全检测,包括:根据所述子任务检测指令,确定对所述待检测文本进行安全检测的目标安全检测子任务模块;获取所述目标安全检测子任务模块对应的目标子任务检测提示模板;根据所述目标子任务检测提示模板,利用目标安全检测子任务模块对所述待检测文本进行安全检测,得到所述安全检测结果。

5、进一步地,所述训练样本数据集包括普通训练样本和对抗训练样本,每一训练样本包括安全检测指令、待检测文本数据及其对应的检测结果数据;其中,所述对抗训练样本通过基于api的大语言模型构建得到。

6、进一步地,所述安全检测模型基于flan-t5模型构建得到。

7、进一步地,在训练安全检测模型的过程中,采用交叉熵损失函数对所述安全检测模型进行训练优化。

8、第二方面,本专利技术还提供一种安全检测装置,包括:待检测文本获取模块,用于获取待检测文本;子任务检测指令获取模块,用于获取用户端对所述待检测文本的子任务检测指令;子任务安全检测模块,用于基于预先训练的安全检测模型,根据所述待检测文本的子任务检测指令,对所述待检测文本进行安全检测,得到安全检测结果;其中,所述安全检测模型通过根据训练样本数据集进行训练优化得到,以及,所述安全检测模型包括多个安全检测子任务模块。

9、第三方面,本专利技术还提供一种安全检测器,运行时采用如上述任一项所述的安全检测方法,或者,包括如上述文所述的安全检测装置。

10、第四方面,本专利技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的安全检测方法。

11、第五方面,本专利技术还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的安全检测方法。

12、本专利技术提供的一种安全检测方法,通过获取待检测文本,并获取用户端对所述待检测文本的子任务检测指令,进而基于预先训练的安全检测模型,根据待检测文本的子任务检测指令,对待检测文本进行安全检测,得到安全检测结果,其中,安全检测模型通过根据训练样本数据集进行训练优化得到,以及,安全检测模型包括多个安全检测子任务模块。该方法通过包括多个安全检测子任务模块的安全检测模型对待检测文本进行安全检测,能够用于检测各种文本的安全性,克服了现有安全检测方法通用性不高、解释性不强且检测准确度低的缺陷,实现了更加准确、全面的检测性能。

本文档来自技高网...

【技术保护点】

1.一种安全检测方法,其特征在于,包括:

2.根据权利要求1所述的安全检测方法,其特征在于,所述多个安全检测子任务模块包括整体安全性判断子任务模块、潜在安全问题检测子任务模块、特定安全问题判断子任务模块、安全程度比较子任务模块、针对目标检测子任务模块、不安全片段检测子任务模块以及安全检测解释子任务模块。

3.根据权利要求1所述的安全检测方法,其特征在于,所述基于预先训练的安全检测模型,根据所述待检测文本的子任务检测指令,对所述待检测文本进行安全检测,包括:

4.根据权利要求1所述的安全检测方法,其特征在于,所述训练样本数据集包括普通训练样本和对抗训练样本,每一训练样本包括安全检测指令、待检测文本数据及其对应的检测结果数据;

5.根据权利要求1-4中任一项所述的安全检测方法,其特征在于,所述安全检测模型基于Flan-T5模型构建得到。

6.根据权利要求5所述的安全检测方法,其特征在于,在训练安全检测模型的过程中,采用交叉熵损失函数对所述安全检测模型进行训练优化。

7.一种安全检测装置,其特征在于,包括:

8.一种安全检测器,其特征在于,运行时采用如权利要求1-6中任一项所述的安全检测方法,或者,包括如权利要求7所述的安全检测装置。

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6中任一项所述的安全检测方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的安全检测方法。

...

【技术特征摘要】

1.一种安全检测方法,其特征在于,包括:

2.根据权利要求1所述的安全检测方法,其特征在于,所述多个安全检测子任务模块包括整体安全性判断子任务模块、潜在安全问题检测子任务模块、特定安全问题判断子任务模块、安全程度比较子任务模块、针对目标检测子任务模块、不安全片段检测子任务模块以及安全检测解释子任务模块。

3.根据权利要求1所述的安全检测方法,其特征在于,所述基于预先训练的安全检测模型,根据所述待检测文本的子任务检测指令,对所述待检测文本进行安全检测,包括:

4.根据权利要求1所述的安全检测方法,其特征在于,所述训练样本数据集包括普通训练样本和对抗训练样本,每一训练样本包括安全检测指令、待检测文本数据及其对应的检测结果数据;

5.根据权利要求1-4中任一项所述的安全检测方法,其特征在于...

【专利技术属性】
技术研发人员:黄民烈张哲昕刘海锋杨振宇
申请(专利权)人:清华大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1