【技术实现步骤摘要】
本专利技术涉及人工智能领域，尤其涉及一种ai文本检测模型的构建方法、装置、设备及存储介质。
技术介绍
1、随着人工智能技术的迅猛发展，生成自然语言文本的能力得到了显著提升。现代ai生成的文本在语法和语义上几乎可以媲美人类创作，广泛应用于新闻写作、内容生成、聊天机器人等领域。然而，这种技术的进步也带来了新的挑战，例如如何区分ai生成的文本和人为创作的文本。准确识别和区分这两类文本对于保护版权、防止虚假信息传播、维护内容创作的公平性等具有重要意义。
2、现有的文本检测技术多依赖于统计特征和传统的机器学习方法，如词频统计、n-gram模型等，这些方法在处理大规模、高复杂度文本时往往表现不足。近年来，基于深度学习的文本检测方法逐渐兴起，特别是预训练模型(如bert)在自然语言处理任务中表现出色。bert模型通过在大规模语料库上进行预训练，能够捕捉到文本的深层次语义信息，为文本检测提供了新的解决方案。
3、然而，如何高效地构建和训练基于bert模型的ai文本检测模型，以及如何评估其性能，仍然是一个具有挑战性的问题。现有技术中，针对bert模型的优化和应用方法较为有限，模型的稳定性和泛化能力也有待进一步提升。
技术实现思路
1、本专利技术的主要目的在于提供一种ai文本检测模型的构建方法、装置、设备及存储介质，旨在解决现有知识库构建方法存在数据利用率低的技术问题。
2、为实现上述目的，本专利技术提供一种ai文本检测模型的构建方法，所述ai文本检测模型的构建方法
3、构建训练数据集，所述训练数据集包括用ai生成的文本以及人为创作的文本，确定预训练bert模型；
4、将所述训练数据集中的训练数据进行编码，得到对应的标记数据；
5、在所述预训练bert模型上添加线性层分类器，得到初始分类器，利用交叉熵损失函数与优化器及所述标记数据训练所述初始分类器，得到ai文本检测模型。
6、可选地，所述在所述预训练bert模型上添加线性层分类器，得到初始分类器的步骤包括：
7、所述线性层分类器为全连接层分类器，在所述预训练bert模型上添加全连接层分类器，得到所述初始分类器。
8、可选地，所述利用交叉熵损失函数与优化器及所述标记数据训练所述初始分类器，得到ai文本检测模型的步骤包括：
9、初始化所述初始分类器的参数，将所述标记数据输入所述初始分类器，得到预测结果；
10、利用所述交叉熵损失函数与所述预测结果计算所述初始分类器的参数的梯度信息；
11、所述优化器通过所述初始分类器的参数的梯度信息更新所述初始分类器的参数，得到所述ai文本检测模型。
12、可选地，所述将所述训练数据集中的训练数据进行编码，得到对应的标记数据的步骤包括：
13、确定分词工具，利用所述分词工具对所述训练数据中的句子进行分词，生成词语列表；
14、利用所述预训练bert模型的词汇表，将所述词语列表中的词语转换为对应的标记数据。
15、可选地，所述构建训练数据集的步骤包括：
16、获取人为创作的文本作为正例，获取ai生成的文本作为负例，选择相同数量的正例与负例构建所述训练数据集。
17、可选地，所述得到ai文本检测模型的步骤之后，还包括：
18、通过交叉验证方法评估所述ai文本检测模型的性能，所述性能包括稳定性与泛化能力。
19、可选地，所述得到ai文本检测模型的步骤之后，还包括：
20、获取待检测文本，将所述待检测文本输入所述ai文本检测模型，确定所述待检测文本是否为ai生成的文本。
21、进一步地，为实现上述目的，本专利技术还提供一种ai文本检测模型的构建装置，所述ai文本检测模型的构建装置包括：
22、数据获取模块，构建训练数据集，所述训练数据集包括用ai生成的文本以及人为创作的文本，确定预训练bert模型；
23、数据编码模块，将所述训练数据集中的训练数据进行编码，得到对应的标记数据；
24、模型训练模块，在所述预训练bert模型上添加线性层分类器，得到初始分类器，利用交叉熵损失函数与优化器及所述标记数据训练所述初始分类器，得到ai文本检测模型。
25、进一步地，为实现上述目的，本专利技术还提供一种ai文本检测模型的构建设备，所述ai文本检测模型的构建设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的ai文本检测模型的构建程序，所述ai文本检测模型的构建程序被所述处理器执行时实现如上述所述的ai文本检测模型的构建方法的步骤。
26、进一步地，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质上存储有ai文本检测模型的构建程序，所述ai文本检测模型的构建程序被处理器执行时实现如上所述的ai文本检测模型的构建方法的步骤。
27、本专利技术涉及一种ai文本检测模型的构建方法，通过构建包括ai生成的文本与人为创作的文本的训练数据集，确定预训练bert模型。将训练数据集中的训练数据进行编码，得到的对应的标记数据。在预训练bert模型上添加线性层分类器，得到初始分类器，利用交叉熵损失函数与优化器及标记数据训练初始分类器，得到ai文本检测模型。本专利技术利用预训练bert模型的常识，能够获得更快的收敛速度和更好的泛化能力，提高了检测的准确性和用户信心，避免误导性信息的传播，为检测ai生成中文文本提供了一种有效且可靠的解决方案，进一步推动了自然语言处理技术的发展和应用。
本文档来自技高网...【技术保护点】
1.一种AI文本检测模型的构建方法，其特征在于，所述AI文本检测模型的构建方法包括以下步骤：
2.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述在所述预训练BERT模型上添加线性层分类器，得到初始分类器的步骤包括：
3.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述利用交叉熵损失函数与优化器及所述标记数据训练所述初始分类器，得到AI文本检测模型的步骤包括：
4.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述将所述训练数据集中的训练数据进行编码，得到对应的标记数据的步骤包括：
5.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述构建训练数据集的步骤包括：
6.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述得到AI文本检测模型的步骤之后，还包括：
7.如权利要求1所述的AI文本检测模型的构建方法，其特征在于，所述得到AI文本检测模型的步骤之后，还包括：
8.一种AI文本检测模型的构建装置，其特征在于，所述AI文本检测模型的构
9.一种AI文本检测模型的构建设备，其特征在于，所述AI文本检测模型的构建设备包括存储器、处理器以及存储在所述存储器上并可以在所述处理器上运行的AI文本检测模型的构建程序，所述AI文本检测模型的构建程序被所述处理器执行时实现如权利要求1-7中任一项所述的AI文本检测模型的构建方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有AI文本检测模型的构建程序，所述AI文本检测模型的构建程序被处理器执行时实现如权利要求1-7中任一项所述的AI文本检测模型的构建方法的步骤。
...【技术特征摘要】
1.一种ai文本检测模型的构建方法，其特征在于，所述ai文本检测模型的构建方法包括以下步骤：
2.如权利要求1所述的ai文本检测模型的构建方法，其特征在于，所述在所述预训练bert模型上添加线性层分类器，得到初始分类器的步骤包括：
3.如权利要求1所述的ai文本检测模型的构建方法，其特征在于，所述利用交叉熵损失函数与优化器及所述标记数据训练所述初始分类器，得到ai文本检测模型的步骤包括：
4.如权利要求1所述的ai文本检测模型的构建方法，其特征在于，所述将所述训练数据集中的训练数据进行编码，得到对应的标记数据的步骤包括：
5.如权利要求1所述的ai文本检测模型的构建方法，其特征在于，所述构建训练数据集的步骤包括：
6.如权利要求1所述的ai文本检测模型的构建方法，其特征在于，所述得到ai文...
【专利技术属性】
技术研发人员：瞿晓阳，王健宗，陈劲钢，张旭龙，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。