【技术实现步骤摘要】
一种GPT生成语言识别与检测系统
[0001]本专利技术涉及一种,特别涉及一种GPT生成语言识别与检测系统。
技术介绍
[0002][0003]现如今的社会对今年1月对1000名18岁以上学生进行了调查,结果显示48%的学生会使用ChatGPT完成小测验,而53%的学生则使用ChatGPT撰写论文。英国TheTab网站的调查显示,在12月和1月这两个大学的冬季考试季中,调查的八所大学中,就有高达128402次和982809次使用大学wifi浏览ChatGPT网站的记录,数量相当惊人。如何与剽窃作斗争,保证学术诚信,已引起各高校的高度重视。许多其他的应用和活动也面临着类似的问题,法律、医疗和金融等专业领域问题上的实证评估领域,可能会产生潜在的有害或虚假信息。大量的基于AI恶意程序生成的假新闻或知识问答,也可能会导致大量不实的误导信息肆意传播。
[0004]现有技术中,通常试图采用统计离群点检测法试图根据生成文本中的痕迹区分人类编写的文本和机器生成的文本,并引入了GLTR可视化工具,以帮助人类验证者检测机器生成的文本。它使用掩码填充策略构建模型生成文本的多个扰动,并将扰动的对数概率与未扰动的生成进行比较。如果未扰动文本的对数概率显著高于扰动的对数概率,则认为文本是模型生成的。
[0005]另一种检测方法依赖于分类器,这些分类器经过微调以区分人类书写的文本和机器生成的文本。这方面的早期努力是利用分类器来检测虚假的评论,主要通过多种语言模型微调,从而分辨人类的回答和机器的回答。
[0006]然而现有技 ...
【技术保护点】
【技术特征摘要】
1.一种GPT生成语言识别与检测系统,其特征在于,包括用户网页端、前端组成和模型与算法模块;用户网页端包含有文本检测界面、单个文件检测界面和多个文本批量检测界面;前端组成包含有HTML、CSS和JavaScript算法,用于前端展示和列序;所述模型与算法模块包含有回译模块和RMAP模型,其中RMAP模型包含有RoBERTa转换词向量模块、RCNN卷积神经网络、多头注意力池化和标签平滑正则化单元,用于形成人类与ChatGPT对比中英文数据库以及对生成语言的识别;回译模块包含有后端文件转文本和文本分类器,其中后端文件转文本包含有PHP算法,用于接受来自JavaScript的文本信息并提取文本信息;文本分类器包含有Python,用于对文本类型分类;模型与算法模块包含有如下步骤S1.RoBERTa转换词向量模块分别调用中文与英文RoBERTa模型,从词嵌入层获取初始字向E1~E
n
然后输入到多层双向Transformer编码器中以获得带有特征信息的向量T1~T
n
,以此将输入的文本信息形成预处理后文本的向量表示返回;S2.通过RCNN卷积神经网络作为深度特征提取模块,将输入的预处理文本向量表示处理为文本词向量表示输出;S3.通过多头注意力池化,将处理后的文本词向量输入后处理为二分类结果;S31.当模型在训练过程中面对数据较少或特征量较少时,采用标签平滑正则化单元,通过输入文本特征向量表示,并设置真实的标签以及平滑因子,调节平滑程度后,即可输出经过平滑法处理后的预测结果。2.根据权利要求1所述的一种GPT生成语言识别与检测系统,其特征在于,所述回译模块主要用删除重复的语句、进行分词和去除无用的词汇,先对句子进行分词,删除重复语句,基于HC3数据集预处理。3.根据权利要求1所述的一种GPT生成语言识别与检测系统,其特征在于,S2中,在经典RCNN模型的词表示学习过程中采用BiLSTM获得文本的上下文信息并将BiLSTM获得的隐层输出与词向量拼接组合为新的词表示,具体公式如下c
l
(ω
i
)=f(W
(l) c
l
(ω
i
‑1)+W
(sl) e(ω
i
‑1))c
r
(ω
i
)=f(W
(r) c
r
(ω
i+1
)+W
(sr)
e(ω
i
+1)),其中:c1(ω
i
)表示第i个目标词上下文的上文;c
r
(ω
i
)表示第i个目标词上下文的下文,它们都是维度为c的向量;e(ω
i
‑1)和e(ω
i+1
)分别表示第i
‑
1和i+1个词的词向量;W
(1)
,W
(r)
∈Rc
×
c是当前隐藏层转换到下一个隐藏层的权重矩阵;W
(s1)
和W
(sr)
是将当前词的语义与下一个词的上下文进行语义结合的矩阵;f为非线性激活函数;获取目标词上下文表示后,将其与目标词的词向量进行拼接:x
i
=[c
l
(ω
i
);e(ω
i
);c
r
(ω
i
)]一条文本的词表示通过x
i
拼接后可以表示为:X=[x1,x2,...,x
i
]文本词向量表示通过映射后,进行激活函数的处理,Y
i
=f(W
i<...
【专利技术属性】
技术研发人员:张丽莉,王要珅,韩彦博,张阳莹,陈闻生,李德顺,林道发,李悦,
申请(专利权)人:张丽莉,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。