基于序列对抗和先验推理的电子保函自动生成方法及装置制造方法及图纸

本发明专利技术涉及一种基于序列对抗和先验推理的电子保函自动生成方法及装置。该方法及装置首先将获取到的初始训练数据，输入至保函生成模型中的生成器G；之后生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；最后解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。本发明专利技术基于序列对抗生成网络和知识图谱中的先验知识，通过学习电子自然语言书写的电子保函文本内容的形式、风格、结构，实现给定特定保险种类的自动保函生成，节约保险管理人员时间成本。节约保险管理人员时间成本。节约保险管理人员时间成本。

【技术实现步骤摘要】
基于序列对抗和先验推理的电子保函自动生成方法及装置


[0001]本专利技术涉及电子保函领域，具体而言，涉及一种基于序列对抗和先验推理的电子保函自动生成方法及装置。

技术介绍

[0002]担保函是指银行、保险公司、担保公司或个人应申请人的请求，向第三方开立的一种书面信用担保凭证。但是随着电子保函数量的增加、保函相关的业务信息难以集中展示，保函自身的时效性跟踪、分类信息查询仍需要人工介入，传统的电子担保函只改变了保函的展现形式，保函及相关业务信息的管理与原始的线下纸质保函没有发生太大变化，整个保函开具的流程需要投入大量的时间成本和人力成本，效率低下。

技术实现思路

[0003]本专利技术实施例提供了一种基于序列对抗和先验推理的电子保函自动生成方法及装置，以至少解决现有电子保函开具效率低下的技术问题。
[0004]根据本专利技术的一实施例，提供了一种基于序列对抗和先验推理的电子保函自动生成方法，包括以下步骤：
[0005]S101:将获取到的初始训练数据，输入至保函生成模型中的生成器G；
[0006]S102:生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；
[0007]S103:解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。
[0008]进一步地，在步骤S103之后，方法还包括：
[0009]S104:生成器G将输出结果输入至保函生成模型中的判别器D，对保函生成模型进行训练。
[0010]进一步地，步骤S104具体包括：
[0011]判别器D采用EMLo模型，EMLo模型接收生成器G产生的序列化文本，输出维度和现有主题词类型相同的向量，通过Softmax计算每类主题概率，选择最高概率的主题类型与实际主题类型标签对比，通过交叉熵损失反向传播方法同时更新判别器D和生成器G，对保函生成模型进行训练。
[0012]进一步地，判别器D计算损失函数时增加一惩罚项，表示待判别的句子是否包括先验高频词，如果包括，再判断是否按顺序出现，根据其顺序差异做出惩罚，对不符合经验规则的生成句子施加更高的损失。
[0013]进一步地，生成器G使用ALBERT模型，输入为文本句子与其主题类型标签；ALBERT模型被配置为：经典NLP模型BERT的轻量级优化版本，其通过对输入矩阵进行线性解耦，把原始BERT模型的输入矩阵拆分为两个小矩阵的乘积的方式减小模型参数数量。
[0014]进一步地，步骤S102具体包括：
[0015]生成器G首先使用预训练词向量将文本句子中的字词根据分词结果转换为语义数值向量，然后输入至ALBERT模型，通过其自注意力编码器接收整句输入文本，输出编码器隐向量，隐向量再输入至其解码器。
[0016]进一步地，在步骤S101之前，方法还包括：
[0017]S100：按建设项目安全风险管理经验，梳理当前建设工程电子保函的主题类型；采集不同主题类型的已有电子保函文件，提取电子保函文件的文本并使用开源中文自然语言处理工具进行预处理，按文本所属主题类别进行标注，作为初始训练数据。
[0018]根据本专利技术的另一实施例，提供了一种基于序列对抗和先验推理的电子保函自动生成装置，包括：
[0019]数据输入单元，用于将获取到的初始训练数据，输入至保函生成模型中的生成器G；
[0020]数据接收单元，用于生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；
[0021]解码单元，用于解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。
[0022]进一步地，装置还包括：
[0023]训练单元，用于生成器G将输出结果输入至保函生成模型中的判别器D，对保函生成模型进行训练。
[0024]进一步地，装置还包括：
[0025]数据获取单元，用于按建设项目安全风险管理经验，梳理当前建设工程电子保函的主题类型；采集不同主题类型的已有电子保函文件，提取电子保函文件的文本并使用开源中文自然语言处理工具进行预处理，按文本所属主题类别进行标注，作为初始训练数据。
[0026]一种存储介质，存储介质存储有能够实现上述任意一项基于序列对抗和先验推理的电子保函自动生成方法的程序文件。
[0027]一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于序列对抗和先验推理的电子保函自动生成方法。
[0028]本专利技术实施例中的基于序列对抗和先验推理的电子保函自动生成方法及装置，基于序列对抗生成网络和知识图谱中的先验知识，通过学习电子自然语言书写的电子保函文本内容的形式、风格、结构，实现给定特定保险种类的自动保函生成，节约保险管理人员时间成本。
附图说明
[0029]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0030]图1为本专利技术基于序列对抗和先验推理的电子保函自动生成方法的流程图；
[0031]图2为本专利技术基于序列对抗和先验推理的电子保函自动生成方法的一优选流程图；
[0032]图3为本专利技术基于序列对抗和先验推理的电子保函自动生成方法的另一优选流程图；
[0033]图4为本专利技术基于序列对抗和先验推理的电子保函自动生成装置的模块图；
[0034]图5为本专利技术基于序列对抗和先验推理的电子保函自动生成装置的一优选模块图；
[0035]图6为本专利技术基于序列对抗和先验推理的电子保函自动生成装置的另一优选模块图。
具体实施方式
[0036]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0037]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0038]实施例1
[0039]根据本专利技术一实施例，提供了一种基于序列对抗和先验推理的电子保函自动生成方法，参见本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，包括以下步骤：S101:将获取到的初始训练数据，输入至保函生成模型中的生成器G；S102:生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本，输出编码器隐向量，隐向量再输入至生成器G内的解码器；S103:解码器在解码阶段中，根据每次输入的一个字词就预测下一个字词，最终输出为一句完整的用于电子保函部分的语句。2.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，在步骤S103之后，所述方法还包括：S104:生成器G将输出结果输入至保函生成模型中的判别器D，对保函生成模型进行训练。3.根据权利要求2所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，步骤S104具体包括：判别器D采用EMLo模型，EMLo模型接收生成器G产生的序列化文本，输出维度和现有主题词类型相同的向量，通过Softmax计算每类主题概率，选择最高概率的主题类型与实际主题类型标签对比，通过交叉熵损失反向传播方法同时更新判别器D和生成器G，对保函生成模型进行训练。4.根据权利要求3所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，判别器D计算损失函数时增加一惩罚项，表示待判别的句子是否包括先验高频词，如果包括，再判断是否按顺序出现，根据其顺序差异做出惩罚，对不符合经验规则的生成句子施加更高的损失。5.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法，其特征在于，生成器G使用ALBERT模型，输入为文本句子与其主题类型标签；ALBERT模型被配置为：经典NLP模型BERT的轻量级优化版本，其通过对输入矩阵进行线性解耦，把原始BERT模型的输入矩阵拆分为两个小矩阵的乘积的方式减小模型参数数量。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：杨之乐，吴承科，郭媛君，刘祥飞，冯伟，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：