相似文本的生成方法及装置制造方法及图纸

技术编号:25690865 阅读:28 留言:0更新日期:2020-09-18 21:02
本发明专利技术公开了一种相似文本的生成方法及装置,涉及语义解析技术领域,为解决现有技术中相似文本与初始文本的实际语义不完全相同的问题而发明专利技术。该方法主要包括:获取对所述初始文本进行分词后的文本分词;根据预置词向量算法,查找所述文本分词的文本词向量;将所述文本词向量和所述文本词向量的相对位置向量进行拼接,生成拼接向量;将所述拼接向量输入预置编码器,生成所述初始文本的表征词向量集合;将所述表征词向量集合输入预置解码器,解算所述初始文本的相似文本。本发明专利技术主要应用于自然语言处理的过程中。此外,本发明专利技术还涉及区块链技术,拼接向量可存储于区块链节点中。

【技术实现步骤摘要】
相似文本的生成方法及装置
本专利技术涉及语义解析
,特别是涉及一种相似文本的生成方法及装置。
技术介绍
随着人工智能的不断发展,人机交互系统的应用越来越广泛。在使用人机交互系统的过程中,用户输入的文本信息,或者语音转换得到的文本信息,可能并不是用户实际要表达的含义。为了避免人机交互系统对用户输入信息的错误解读,往往通过训练双语环境或者多语环境,将用户输入信息转换成多种准确的表述方法。但在双语翻译模型中会遇到语法语义偏差以及文本对齐的问题。现有技术中,采用根据第一神经网络模型计算初始文本的当前相似文本,然后根据第二神经网络模型计算初始文本和当前相似文本的当前判别概率,再判断当前判别概率是否等于预设概率值,若不等于则根据预设模型优化策略对第一神经网络模型进行优化,再根据优化后的第一神经网络模型重进计算当前相似文本,最后循环判断计算得到的当前判别概率是否等于预设概率值,若等于则相似文本作为目标相似文本。本专利技术创造的专利技术人在研究中发现,现有技术的方案,采用神经网络方法计算相似文本,判别依赖依据主要在于第一神经网络模本文档来自技高网...

【技术保护点】
1.一种相似文本的生成方法,其特征在于,包括:/n获取初始文本的文本分词;/n根据预置词向量算法,查找所述文本分词的文本词向量;/n将所述文本词向量和所述文本词向量的相对位置向量进行拼接,生成拼接向量;/n将所述拼接向量输入预置编码器,生成所述初始文本的表征词向量集合;/n将所述表征词向量集合输入预置解码器,解算所述初始文本的相似文本。/n

【技术特征摘要】
1.一种相似文本的生成方法,其特征在于,包括:
获取初始文本的文本分词;
根据预置词向量算法,查找所述文本分词的文本词向量;
将所述文本词向量和所述文本词向量的相对位置向量进行拼接,生成拼接向量;
将所述拼接向量输入预置编码器,生成所述初始文本的表征词向量集合;
将所述表征词向量集合输入预置解码器,解算所述初始文本的相似文本。


2.如权利要求1所述的方法,其特征在于,所述获取初始文本的文本分词,包括:
将所述初始文本输入至预置的结巴分词模型中;
获取所述结巴分词模型输出的文本分词。


3.如权利要求1所述的方法,其特征在于,所述将所述拼接向量输入预置编码器,生成所述初始文本的表征词向量集合,包括:
根据所述拼接向量的词序概率,计算所述拼接向量的因式分解向量,其中,所述拼接向量存储在区块链中;
根据预置的自注意力机制,提取所述因式分解向量的注意力特征;
基于所述因式分解向量的向量平均矢量和向量标准差矢量,对所述因式分解向量进行随机采样生成采样样本;
根据所述采样样本和所述注意力特征,生成所述初始文本的表征词向量集合。


4.如权利要求3所述的方法其特征在于,所述根据所述拼接向量的词序概率,计算所述拼接向量的因式分解向量,包括:
根据所述拼接向量计算所述初始文本的词序概率,其中,所述词序概率是指所述文本分词进行全排列的每种排列方式的条件概率,所述条件概率的发生条件是按照所述排列方式排列在当前分词之前的所有分词全部发生;
确定所述词序概率的最大值对应的所述文本分词的排列顺序为分词语义顺序;
将相邻分词向量合并,生成所述拼接向量的因式分解向量,所述相邻分词向量是指与所述分词语义顺序中顺序邻接的文本分词对应的所述拼接向量中的向量元素。


5.如权利要求3所述的方法其特征在于,所述基于所述因式分解向量的向量平均矢量和向量标准差矢量,对所述因式分解向量进行随机采样生成采样样本,包括:
统计所述因式分解向量的向量平均矢量和向量标准差矢量;
根据所述向量平均矢量和所述向量标准差矢量,对所述因式分解向量进行随机采样生成采样样本。


6.如权利要求5所述的方法其特征在于,所述统计所述因式分解向量的向量平均矢量和向...

【专利技术属性】
技术研发人员:骆加维吴信朝龚连银周宝陈远旭
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1