基于多头注意力的图片生成方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及自然语言技术领域，揭露一种基于多头注意力的图片生成方法，包括：获取输入文本，对输入文本进行分词，得到分词文本；查询分词文本中的文本实体，并通过预设的前馈神经网络提取所述文本实体的特征，得到文本特征；通过前馈神经网络的网络编码对文本特征进行编码，得到文本特征向量，并利用预设到的序列编码模型将输入文本向量化，得到多个词向量；通过多头注意力机制对词向量进行筛选，得到筛选词向量；基于筛选词向量和文本特征向量，利用预设的图片生成器生成输入文本对应的文本图片。本发明专利技术还提出一种基于多头注意力的图片生成装置、设备及存储介质。本发明专利技术可以提升根据医疗文本生成图片的准确性。据医疗文本生成图片的准确性。据医疗文本生成图片的准确性。

【技术实现步骤摘要】
基于多头注意力的图片生成方法、装置、设备及介质


[0001]本专利技术涉及自然语言
，尤其涉及一种基于多头注意力的图片生成方法、装置、设备及介质。

技术介绍

[0002]随着人们工作节奏和工作量的增加，自动化程度的推广，对于通过文字自动生成图片的需求也越来越多。在医疗场景中，也存在着根据文字自动生成图片的需求，特别是在某些医学科普文章或者课件中，为了更生动形象地描述病情、治疗方式等，常常需要根据文字自动生成相应的图片，例如，在介绍心脏病发作的过程时，可以通过患者描述的文字自动生成包含心脏组织结构、血液循环等元素的心脏病发作图，更生动形象地向读者展示心脏病的具体表现形式。
[0003]然而现有的图片生成方法大多都只从生成图片所属的主题类型的角度生成图片，并不能基于输入的医疗文本准确地生成与输入的医疗文本匹配的图片。

技术实现思路

[0004]本专利技术提供一种基于多头注意力的图片生成方法、装置、设备及介质，其主要目的在于提升根据医疗文本生成图片的准确性。
[0005]为实现上述目的，本专利技术提供的一种基于多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多头注意力的图片生成方法，其特征在于，所述方法包括：获取输入文本，并对所述输入文本进行分词，得到分词文本；利用预设的实体字典查询所述分词文本中的文本实体，并通过预设的前馈神经网络提取所述文本实体的特征，得到文本特征；通过所述前馈神经网络的网络编码对所述文本特征进行编码，得到文本特征向量，并利用预设的序列编码模型将所述输入文本向量化，得到多个词向量；通过多头注意力机制对所述词向量进行筛选，得到筛选词向量；基于所述筛选词向量和所述文本特征向量，利用预设的图片生成器生成所述输入文本对应的文本图片。2.如权利要求1所述的基于多头注意力的图片生成方法，其特征在于，所述对所述输入文本进行分词，得到分词文本，包括：根据预设的统计词典构建所述统计字典中词的前缀词典；基于标点符号或者非中文字符将所述输入文本划分为多个输入文本子句；查找所述输入文本子句中的各个字词是否存在于所述统计词典中；对于存在于所述统计词典中的字词，通过所述前缀词典和所述输入文本子句构建有向无环图，并基于所述有向无环图对所述输入文本子句进行分词，得到所述分词文本；对于不存在于所述统计词典中的字词，使用隐马尔可夫模型和维特比算法对所述输入文本子句进行隐状态查找，得到所述分词文本。3.如权利要求1所述的基于多头注意力的图片生成方法，其特征在于，所述基于所述筛选词向量和所述文本特征向量，利用预设的图片生成器生成所述输入文本对应的文本图片，包括：步骤A：根据所述筛选词向量和所述文本特征向量构建组合向量，并将所述组合向量转化为矩阵形式，得到组合矩阵；步骤B：反卷积所述组合矩阵，得到反卷积矩阵，并对所述反卷积矩阵进行批归一化和通过第一激活函数进行激活，得到激活图片；重复执行步骤A和步骤B，直到所述激活图片不再变化时，得到原始图片；对所述原始图片进行反卷积，并通过第二激活函数进行激活，得到所述输入文本对应的文本图片。4.如权利要求1所述的基于多头注意力的图片生成方法，其特征在于，所述通过多头注意力机制对所述词向量进行筛选，得到筛选词向量，包括：将各个所述词向量复制为多份后分别乘以所述词向量的权重矩阵，得到多个加权矩阵；通过预设的注意力计算公式计算注意力，得到标量值；将各个所述加权矩阵分别乘以所述标量值后再拼接，得到筛选词向量。5.如权利要求1所述的基于多头注意力的图片生成方法，其特征在于，所...

【专利技术属性】
技术研发人员：舒畅，肖京，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：