一种多模态融合技术的图书宣传摘要生成方法和系统技术方案

本发明专利技术公开了一种多模态融合技术的图书宣传摘要生成方法和系统，方法包括以下步骤：S1：获取包括图书信息的文本信息；S2：根据所述文本信息，基于TextRank的抽取式摘要生成，生成第一摘要；S3：根据所述文本信息，基于多模态指针生成网络，生成第二摘要；S4：取第一摘要和第二摘要的并集为最终的图书宣传摘要。本发明专利技术结合抽取式与生成式模型的优点，并取并集，克服了两者的缺陷得到更加完整的营销文本。服了两者的缺陷得到更加完整的营销文本。服了两者的缺陷得到更加完整的营销文本。

【技术实现步骤摘要】
一种多模态融合技术的图书宣传摘要生成方法和系统


[0001]本专利技术涉及多模态融合领域，更具体地，涉及一种多模态融合技术的图书宣传摘要生成方法和系统。

技术介绍

[0002]随着科学技术的发展及现代社交软件的普及，新媒体的影响力迅速增长，借助微信推送等网络技术方式推广宣传图书已经成了很多图书馆和书店常用的营销宣传手段。
[0003]目前业界针对图书宣传摘要生成方法一般有以下几种：
[0004]1、抽取式摘要生成
[0005]抽取式摘要是一种比较成熟的方案，其中Text rank排序算法以其简洁、高效的特点被工业界广泛运用。其思想是先去除文章中的一些停用词，之后对句子的相似度进行度量，计算每一句相对另一句的相似度得分，迭代传播，直到误差小于阈值。再对上述得到的关键语句进行排序，便能得到想要的摘要。抽取式摘要主要考虑单词词频，并没有过多的语义信息，形成的句子可能仅仅是内容的浓缩无法考量场景信息。
[0006]2、生成式摘要生成
[0007]生成式文本摘要主要依靠深度神经网络结构实现。神经网络文本生成模型通常是自回归语言模型或seq2seq模型。这些模型通过按顺序采样单词来生成文本，每个单词都以前面的单词为条件，对于一些机器翻译和摘要任务来说是最先进的，们不局限于简单地从原文中选择和重排段落。它们通常利用最大似然估计和Teacher
‑
Forcing进行训练，这些方法非常适合优化困惑度，但可能导致较差的样本质量，因为生成文本时，历史生成单词可能在训练时没有出现过，导致误差逐渐累积。
[0008]目前的摘要研究通常以文本为处理对象，一般不涉及其他模态信息的处理。然而，不同模态的信息是相互补充和验证的，充分有效的利用不同模态的信息可以帮助模型更好的定位关键内容，生成更好的摘要。
[0009]现有技术中公开提供一种基于多模态流形学习和社交网络特征的推特摘要生成方法，包括以下步骤：获取用户的特定话题推文集，以及用户互动信息；构建文本内的关系矩阵和跨文本的关系矩阵；结合所述矩阵计算推文显著度；结合用户互动信息计算社会认同度；将推文显著度与社会认同度结合即可得到最终的推文显著度，进而选择显著度最高的若干句子成为摘要。该方案仍存在许多的问题如不同模态信息交互较少，现有工作模态融合的核心在于层次化注意力机制，除此以外，不同模态信息缺少显式的交互方式，无法充分的发挥模态信息之间的互补关系。同时多模态摘要生成需要大量的训练数据依赖于人工先验知识。

技术实现思路

[0010]本专利技术的首要目的是提供一种多模态融合技术的图书宣传摘要生成方法，结合图书摘要自动生成器将抽取式、生成式与多模态生成三种方法，解决现有技术中的缺点。
[0011]本专利技术的进一步目的是一种多模态融合技术的图书宣传摘要生成系统。
[0012]为解决上述技术问题，本专利技术的技术方案如下：
[0013]一种多模态融合技术的图书宣传摘要生成方法，包括以下步骤：
[0014]S1：获取包括图书信息的文本信息；
[0015]S2：根据所述文本信息，基于TextRank的抽取式摘要生成，生成第一摘要；
[0016]S3：根据所述文本信息，基于多模态指针生成网络，生成第二摘要；
[0017]S4：取第一摘要和第二摘要的并集为最终的图书宣传摘要。
[0018]优选地，步骤S1中的图书信息包括图书图像、书名、作者和内容简介。
[0019]优选地，所述基于TextRank的抽取式摘要生成，生成第一摘要，具体为：
[0020]TextRank算法的文本网络图可以表示为一个带权的无向网络图G＝(V,E,W)，其中:V为节点的集合，E为节点间各个边的非空有限集合，W为各边上权重的集合；假设V＝{V1,V2,...,V
n
}，则记E＝{(V
i
,V
j
),V
i
∈V,V
j
∈V,w
ij
∈W,w
ij
≠0}，W＝{w
ij
,1≤i≤n,1≤j≤n}，其中w
ij
为节点V
i
与V
j
间边的权重值；通过余弦相似度方法计算可得到句子间的一个n
×
n的相似度矩阵S
n
×
n
：
[0021][0022]矩阵S
n
×
n
为对称矩阵，且对角线上的元素值全部取1；
[0023]由G和对应的相似度矩阵S
n
×
n
，可计算出每个节点的权重，对于任意节点V
i
，In(V
i
)表示指向V
i
的节点集合，Out(V
j
)表示V
i
指向节点的集合，节点V
i
的权重计算式表示为：
[0024][0025]式中:W
s
(V
i
)为节点V
i
的权重，d为阻尼系数，W
s
(V
j
)表示上一次迭代后节点V
j
的权重值，w
ji
表示节点V
j
和节点V
i
间的相似度；
[0026]则基于TextRank的文本网络图中各节点的权重的计算式表示为:
[0027][0028]式中:s
i
和s
j
表示文本中的句子，W
s
(s
i
)表示句子s
i
在TextRank网络图中的权重；
[0029]通过迭代计算就能得到趋于正常和稳定的权重值后，依据句子的权重值大小对句子进行排序，根据实际需求选取适量排序靠前的句子，并按照其在原文中的顺序排序，生成文本摘要。
[0030]优选地，首次使用TextRank算法计算各节点的权重时，需要指定每个节点的初始值，即自身的权重，设定所有节点的初始权重为1，则B0＝(1,1,...,1)
T
，然后根据边的权重递归迭代计算至收敛：
[0031]B
i
＝S
n
×
n
·
B
i
‑1[0032]当B
i
与B
i
‑1的差值小于阈值时，达到收敛，迭代计算结束。
[0033]优选地，所述基于多模态指针生成网络，生成第二摘要，具体为：
[0034]对于文本特征，利用Seq2Seq模型得到一个文本嵌入向量；
[0035]对于图像特征，利用基于模型隐藏状态初始化的视觉特征提取策略，得到视觉上下文向量；
[0036]将所述文本嵌入向量和视觉上下文向量结合，计算得到多模态上下文向量；
[0037]利用所述多模态上下文向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合技术的图书宣传摘要生成方法，其特征在于，包括以下步骤：S1：获取包括图书信息的文本信息；S2：根据所述文本信息，基于TextRank的抽取式摘要生成，生成第一摘要；S3：根据所述文本信息，基于多模态指针生成网络，生成第二摘要；S4：取第一摘要和第二摘要的并集为最终的图书宣传摘要。2.根据权利要求1所述的多模态融合技术的图书宣传摘要生成方法，其特征在于，步骤S1中的图书信息包括图书图像、书名、作者和内容简介。3.根据权利要求1所述的多模态融合技术的图书宣传摘要生成方法，其特征在于，所述基于TextRank的抽取式摘要生成，生成第一摘要，具体为：TextRank算法的文本网络图可以表示为一个带权的无向网络图G＝(V,E,W)，其中:V为节点的集合，E为节点间各个边的非空有限集合，W为各边上权重的集合；假设V＝{V1,V2,...,V
n
}，则记E＝{(V
i
,V
j
),V
i
∈V,V
j
∈V,w
ij
∈W,w
ij
≠0}，W＝{w
ij
,1≤i≤n,1≤j≤n}，其中w
ij
为节点V
i
与V
j
间边的权重值；通过余弦相似度方法计算可得到句子间的一个n
×
n的相似度矩阵S
n
×
n
：矩阵S
n
×
n
为对称矩阵，且对角线上的元素值全部取1；由G和对应的相似度矩阵S
n
×
n
，可计算出每个节点的权重，对于任意节点V
i
，In(V
i
)表示指向V
i
的节点集合，Out(V
j
)表示V
i
指向节点的集合，节点V
i
的权重计算式表示为：式中:W
s
(V
i
)为节点V
i
的权重，d为阻尼系数，W
s
(V
j
)表示上一次迭代后节点V
j
的权重值，w
ji
表示节点V
j
和节点V
i
间的相似度；则基于TextRank的文本网络图中各节点的权重的计算式表示为:式中:s
i
和s
j
表示文本中的句子，W
s
(s
i
)表示句子s
i
在TextRank网络图中的权重；通过迭代计算就能得到趋于正常和稳定的权重值后，依据句子的权重值大小对句子进行排序，根据实际需求选取适量排序靠前的句子，并按照其在原文中的顺序排序，生成文本摘要。4.根据权利要求3所述的多模态融合技术的图书宣传摘要生成方法，其特征在于，首次使用TextRank算法计算各节点的权重时，需要指定每个节点的初始值，即自身的权重，设定所有节点的初始权重为1，则B0＝(1,1,...,1)
T
，然后根据边的权重递归迭代计算至收敛：B
i
＝S
n
×
n
·
B
i
‑1当B
i
与B
i
‑1的差值小于阈值时，达到收敛，迭代计算结束。
5.根据权利要求1所述的多模态融合技术的图书宣传摘要生成方法，其特征在于，所述基于多模态指针生成网络，生成第二摘要，具体为：对于文本特征，利用Seq2Seq模型得到一个文本嵌入向量；对于图像特征，利用基于模型隐藏状态初始化的视觉特征提取策略，得到视觉上下文向量；将所述文本嵌入向量和视觉上下文向量结合，计算得到多模态上下文向量；利用所述多模态上下文向量更新指针生成网络，所述指针生成网络用来预测单词，得到第二摘要。6.根据权利要求5所述的多模态融合技术的图书宣传摘要生成方法，其特征在于，对于文本特征，所述Seq2Seq模型的结构为Encoder
‑
Decoder模型，先用Encoder将原文本编码成一个中间层的隐藏状态，然后用Decoder来将该隐藏状态解码成为另一个文本，Seq2Seq模型在Encoder端是一个双向的LSTM，这个双向的LSTM可以捕捉原文本的长距离依赖关系以及位置信息，编码时词嵌入经过双向LSTM后得到编码状态，在Decoder端，解码器是一个单向的LSTM，训练阶段时参考摘要词依次输入，在时间步t得到解码状态，使用编码状态和解码状态得到该时间步原文第i个词注意力权重，编码状态h
i
与解码状态s
t
如下所示：h
i
＝f
enc
(x
i
,h
i
‑1)s
t
＝f
dec
(s
t
...

【专利技术属性】
技术研发人员：李岱峰，林凯欣，李栩婷，李鑫，古风云，江涛，廖健斌，
申请(专利权)人：中山大学，
类型：发明
国别省市：