基于深度学习的文献表征方法及装置、设备、存储介质制造方法及图纸

本发明专利技术提供了一种基于深度学习的文献表征方法及装置、设备、存储介质，该方法包括：对待表征文献进行解析，获得待表征文献的关键词、作者列表及多个文本信息；将每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息的第一特征向量；将作者列表、每一个文本信息依次输入至第一特征提取模型，获得作者列表、每一个文本信息的第二特征向量；将第一特征向量、第二特征向量输入至融合网络模型中进行融合，获得待表征文献的表征向量。本发明专利技术提出的文献表征方法充分利用关键词信息且同时考虑文献的多个文本数据并针对不同的文本数据采用不同的特征提取方法，从而有效提升文献向量化表征的精度。

【技术实现步骤摘要】
基于深度学习的文献表征方法及装置、设备、存储介质
本专利技术涉及自然语言处理
，尤其涉及一种基于深度学习的文献表征方法及装置、设备、存储介质。
技术介绍
文献数量的快速增长给当前的科研工作者提出了巨大的挑战，如何快速筛选优质文献以及如何快速理解分析文献是科研工作者亟需解决的难题。专业的科研工作者一般会通过对文献的分类、检索、推荐、自动化生成摘要等办法来解决这一难题，而上述各个文献处理任务中，文献表征(PaperRepresentation)是不可或缺的第一步。简而言之，文献表征就是会为每一篇文献生成一个数学上的向量化表达，将非结构化数据的文献转化为结构化的向量，以向量衡量不同文献之间的相似度，以便下游的各项文献处理任务使用。因此，如何更好的使用向量表征文献，是提升各类文献处理任务效果的重要方向。目前文献的向量表征方法主要包括Author2Vec和Cite2Vec，其中，Author2Vec通过作者合作网络和文章摘要构造作者向量表征，借此表达论文，能够用于论文分类、论文推荐等；Cite2Vec基于Word2Vec利用引用论文的摘要信息构造被引文献的向量表征，可用于文献语义表征和语义检索。但是，Author2Vec和Cite2Vec并没有考虑其他文本数据，并且Author2Vec中作者向量到文献向量的转换比较简单粗暴，损失了大量信息，而Cite2Vec中的摘要使用Word2Vec提取信息，不能适用于一词多义的情况。
技术实现思路
为了解决现有技术的不足，本专利技术提供一种基于深度学习的文献表征方法及装置、设备、存储介质，同时考虑文献的多个文本数据且针对不同的文本数据采用不同的特征提取方法，能够有效提升文献向量化表征的精度。本专利技术提出的具体技术方案为：基于深度学习的文献表征方法，其特征在于，所述文献表征方法包括：对待表征文献进行解析，获得所述待表征文献的关键词、作者列表及多个文本信息；分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量；将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量；将每一个文本信息对应的第一特征向量、第二特征向量以及作者列表对应的第二特征向量输入至融合网络模型中进行融合，获得所述待表征文献的表征向量。进一步地，所述结合关键词注意力机制的网络模型包括第二特征提取模型、第一池化层、关键词特征提取层、第二池化层，分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量，包括：分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量；将每一个文本信息对应的多个特征向量输入至第一池化层，获得每一个文本信息对应的池化特征向量；分别将每一个文本信息对应的多个特征向量、关键词输入至关键词特征提取层，获得每一个文本信息对应的结合关键词注意力机制的多个特征向量；将每一个文本信息对应的池化特征向量与结合关键词注意力机制的多个特征向量输入至第二池化层，获得每一个文本信息对应的第一特征向量。进一步地，若文本信息为正文，所述结合关键词注意力机制的网络模型还包括第三池化层，在分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量之前，所述文献表征方法还包括：将正文输入至第三池化层，获得池化后的正文；相应的，分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量，包括：将池化后的正文输入至第二特征提取模型，获得正文对应的特征向量。进一步地，将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量，包括：将作者列表输入至第一特征提取模型，获得作者列表对应的第二特征向量；对多个文本信息中的每一个文本信息进行分词，获得每一个文本信息对应的多个词；分别将每一个文本信息对应的多个词输入至第一特征提取模型，获得每一个文本信息对应的第二特征向量。进一步地，第一特征提取模型为Bert模型，第二特征提取模型为BM25模型。进一步地，所述融合网络模型包括第一融合层、拼接层、深度学习模型、第二融合层、第三特征提取模型、全连接层，将每一个文本信息对应的第一特征向量、第二特征向量以及作者列表对应的第二特征向量输入至融合网络模型中进行融合，获得所述待表征文献的表征向量，包括：将每一个文本信息对应的第二特征向量输入至第一融合层进行融合，获得融合后的特征向量；将融合后的特征向量、作者列表对应的第二特征向量、每一个文本信息对应的第一特征向量输入至拼接层进行拼接，获得多通道特征参数；将多通道特征参数输入至深度学习模型中，获得第三特征向量；将多个文本信息中的标题、摘要输入至第二融合层进行合成，获得合成文档；将合成文档输入至第三特征提取模型，获得第四特征向量；将第三特征向量、第四特征向量输入至全连接层，获得待表征文献的表征向量。进一步地，所述深度学习模型包括多个全连接层和多个激活函数，多个全连接层、多个激活函数依次交替级联。本专利技术还提供了一种基于深度学习的文献表征装置，所述文献表征装置包括：解析模块，用于对待表征文献进行解析，获得所述待表征文献的关键词、作者列表及多个文本信息；第一特征提取模块，用于分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量；第二特征提取模块，用于将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量；融合模块，用于将每一个文本信息对应的第一特征向量、第二特征向量以及作者列表对应的第二特征向量输入至融合网络模型中进行融合，获得所述待表征文献的表征向量。本专利技术还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如上任一项所述的文献表征方法。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现如上任一项所述的文献表征方法。本专利技术提出的文献表征方法将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得结合关键词注意力机制的第一特征向量，然后再将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，获得第二特征向量，最后再将第一特征向量与第二特征向量进行融合，充分利用关键词信息且同时考虑文献的多个文本数据并针对不同的文本数据采用不同的特征提取方法，从而有效提升文献向量化表征的精度。<本文档来自技高网...

【技术保护点】
1.一种基于深度学习的文献表征方法，其特征在于，所述文献表征方法包括：/n对待表征文献进行解析，获得所述待表征文献的关键词、作者列表及多个文本信息；/n分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量；/n将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量；/n将每一个文本信息对应的第一特征向量、第二特征向量以及作者列表对应的第二特征向量输入至融合网络模型中进行融合，获得所述待表征文献的表征向量。/n

【技术特征摘要】
1.一种基于深度学习的文献表征方法，其特征在于，所述文献表征方法包括：
对待表征文献进行解析，获得所述待表征文献的关键词、作者列表及多个文本信息；
分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量；
将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量；
将每一个文本信息对应的第一特征向量、第二特征向量以及作者列表对应的第二特征向量输入至融合网络模型中进行融合，获得所述待表征文献的表征向量。


2.根据权利要求1所述的文献表征方法，其特征在于，所述结合关键词注意力机制的网络模型包括第二特征提取模型、第一池化层、关键词特征提取层、第二池化层，分别将多个文本信息中的每一个文本信息和关键词输入至结合关键词注意力机制的网络模型中，获得每一个文本信息对应的第一特征向量，包括：
分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量；
将每一个文本信息对应的多个特征向量输入至第一池化层，获得每一个文本信息对应的池化特征向量；
分别将每一个文本信息对应的多个特征向量、关键词输入至关键词特征提取层，获得每一个文本信息对应的结合关键词注意力机制的多个特征向量；
将每一个文本信息对应的池化特征向量与结合关键词注意力机制的多个特征向量输入至第二池化层，获得每一个文本信息对应的第一特征向量。


3.根据权利要求2所述的文献表征方法，其特征在于，若文本信息为正文，所述结合关键词注意力机制的网络模型还包括第三池化层，在分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量之前，所述文献表征方法还包括：
将正文输入至第三池化层，获得池化后的正文；
相应的，分别将多个文本信息中的每一个文本信息输入至第二特征提取模型，获得每一个文本信息对应的多个特征向量，包括：
将池化后的正文输入至第二特征提取模型，获得正文对应的特征向量。


4.根据权利要求2所述的文献表征方法，其特征在于，将作者列表、多个文本信息中的每一个文本信息依次输入至第一特征提取模型，分别获得作者列表、每一个文本信息对应的第二特征向量，包括：
将作者列表输入至第一特征提取模型，获得作者列表对应的第二特征向量；
对多个文本信息中的每一个文本信息进行分词，获得每一个文本信息对应的多个词；
分别将每一...

【专利技术属性】
技术研发人员：程章林，杨之光，奥利夫·马丁·多伊森，潘光凡，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44