文档智能推荐方法、装置、服务器、系统及介质制造方法及图纸

本申请实施例涉及人工智能技术领域，公开了一种文档智能推荐方法、装置、服务器、系统及介质，利用多模态预训练模型多模态获得发布文档表征向量，并基于用户交互对应的交互行为类别和时间段获得用户的历史文档序列，获得表征用户偏好的检索触发源文档文档，以确定与用户偏好对应的发布文档表征向量，并将与用户偏好对应的发布文档表征向量之间的相似度满足预设相似条件的其它发布文档表征向量对应的发布文档作为推荐文档推荐给用户。所述文档智能推荐方法有利于提高文档智能推荐系统的表达能力和泛化能力，同时基于用户交互过的历史文档对应的交互行为类别和交互行为发生的时间确定用户的偏好，可以确保文档智能推荐系统的推荐质量。推荐质量。推荐质量。

【技术实现步骤摘要】
文档智能推荐方法、装置、服务器、系统及介质


[0001]本申请实施例涉及人工智能
，具体涉及一种文档智能推荐方法、装置、服务器、系统及介质。

技术介绍

[0002]目前业界现有的文档智能推荐的技术方案为：对海量文档利用OCR识别工具转化为文本，再用机器学习、深度学习模型学习文档文本的向量化表征(如Doc2Vec等)，将这些文本以计算机可以理解的形式表示出来，并以文本相似性为依据对文档进行推荐。
[0003]然而,本申请的专利技术人在实施本专利技术实施例的过程中发现,上述现有的文档智能推荐方案存在表征能力有限、时效性差的问题。

技术实现思路

[0004]鉴于上述问题，本申请实施例提供了一种表征能力强、时效性好的文档智能推荐方法、装置、服务器、系统及介质。
[0005]依据本申请实施例的第一方面，提供了一种文档智能推荐方法，包括：
[0006]利用多模态预训练模型学习文档发布数据流中各个发布文档的多个不同模态之间的关联关系，获得表征各个所述发布文档的各个发布文档表征向量，其中，所述发布文档的多个不同模态包括文本、图片和布局；
[0007]获取与用户在预设时间期限内有交互行为的历史文档，并基于所述历史文档在所述预设时间期限内对应的交互时间段和所述历史文档对应的交互行为类别，对所述历史文档进行排序，获得历史文档序列，并从所述历史文档序列中选择排序位置满足预设排序条件且有效的所述历史文档作为检索触发源文档，以构成检索触发源序列；
[0008]基于各个所述检索触发源文档对应的所述发布文档表征向量，获得各个所述检索触发源文档对应的检索触发文档表征向量，并将分别与各个所述检索触发源文档表征向量之间的相似度满足预设相似条件的所述发布文档表征向量对应的所述发布文档作为推荐给所述用户的推荐文档。
[0009]在一些可选实现方式中，所述利用多模态预训练模型学习文档发布数据流中各个发布文档的多个不同模态之间的关联关系，获得表征各个所述发布文档的各个发布文档表征向量，包括：
[0010]将文档发布数据流中发布文档的文本信息、图片信息和布局信息输入至多模态预训练模型中，基于所述多模态的预训练模型中的输入层，获得所述发布文档对应的语义表征向量、布局表征向量以、序列位置表征向量和分区表征向量，并将所述布局表征向量映射至预设空间，获得映射布局表征向量，以将所述映射布局表征向量、及序列位置表征向量、所述语义表征向量以及所述序列位置表征向量进行加和处理，获得所述多模态预训练模型中的特征编码层的输入表征向量，基于所述多模态预训练模型中的特征编码层对所述输入表征向量进行特征提取，获得表征所述发布文档的发布文档表征向量；
[0011]其中所述语义表征向量由所述发布文档的文本对应的文本语义表征向量和所述发布文档的图片对应的图片语义向量进行拼接获得。
[0012]在一些可选实现方式中，在所述将文档发布数据流中发布文档的文本信息、图片信息和布局信息输入至多模态预训练模型中之前，所述文档智能推荐方法还包括：
[0013]将包含多个不同模态的训练样本文档输入至Transformer网络模型进行训练，确定Transformer网络模型的模型参数，以获得所述多模态预训练模型，所述训练样本文档的多个不同模态包括包括文本、图片和布局，所述模态预训练模型包括输入层和编码层，所述输入层包括用于学习所述训练样本文档语义信息的语义embeddings层、用于学习所述训练样本文档布局信息的布局embeddings层、用于学习所述训练样本文档中位置信息的序列位置Embeddings层以及用于学习所述训练样本文档分区的分区的embeddings层，所述编码层为由N层Transformer编码层，用于学习对所述输入层获得输入表征向量的特征，输出文档表征向量；
[0014]采用SGD优化算法对所述多模态预训练模型进行模型参数更新，并将更新的模型参数后的所述多模态预训练模型部署至线上，以在线上对所述发布文档进行文档表征，获得所述发布文档表征向量；
[0015]其中，每一所述Transformer编码层中的注意力机制模块为空间感知注意力机制模块，所述空间感知注意力机制的的注意力得分为传统注意力机制的主力得分与相对位置偏置项之和。
[0016]在一些可选实现方式中，还包括：
[0017]将各个所述发布文档表征向量进行存储在向量数据库中，并在所述存储时间达到预设失效时间后，利用所述多模态预训练模型再次对所述发布文档进行文档表征，获得新的发布文档表征向量，以采用新的所述发布文档表征向量对所述向量数据库中失效的所述发布文档表征向量进行更新。
[0018]在一些可选实现方式中，所述基于所述历史文档在所述预设时间期限内对应的交互时间段和所述历史文档对应的所述交互行为类别，对所述历史文档进行排序，获得历史文档序列，包括：
[0019]设定所述预设时间期限内的各个交互时间段对应的第一优先级；
[0020]设定所述历史文档在所述预设时间期限内对应的各个交互行为类别对应的第二优先级；
[0021]基于各个所述历史文档在所述预设时间期限内对应的交互时间段和所述第一优先级，将各个所述历史文档进行第一排序，得到中间序列；
[0022]基于各个所述历史文档对应的所述交互行为类别和所述第二优先级，将所述中间序列中每一个所述交互时间段内对应各个所述历史文档进行第二排序，获得所述历史文档序列。
[0023]在一些可选实现方式中，所述将分别与各个所述检索触发源文档表征向量之间的相似度满足预设相似条件的所述发布文档表征向量对应的所述发布文档作为推荐给所述用户的推荐文档，包括：
[0024]所述将分别与各个所述检索触发源文档表征向量之间的余弦相似度满足预设相似条件的所述发布文档表征向量对应的所述发布文档作为推荐给所述用户的推荐文档。
[0025]依据本申请实施例的第二方面，提供了一种文档智能推荐装置，包括：
[0026]文档表征获取模块，用于利用多模态预训练模型学习文档发布数据流中各个发布文档的多个不同模态之间的关联关系，获得表征各个所述发布文档的各个发布文档表征向量，其中，所述发布文档的多个不同模态包括文本、图片和布局；
[0027]检索触发源获取模块，获取与用户在预设时间期限内有交互行为的历史文档，并基于所述历史文档在所述预设时间期限内对应的交互时间段和所述历史文档对应的交互行为类别，对所述历史文档进行排序，获得历史文档序列，并从所述历史文档序列中选择排序位置满足预设排序条件且有效的所述历史文档作为检索触发源文档，以构成检索触发源序列；
[0028]推荐文档确定模块，用于基于各个所述检索触发源文档对应的所述发布文档表征向量，获得各个所述检索触发源文档对应的检索触发文档表征向量，并将分别与各个所述检索触发源文档表征向量之间的相似度满足预设相似条件的所述发布文档表征向量对应的所述发布文档作为推荐给所述用户的推荐文档。
[0029]依据本申请实施例的第三方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文档智能推荐方法，其特征在于，包括：利用多模态预训练模型学习文档发布数据流中各个发布文档的多个不同模态之间的关联关系，获得表征各个所述发布文档的各个发布文档表征向量，其中，所述发布文档的多个不同模态包括文本、图片和布局；获取与用户在预设时间期限内有交互行为的历史文档，并基于所述历史文档在所述预设时间期限内对应的交互时间段和所述历史文档对应的交互行为类别，对所述历史文档进行排序，获得历史文档序列，并从所述历史文档序列中选择排序位置满足预设排序条件且有效的所述历史文档作为检索触发源文档，以构成检索触发源序列；基于各个所述检索触发源文档对应的所述发布文档表征向量，获得各个所述检索触发源文档对应的检索触发文档表征向量，并将分别与各个所述检索触发源文档表征向量之间的相似度满足预设相似条件的所述发布文档表征向量对应的所述发布文档作为推荐给所述用户的推荐文档。2.根据权利要求1所述的文档智能推荐方法，其特征在于，所述利用多模态预训练模型学习文档发布数据流中各个发布文档的多个不同模态之间的关联关系，获得表征各个所述发布文档的各个发布文档表征向量，包括：将文档发布数据流中发布文档的文本信息、图片信息和布局信息输入至多模态预训练模型中，基于所述多模态的预训练模型中的输入层，获得所述发布文档对应的语义表征向量、布局表征向量以、序列位置表征向量和分区表征向量，并将所述布局表征向量映射至预设空间，获得映射布局表征向量，以将所述映射布局表征向量、及序列位置表征向量、所述语义表征向量以及所述序列位置表征向量进行加和处理，获得所述多模态预训练模型中的特征编码层的输入表征向量，基于所述多模态预训练模型中的特征编码层对所述输入表征向量进行特征提取，获得表征所述发布文档的发布文档表征向量；其中所述语义表征向量由所述发布文档的文本对应的文本语义表征向量和所述发布文档的图片对应的图片语义向量进行拼接获得。3.根据权利要求2所述的文档智能推荐方法，其特征在于，在所述将文档发布数据流中发布文档的文本信息、图片信息和布局信息输入至多模态预训练模型中之前，所述文档智能推荐方法还包括：将包含多个不同模态的训练样本文档输入至Transformer网络模型进行训练，确定Transformer网络模型的模型参数，以获得所述多模态预训练模型，所述训练样本文档的多个不同模态包括包括文本、图片和布局，所述模态预训练模型包括输入层和编码层，所述输入层包括用于学习所述训练样本文档语义信息的语义embeddings层、用于学习所述训练样本文档布局信息的布局embeddings层、用于学习所述训练样本文档中位置信息的序列位置embeddings层以及用于学习所述训练样本文档分区的embeddings层，所述编码层为由N层Transformer编码层，用于学习对所述输入层获得输入表征向量的特征，输出文档表征向量；采用SGD优化算法对所述多模态预训练模型进行模型参数更新，并将更新的模型参数后的所述多模态预训练模型部署至线上，以在线上对所述发布文档进行文档表征，获得所述发布文档表征向量；其中，每一所述Transformer编码层中的注意力机制模块为空间感知注意力机制模块，
所述空间感知注意力机制的注意力得分为传统注意力机制的主力得分与相对位置偏...

【专利技术属性】
技术研发人员：胡泽远，
申请(专利权)人：中国移动浙江创新研究院有限公司中国移动通信集团有限公司，
类型：发明
国别省市：