基于预训练语言模型的推荐系统效果增强方法及装置制造方法及图纸

本发明专利技术公开了一种基于预训练语言模型的推荐系统效果增强方法及装置，涉及人工智能技术领域，该方法包括：采集多个区域的用户行为序列数据；对所述多个区域的用户行为序列数据分别通过预训练的语义模型提取语义特征信息，获得多个区域的用户行为向量；将多个区域的用户行为向量进行拟合，获得训练数据集；基于所述训练数据集对Item2vec模型进行训练，获得训练好的Item2vec模型，利用所述训练好的Item2vec模型进行用户行为预测。本发明专利技术可以针对小部分用户的推荐偏好进行优化，将其它区域的用户行为来进行融合训练，不仅增加了训练的数据集，还能综合不同区域用户的推荐偏好。

【技术实现步骤摘要】
基于预训练语言模型的推荐系统效果增强方法及装置
本专利技术涉及人工智能
，尤其涉及基于预训练语言模型的推荐系统效果增强方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。在政务领域使用的推荐系统种类繁多，通常情况下，对一个特定省份或者区县，会针对性的使用当地的用户行为数据来训练优化模型，在一定程度上，这样做能得到针对于该区域大部分用户习惯的推荐模型，但是同时会忽略掉小部分用户和特殊群体用户的推荐偏好。举一个例子：在A省份，该省份有一小部分少数民族群体，获取当地用户的行为数据，从数据中进行训练模型，那么该模型得到的推荐结果将对于少数民族群体是相对不友好的，因为此地的少数民族用户相对较少，模型训练得到的推荐结果是不符合少数民族的习惯的。这也是当前推荐系统遇到的一个问题，同一领域的推荐系统之间存在壁垒，另外推荐系统的模型训练数据量也是推荐系统的一大难点。
技术实现思路
本专利技术实施例提供一种基于预训练语言模型的推荐系统效果增强方法，本文档来自技高网...

【技术保护点】
1.一种基于预训练语言模型的推荐系统效果增强方法，其特征在于，包括：/n采集多个区域的用户行为序列数据；/n对所述多个区域的用户行为序列数据分别通过预训练的语义模型提取语义特征信息，获得多个区域的用户行为向量；/n将多个区域的用户行为向量进行拟合，获得训练数据集；/n基于所述训练数据集对Item2vec模型进行训练，获得训练好的Item2vec模型，利用所述训练好的Item2vec模型进行用户行为预测。/n

【技术特征摘要】
1.一种基于预训练语言模型的推荐系统效果增强方法，其特征在于，包括：
采集多个区域的用户行为序列数据；
对所述多个区域的用户行为序列数据分别通过预训练的语义模型提取语义特征信息，获得多个区域的用户行为向量；
将多个区域的用户行为向量进行拟合，获得训练数据集；
基于所述训练数据集对Item2vec模型进行训练，获得训练好的Item2vec模型，利用所述训练好的Item2vec模型进行用户行为预测。


2.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，采集多个区域的用户行为序列数据，包括：
获取多个区域的用户行为日志文件；
对所述多个区域的用户行为日志文件进行筛选，获得多个区域的用户行为序列数据。


3.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，采集多个区域的用户行为序列数据，包括：
采集多个区域的用户行为数据；
对所述多个区域的用户行为数据进行清理，获得所需的多个区域的用户行为序列数据。


4.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，对所述多个区域的用户行为序列数据分别通过预训练的语义模型提取语义特征信息，获得多个区域的用户行为向量，包括：
对所述多个区域的用户行为序列数据分别通过预训练的语义模型BERT提取语义特征信息，获得多个区域的用户行为向量。


5.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，对所述多个区域的用户行为序列数据分别通过预训练的语义模型提取语义特征信息，获得多个区域的用户行为向量，包括：
对所述多个区域的用户行为序列数据分别通过预训练的语义模型LSTM或GPT提取语义特征信息，获得多个区域的用户行为向量。


6.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，将多个区域的用户行为向量进行拟合，获得训练数据集，包括：
以一个区域的用户行为向量为基础，将其余区域的用户行为向量映射至该区域的用户行为向量中，得出映射关系；
基于映射关系，获得训练数据集。


7.如权利要求6所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，将其余区域的用户行为向量映射至该区域的用户行为向量中，得出映射关系，包括：
计算其余区域的用户行为向量与该区域的用户行为向量的相似度，基于相似度得出映射关系。


8.如权利要求7所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，基于相似度得出映射关系，包括：
将其余区域的用户行为向量与该区域的用户行为向量的相似度与预设相似度进行比较；
当其余区域的用户行为向量与该区域的用户行为向量的相似度满足预设相似度时，得出映射关系。


9.如权利要求1所述的基于预训练语言模型的推荐系统效果增强方法，其特征在于，将多个区域的用户行为向量进行拟合，获得训练数据集，包括：
计算多个区域的用户行为向量的相似度，确定相似度满足预设相似度的用户行为向量；
将相似度满足预设相似度的用户行为向量作为训练数据集。


10.一种基于预训练语言模型的推荐系统效果增强装置，其特征在于，包括：

【专利技术属性】
技术研发人员：聂砂，刘海，贾国琛，罗奕康，崔震，师文宝，戴菀庭，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11