一种基于DSSM的交易推荐方法及系统技术方案

本发明专利技术涉及一种基于DSSM的交易推荐方法及系统，所述交易推荐方法包括以下步骤：获取用户和资源数据；对获取数据进行数据处理，转化为推荐模型可以识别的数据；将处理后的数据输入训练好的推荐模型中，形成推荐资源列表；所述推荐模型包括：基于DSSM的召回层、业务过滤层、排序层和资源控制层。与现有技术相比，本发明专利技术具有降低网络时延，提高算法的整体性能等优点。优点。优点。

【技术实现步骤摘要】
一种基于DSSM的交易推荐方法及系统


[0001]本专利技术涉及交易推荐
，尤其是涉及一种基于DSSM的交易推荐方法及系统。

技术介绍

[0002]互联网的出现和普及给用户带来了大量的信息，但随着网络的迅速发展数据信息量大幅增长，造成了信息超载问题。推荐系统是在互联网快速发展时期的产物，可以有效的解决信息超载问题，它是根据用户信息、商品信息、以及用户的历史行为信息，将用户感兴趣的内容、产品等资源个性化的推荐给用户。和搜索引擎相比推荐系统主要是通过研究用户的兴趣偏好，进行个性化推荐，由系统发现用户的兴趣点，从而引导用户发现自己的需求。一个好的推荐系统不仅能为用户提供个性化的服务，还能和用户之间建立密切关系，让用户对推荐产生依赖。针对基于人工智能的推荐算法，如何挖掘出用户的潜在需求，如何整体优化推荐算法的性能，是推荐算法迈向智能算法的一个重要步骤。
[0003]深度学习是机器学习的一个热门领域，常见的形式是人工神经网络，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。同时深度学习技术可以被用来处理推荐领域的稀疏性和冷启动问题，方法是从辅助信息中提取特征并将它们集成到用户项目偏好中。此外，基于深度学习的方法可以用于将高级、稀疏的特征，降低为低级、密集的特征。现存的文献表明，基于深度学习的方法比传统的推荐算法(如基于矩阵分解和最近邻的方法)提供更准确的推荐。出现这种情况的主要原因是深度学习算法提供了用户偏好的非线性表示，能够发现意想不到或不可理解的行为，拥有更强的数据特征挖掘能力、更强的特征表达能力、不同的深度学习模型可以通过灵活的结合，产生针对不同场景下的推荐模型，使模型和实际应用场景可以完美的契合，达到更优的推荐效果，因此深度学习模型已经成为推荐领域的主流。
[0004]申请号为CN114840745A的中国申请公开了一种基于图表征学习和深度语义匹配模型的个性化推荐方法，该方法包括如下步骤：第一步，数据准备；第二步，图表征向量生成；第三步，用户兴趣序列特征向量生成；第四步，用户和商品的静态属性向量生成，形成DSSM双塔模型；第五步，基于XGBoost进行模型的训练和预测，最终按照分值大小排序选取TopK作为最终的推荐结果。
[0005]现有的技术方案大多采用传统的推荐算法，针对普通的用户购物场景，从而导致在垂直电商领域应用时，很多有效信息的遗漏，造成商品召回率和转化率较低的问题。并且现有的线上部署的推荐算法大多数没有考虑实际应用场景中的突发情况，无法对突发情况作出合理的应对。针对推荐系统中的召回层，现有技术方案仅考虑召回率的提高，忽略了对资源进行召回时网络延迟性高的问题，从而降低了实际应用场景下的用户体验。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于DSSM的交
易推荐方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]作为本专利技术的第一方面，提供一种基于DSSM的交易推荐方法，所述交易推荐方法包括以下步骤：
[0009]获取用户和资源数据；
[0010]对获取数据进行数据处理，转化为推荐模型可以识别的数据；
[0011]将处理后的数据输入训练好的推荐模型中，形成推荐资源列表；所述推荐模型包括：基于DSSM的召回层、业务过滤层、排序层和资源控制层；
[0012]所述基于DSSM的召回层为：以DSSM的输入的查询作为用户塔；输出相关的文档作为资源塔，分别对用户相关的特征和资源相关的特征进行嵌入，构建两个独立的具有三层MLP结构的塔；计算得到的用户向量和资源向量，并将资源向量以查询表的形式进行缓存；对用户向量和资源向量使用轻量级网络模型或相似度计算进行线上预测，对资源进行召回。
[0013]进一步的，所述数据处理包括数据清洗和特征工程；
[0014]所述特征工程的数据处理步骤包括：
[0015]根据数据类型，对数据进行特征编码；
[0016]特征编码后，通过树模型得到每一个特征的贡献度和重要性，并对特征字段进行重要性排序。
[0017]进一步的，所述推荐模型的训练包括：静态训练和动态更新；
[0018]所述静态训练为通过数据库获取的用户和资源的静态数据进行模型的训练；
[0019]所述动态更新为在实际推荐场景中，通过调用推荐模型产生实时日志，将日志数据落盘加载到数据库中，利用日志的行为动态数据进行模型的训练更新；
[0020]所述召回层DSSM训练时：
[0021]以在架的资源总列表为资源池；
[0022]将训练的样本划分为正样本和负样本进行训练；
[0023]所述正样本为用户真实点击资源，所述负样本为随机采样的资源池里用户未点击资源。
[0024]进一步的，所述召回层的召回步骤包括：
[0025]通过DSSM计算用户的用户向量和所有在架资源的资源向量；
[0026]形成资源向量的查找表，并进行存储；
[0027]对用户向量和查找表中的资源向量做余弦相似度计算；
[0028]基于用户向量和资源向量相似度进行资源召回。
[0029]进一步的，所述业务过滤层进行数据质量评估、资源去重、恶意行为检测、政策法规以及剔除拍卖价格过低的数据，对召回层召回的数据进行筛选以及过滤缓冲。
[0030]进一步的，所述排序层本采用XGBoost模型，得到每个资源对应的得分，通过得分对资源进行排序。
[0031]进一步的，所述资源控制层依据业务需求，进行资源曝光，形成推荐资源列表；
[0032]所述业务需求包括产能预售的资源优先推送、已购未提货货源的优先推送、曝光控制、战略推广以及竞价模式。
[0033]进一步的，所述交易推荐方法还包括采用线上评估和线下评估并行的方式对模型进行监测：
[0034]所述线下评估通过离线训练的AUC的结果，监测模型的实际性能；
[0035]所述线上评估通过A/B测试，保证模型更新迭代方向的正确性；
[0036]所述A/B测试为将登录电商平台的用户进行分流，一部分流量返回没有部署推荐模型的老版平台或者是部署了旧版本推荐模型的平台，剩下部分流量返回部署了最新版本推荐模型的平台；然后对于分流的两个流量，使用同一段时间内的点击或交易数据进行指标的统计，进行定期比较验证；所述指标包括UV点击率和UV转化率，指标定义如下：
[0037]UV点击率等于单日点击人数除以单日展示人数
[0038]UV转化率等于单日下单人数除以单日展示人数
[0039]其中，单日展示人数定义为“一天有多少人看了这个推荐板块”。
[0040]进一步的，所述交易推荐方法还包括：
[0041]部署线上脚本，定时获取数据信息，包括每五分钟更新在架资源和公司信息、每日更新用户7日内历史行为以及每日更新用户7日内历史订单。
[0042]作为本专利技术的第二方面，提供一种应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DSSM的交易推荐方法，其特征在于，所述交易推荐方法包括以下步骤：获取用户和资源数据；对获取数据进行数据处理，转化为推荐模型可以识别的数据；将处理后的数据输入训练好的推荐模型中，形成推荐资源列表；所述推荐模型包括：基于DSSM的召回层、业务过滤层、排序层和资源控制层；所述基于DSSM的召回层为：以DSSM的输入的查询作为用户塔；输出相关的文档作为资源塔，分别对用户相关的特征和资源相关的特征进行嵌入，构建两个独立的具有三层MLP结构的塔；计算得到的用户向量和资源向量，并将资源向量以查询表的形式进行缓存；对用户向量和资源向量使用轻量级网络模型或相似度计算进行线上预测，对资源进行召回。2.根据权利要求1所述的一种基于DSSM的交易推荐方法，其特征在于，所述数据处理包括数据清洗和特征工程；所述特征工程的数据处理步骤包括：根据数据类型，对数据进行特征编码；特征编码后，通过树模型得到每一个特征的贡献度和重要性，并对特征字段进行重要性排序。3.根据权利要求1所述的一种基于DSSM的交易推荐方法，其特征在于，所述推荐模型的训练包括：静态训练和动态更新；所述静态训练为通过数据库获取的用户和资源的静态数据进行模型的训练；所述动态更新为在实际推荐场景中，通过调用推荐模型产生实时日志，将日志数据落盘加载到数据库中，利用日志的行为动态数据进行模型的训练更新；所述召回层DSSM训练时：以在架的资源总列表为资源池；将训练的样本划分为正样本和负样本进行训练；所述正样本为用户真实点击资源，所述负样本为随机采样的资源池里用户未点击资源。4.根据权利要求1所述的一种基于DSSM的交易推荐方法，其特征在于，所述召回层的召回步骤包括：通过DSSM计算用户的用户向量和所有在架资源的资源向量；形成资源向量的查找表，并进行存储；对用户向量和查找表中的资源向量做余弦相似度计算；基于用户向量和资源向量相似度进行资源召回。5.根据权利要求1所述的一种基于DSSM的交易推荐方法，其特征在于，所述业务过滤层进行数据质量评估、资源去重、恶意行为检测、政策法规以及剔除拍卖价格过低的数据，对召回层召回的数据进行筛选以及过滤缓冲。6.根据权利...

【专利技术属性】
技术研发人员：宋希，程夏莹，顾永兴，易力，仲跻炜，石凯，王汇丰，朱彭生，文扬，万仕龙，武业博，刘儿兀，陆修颀，
申请(专利权)人：同济大学，
类型：发明
国别省市：