基于用户行为的业务处理方法、装置及设备制造方法及图纸

本说明书一个或多个实施例提供了一种基于用户行为的业务处理方法、装置及设备，在基于用户行为的业务处理方法中，分别对第一用户行为特征向量和第一广告特征向量进行压缩后，将得到的第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数，再将该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户行为的向量表示，从而可根据用户的行为充分学习到用户对每个广告的差别，有助于更好的挖掘用户的兴趣的多样性。

【技术实现步骤摘要】
基于用户行为的业务处理方法、装置及设备
本公开涉及人工智能
，具体而言，涉及一种基于用户行为的业务处理方法、装置及设备。
技术介绍
在推荐场景中，通常会引入不同维度的特征信息来提高对预估场景的预测。多数情况下，需要对不同维度的特征进行交叉组合来提取更高维度的特征，提高模型的预测能力。DIN(DeepInterestNetwork，深度兴趣网络)通过引入注意力机制，针对不同的广告构造不同的用户抽象表示，从而实现了在数据维度一定的情况下，更精准地捕捉用户当前的兴趣。
技术实现思路
有鉴于此，本说明书的一个或多个实施例提出一种基于用户行为的业务处理方法、装置及设备，以实现对用户的更高维度的特征的挖掘。本说明书的一个或多个实施例提供了一种基于用户行为的业务处理方法，包括：获取第一用户行为特征向量以及第一广告特征向量；分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；基于所述用户行为的向量表示进行业务处理。本说明书的一个或多个实施例还提供了一种基于用户行为的业务处理装置，包括：获取模块，用于获取第一用户行为特征向量以及第一广告特征向量；压缩模块，用于分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；第一特征交叉模块，用于将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉得到注意力机制参数；第二特征交叉模块，用于将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；处理模块，用于基于所述用户行为的向量表示进行业务处理。本说明书的一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的任意一种基于用户行为的业务处理方法。从上面所述可以看出，本说明书一个或多个实施例的基于用户行为的业务处理方法，分别对第一用户行为特征向量和第一广告特征向量进行压缩后，将得到的第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数，再将得到的该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户行为的向量表示，可根据用户的行为充分学习到用户对每个广告的差别，有助于更好的挖掘用户的兴趣的多样性。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本说明书一个或多个实施例示出的基于第一用户行为特征向量以及第一广告特征向量得到用户行为的向量表示的示意图；图2是根据本说明书一个或多个实施例示出的一种基于用户行为的业务处理方法的流程图；图3是根据本说明书一个或多个实施例示出的一种基于用户行为的业务处理装置的框图；图4是根据本说明书一个或多个实施例示出的一种电子设备的硬件结构示意图。具体实施方式为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。在对本说明书一个或多个实施例的基于用户行为的业务处理方法进行说明之前，首先对该方法中涉及到的一些概念进行简要说明。特征交叉组合(下文也简称特征交叉)：在推荐场景下，为了提高推荐模型的准确性，会提取各个维度的用户行为，用户画像和广告的特征。这些特征的组合生成出更细化的特征，对不同维度的特征进行组合就是特征交叉，这样可以提取出更高维的特征。注意力机制：在时间序列的深度学习模型中，通过文本或特征的前后依赖提取时间维度的特征，但是随着时间窗口过长，开始时刻的特征在最后时刻的影响会减少，通过注意力机制利用每个时刻的隐藏层信息可以提取额外的权重信息，以提高模型的特征提取能力。DIN模型包括：EmbeddingLayer(嵌入层)，由于原始数据是高维且稀疏的0-1矩阵，嵌入层用于将原始高维数据压缩成低维矩阵；PoolingLayer(池化层)：由于不同的用户有不同个数的行为数据，导致嵌入矩阵的向量大小不一致，而全连接层只能处理固定维度的数据，因此，利用池化层得到一个固定长度的向量。ConcatLayer(级联层)：经过嵌入层和池化层后，原始稀疏特征被转换成多个固定长度的用户兴趣的抽象表示向量，然后利用级联层聚合抽象表示向量，输出该用户兴趣的唯一抽象表示向量；MLP(MultilayerPerceptron，多层感知机)：将级联层输出的抽象表示向量作为MLP的输入，自动学习数据之间的交叉特征。其中，MLP可包括输入层、隐藏层以及输出层，其层与层之间是全连接的。假设输入层用向量X表示，则隐藏层的输出就是f(W1X+b1)，其中，W1是权重(也叫连接系数)，b1是偏置，函数f可以是常用的sigmoid函数。其中，sigmoid用于隐藏层神经元输出，取值范围为(0,1)，它可将一个实数映射到(0,1)的区间，可用来做二分类。在DIN模型中，嵌入层在生成用户的嵌入式向量时是通过ActivationUnit(特征激活单元)层实现的，该层用于产生针对候选广告每个用户行为的权重，该层包括FuseLayer(融合层)、以及一个浅层的神经网络，其中，融合层用于将每个时间点的用户行为特征和候选广告之间的特征进行了简单的加减提取新的特征，之后将提取到的特征输出给浅层的神经网络，得到Activationweight(特征权重)，将该特征权重和上述用户行为序列特征做内积，得到用户行为的抽象表示向量，该向量即为上文所述的级联层输出的抽象表示向量，该抽象向量作为MLP的输入，自动学习数据之间的交叉特征。但DIN模型中的特征激活单元对用户行为特征和候选广告特征之间的交叉方式较为简单，特征的提取也仅仅局限在相同层级的特征加工，这种方式挖掘的特征缺少可解释性，对于更高维度的特征挖掘能力有限，而且这种方式会导致模型参数扩大至少三倍，增加了本文档来自技高网...

【技术保护点】
1.一种基于用户行为的业务处理方法，包括：/n获取第一用户行为特征向量以及第一广告特征向量；/n分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；/n将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；/n将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；/n基于所述用户行为的向量表示进行业务处理。/n

【技术特征摘要】
1.一种基于用户行为的业务处理方法，包括：
获取第一用户行为特征向量以及第一广告特征向量；
分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；
将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；
将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；
基于所述用户行为的向量表示进行业务处理。


2.根据权利要求1所述的方法，基于所述用户行为的向量表示进行业务处理，包括：
将所述用户行为的向量表示输入深度兴趣网络DIN模型的多层感知机MLP，得到业务处理结果。


3.根据权利要求1所述的方法，分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，包括：
利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量。


4.根据权利要求3所述的方法，利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量，包括：
通过共享权重参数分别与所述第一用户行为特征向量以及所述第二用户行为特征向量进行内积运算，以对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩。


5.根据权利要求1所述的方法，所述方法还包括：
在分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩之后，通过激活函数将所述第二用户行为特征向量以及所述第二广告特征向量的分布进行调整，以使所述第二用户行为特征向量以及所述第二广告特征向量的分布在预设范围之内。


6.根据权利要求1所述的方法，所述第一用户行为特征向量至少包括以下一种：
用户查看的商品的标识、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识。


7.根据权利要求1所述的方法，所述第一广告特征向量至少包括以下一种：
广告中的商品信息、广告中的店铺信息、广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额。


8.根据权利要求1所述的方法，所述方法还包括：
在获取第一用户行为特征向量以及第一广告特征向量之后，将所述第一用户行为特征向量以及所述第一广告特征向量输入DIN模型中的特征激活单元，以使所述特征激活单元基于所述第一用户行为特征向量以及所述第一广告特征向量得到所述注意力机制参数。


9.根据权利要求1至8任一项所述的方法，所述业务处理结果包括所述用户查看所述广告的概率。


10.一种基于用户行为的业务处理装置...

【专利技术属性】
技术研发人员：钱浩，崔卿，李龙飞，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33