一种基于眼动特征与DeepFM的直播购物兴趣度预测方法技术

一种基于眼动特征与DeepFM的直播购物兴趣度预测方法，对经过眼动仪输出后的直播视频进行注视时间相关的数据处理。利用封装后的跟踪模型对于直播售卖物品进行跟踪。建立跟踪框为用户视点与目标区域。基于得到用户的眼动数据，并引入协作信息图，通过协作信息图将用户行为和项目知识编码为统一的关系图；基于DeepFM架构，在深度神经网络上添加自注意力机制提高模型对于关键信息的学习能力；输出结果并通过二元交叉熵损失函数Logloss以及AUC评判模型精度。本发明专利技术基于用户历史浏览数据(含眼动数据)训练模型。使用者可通过此模型预测用户对于直播商品的兴趣度大小，以供相关人员调整直播策略、提升直播中用户的体验。提升直播中用户的体验。提升直播中用户的体验。

A prediction method of interest in live shopping based on eye movement characteristics and deepfm

【技术实现步骤摘要】
一种基于眼动特征与DeepFM的直播购物兴趣度预测方法


[0001]本专利技术涉及推荐系统领域，尤其涉及一种基于眼动特征与DeepFM的直播购物兴趣度预测方法。

技术介绍

[0002]网上直播购物现已成为人们日常购物获取信息的渠道之一。了解用户对直播过程的感兴趣程度，不但能够改进商家直播策略、提升用户观看直播的满意度，而且能够帮助设计者开发更人性化的直播交互方式、提升用户体验。因此，研究用户观看购物直播的兴趣度有着很大的现实意义。
[0003]眼动特征是指被测者在观看直播时眼球的数据特征。传统上，眼动技术是可以用在医学、心理学、营销学等不同学科领域的分析工具。在视觉评价的过程中，眼球跟踪与一些数据处理手段相结合的方法可以获取个体认知过程中的细粒度信息，在多种场景检测中取得了令人满意的结果。
[0004]当前对直播购物兴趣度的评估多采用“黑箱”式研究，即依靠观看者的自我表述来反映对直播的兴趣程度。这种对兴趣度的判定不仅带有观看者的主观因素，也受到很多客观因素如环境、心情等等影响，很难真正反映出观看者对直播购物兴趣度的影响。随着神经网络的发展，点击率预估技术也越来越多地被用于兴趣度预估模型，但这种研究忽略了很多客观信息，例如直播购物中商品的详细程度、眼动参数等一些可能很重要的因素。因此有必要将这些因素引入直播购物兴趣度模型中。
[0005]眼动技术的应用遍布于众多领域中，用来完成推荐任务或分类任务。在推荐任务中指标AUC(Area Under Curve)的提升绝大多数为2％
‑
10％不等，在各自研究问题上都得出了针对性的结论或模型。但其模型大多为机器学习的方法且所用样本数较小，多为几十至几百个，为实验带来了一定的偶然因素，模型的学习能力与准确性有进一步的提升空间。
[0006]在兴趣度模型方面，现有的兴趣度预估模型主要分为两类，分别为基于机器学习的点击率预估模型与基于深度学习的点击率预估模型。基于机器学习的兴趣度预估模型又主要分为单一模型以及组合模型预测两大类，在单一模型中，逻辑回归、决策树等是较为常见的模型，在模型组合方面，GBDT+LR、FwFM等是其中较为常见的模型，但基于机器学习的兴趣度预估模型更依赖人工对特征的处理，在应用模型前期需要大量的人工特征工程。基于深度学习的兴趣度预估模型在兴趣度预估领域通过探索特征间的高阶组合，展现出了很好的效果，其中Wide&Deep、FGCNN、DeepFM等是其中较为常见的模型。
[0007]在直播兴趣度预估相关研究中，眼动数据并未作为数据维度被用在模型中。

技术实现思路

[0008]本专利技术克服现有方法的缺陷，提出了一种基于眼动特征与DeepFM的直播购物兴趣度预测方法。该技术基于用户历史浏览数据(含眼动数据)训练模型。使用者可通过此模型预测用户对于直播商品的兴趣度大小，以供相关人员调整直播策略、提升直播中用户的体
验。
[0009]一种基于眼动特征与DeepFM的直播购物兴趣度预测方法，包括如下步骤：
[0010]S1、对经过眼动仪输出后的直播视频进行注视时间相关的数据处理；利用封装后的跟踪模型对于直播售卖物品进行跟踪；建立跟踪框为用户视点与目标区域，当目标区域覆盖用户视点时，判定重合即对应时间内用户视点正关注该区域；
[0011]S2、基于步骤S1得到用户的眼动数据，并引入协作信息图，通过协作信息图将用户行为和项目知识编码为统一的关系图；
[0012]S3、基于DeepFM架构，在深度神经网络上添加自注意力机制提高模型对于关键信息的学习能力；
[0013]S4、输出结果并通过二元交叉熵损失函数Logloss以及AUC评判模型精度。
[0014]本专利技术的预测方法可以分成两个阶段，分别为眼动数据捕获阶段与预测阶段。数据捕获阶段中，通过自动化的过程与眼动仪配套软件获取用户对于单一区域关注的各项参数。在预测阶段中，拼接用户行为信息、自身信息与眼动信息作为输入，经过预测模型并输出预测值。提出了FDIMP算法来解决直播视频处理的任务，在提高跟踪模型对于目标和背景的判别能力、减少迭代次数的基础下提供了从视频中输出所需数据的自动化功能，处理过后填充原有数据集为兴趣度直播模型作准备。基于DeepFM架构，引入协作信息图后对眼动数据进行嵌入编码。在深度神经网络上添加自注意力机制提高模型对于关键信息的学习能力。
[0015]相比于现有同研究下的推荐方法，本专利技术的优点有：
[0016]1)首次将眼动因素应用于直播购物领域研究，通过信息填充对原有数据集增加数据维度。
[0017]2)设计了一套自动眼动数据采集算法FDIMP来自动化地提取眼动参数。旨在自动化提取眼动特征的模型与一种直播购物兴趣度模型，利用改进的深度学习模型增强模型预测的可靠性与准确性。
[0018]3)融合DeepFM架构与多头注意力机制，建立了一种基于DeepFM的直播购物兴趣度预测方法。
附图说明
[0019]为更清楚地说明本专利技术的实施方案，以下对所需附图进行简单的介绍：
[0020]图1为本专利技术某一实施案例的技术方案流程图，展现了基于深度特征融合的点击率预估方法的大概技术方案。
[0021]图2为本专利技术提出的协作信息图结构。
[0022]图3为本专利技术所使用的多模态信息编码器。
[0023]图4为一个经典的DNN模型。
[0024]图5为全连接层数对AUC的影响
具体实施方式
[0025]本专利技术的目的在于解决现有技术中存在的问题，并提供了一种基于眼动特征与 DeepFM的直播购物兴趣度预测方法。本专利技术具体采用的技术方案如下：
[0026]如图1所示为技术方案流程图，该方案具体包括如下步骤：
[0027]S1、对经过眼动仪输出后的直播视频进行注视时间相关的数据处理。利用封装后的跟踪模型对于直播售卖物品进行跟踪。建立跟踪框为用户视点与目标区域，当目标区域覆盖用户视点时，判定重合即对应时间内用户视点正关注该区域。
[0028]步骤S1具体包括以下步骤：
[0029]S11、采用视频序列中的随机样本进行训练，即从某一帧及前面抽取三帧作为训练集，从该帧后面抽取三帧作为测试集，将提取后目标区域的特征进行池化得到初始化的特征图像，生成三维(4*4*n)的特征过滤器。用初始化好的过滤器结合目标区域的背景信息进行优化，采用迭代的方式得到优化后的过滤器。
[0030]过滤器搭配MSE进行优化，由于负样例较多，且负样例的label统称为0，这就要求模型足够复杂，这种情况下对负样例进行判别，将会导致模型偏向于学习负样例，而不是区分负样例和正样例。为了解决这样的问题，在Loss中加入了权重，并参考SVM中的HingeLoss，将scoremap中大量的负样例过滤掉。而对于正样例区域，采用MSELoss，因此最终的残差函数如下所示：
[0031]r(s,c)＝v
c
·
(m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于眼动特征与DeepFM的直播购物兴趣度预测方法，包括如下步骤：S1、对经过眼动仪输出后的直播视频进行注视时间相关的数据处理；利用封装后的跟踪模型对于直播售卖物品进行跟踪；建立跟踪框为用户视点与目标区域，当目标区域覆盖用户视点时，判定重合即对应时间内用户视点正关注该区域；S2、基于步骤S1得到用户的眼动数据，并引入协作信息图，通过协作信息图将用户行为和项目知识编码为统一的关系图；S3、基于DeepFM架构，在深度神经网络上添加自注意力机制提高模型对于关键信息的学习能力；S4、输出结果并通过二元交叉熵损失函数Logloss以及AUC评判模型精度。2.根据权利要求1所述的直播购物兴趣度预测方法，其特征在于上述步骤S1具体包括以下子步骤：S11、采用视频序列中的随机样本进行训练，即从某一帧及前面抽取三帧作为训练集，从该帧后面抽取三帧作为测试集，将提取后目标区域的特征进行池化得到初始化的特征图像，生成三维的特征过滤器；用初始化好的过滤器结合目标区域的背景信息进行优化，采用迭代的方式得到优化后的过滤器；在Loss中加入了权重，并参考SVM中的HingeLoss，将scoremap中大量的负样例过滤掉；对于正样例区域，采用MSELoss，最终的残差函数如下所示：r(s,c)＝v
c
·
(m
c
s+(1
‑
m
c
)max(0,s)
‑
y
c
)在公式中，下标c代表对中心点的依赖程度；v
c
为权重，m
c
(t)∈[0,1]为Mask，在背景区域，m
c
≈0，在物体对应区域m
c
≈1，在背景区域使用HingeLoss，在物体区域使用MSELoss；S12、利用封装后的数据处理算法对直播售卖物品进行跟踪，需要建立跟踪框为用户视点与目标区域；当目标区域覆盖用户视点时判定重合，即对应时间内用户视点正关注该区域；对于演示的售卖物品、直播主播、背景、评论区、活动券区进行信息采集。3.根据权利要求2所述的直播购物兴趣度预测方法，其特征在于上述步骤S1具体包括以下子步骤S2具体包括以下步骤：S21、定义一个用户项二部图{(e
u
,y
ui
,e
i

【专利技术属性】
技术研发人员：石秀金，李昊，于守健，
申请(专利权)人：东华大学，
类型：发明
国别省市：