一种基于LightGBM和深度学习的农产品推荐方法技术

本发明专利技术公开了一种基于LightGBM和深度学习的农产品推荐方法，其中该方法包括：通过线性归一化方法和标签编码等对农产品数据信息进行预处理；利用LightGBM对农产品数据信息中的特征进行融合提取，选择分类准确率最高的特征作为神经网络层的输入；然后，利用交叉网络与深度神经网络，分别获取农产品数据特征之间的线性交叉组合特征关系与非线性关联关系；最后，将前序网络所得结果进行线性加权组合，得到最终农产品推荐结果。本发明专利技术采用LightGBM、交叉网络和深度神经网络挖掘农产品数据之间的特征关系，解决农产品数据存在的稀疏性问题；并根据用户喜好从农产品信息中挖掘有价值的信息，进行智能推荐，帮助消费者更加方便地选择到符合自己需求的农产品。选择到符合自己需求的农产品。选择到符合自己需求的农产品。

【技术实现步骤摘要】
一种基于LightGBM和深度学习的农产品推荐方法


[0001]本专利技术属于数据分析与智能推荐领域，具体涉及一种基于LightGBM和深度学习的农产品推荐方法。

技术介绍

[0002]随着人们生活水平的提高和消费观念的改变，越来越多的人开始关注食品的健康、品质和安全，对农产品的要求也越来越高。而传统的购物方式往往需要消费者耗费大量的时间和精力去寻找适合自己的农产品，且往往无法保证农产品的品质和安全。因此，农产品推荐方法的出现可以帮助消费者更加方便地选择到符合自己需求的农产品，同时也可以帮助农产品生产者和销售商更加精准地推销自己的产品，提高销售额和客户满意度。
[0003]LightGBM是一种高效、分布式的梯度提升框架，它具有高效、高准确率、低内存占用等特点；在农产品推荐方法中，LightGBM可以用于提取用户和商品的特征、构建特征工程，并进行快速高效的推荐计算。深度学习技术本身具有的强大学习能力被广泛应用到计算机视觉、语音识别、自然语言处理等领域中，将深度学习技术应用于推荐方法中，使其获得更高效的学习能力，利用神经网络挖掘特征之间的隐藏关系，能够提高推荐的精准率。

技术实现思路

[0004]本专利技术的目的在于提供一种基于LightGBM和深度学习的农产品推荐方法，更好的为用户推荐感兴趣的农产品，从而提高用户的购买意愿，进而提高农产品的销售额。
[0005]本专利技术提供一种基于LightGBM和深度学习的农产品推荐方法，包括以下步骤：步骤S1，对农产品数据集中的数据进行预处理，使推荐模型获得进行特征处理的基础数据，得到农产品数据集B；步骤S2，将农产品数据集B作为LightGBM模块的输入数据，通过LightGBM模块对农产品数据B特征进行融合优化，选择分类准确率最高的特征作为特征结果，并获取到有效的整数结果叶子向量；步骤S3，将LightGBM模块中产生的所有叶子节点索引值拼接形成一个新的离散型农产品数据集T，并与农产品数据集B进行拼接，得到最新的农产品数据集V；步骤S4，将农产品数据集V作为神经网络层的输入数据，通过交叉网络和深度神经网络挖掘数据集中高阶特征的隐藏关系；步骤S5，将神经网络层所得结果进行线性加权组合，并经过全连接层计算，并在激活函数作用后得到农产品推荐结果。
[0006]进一步的，步骤S1在农产品推荐模型输入层，将农产品数据集中空缺值部分进行合理数值填充过程如下：考虑数据集已进行脱敏处理，填充数据集中的稀疏型数据和离散型数据的空缺值应为当前数据列中不存在的数值或字符；在模型输入层，对无空缺值农产品数据集中稀疏型数据进行归一化处理，对离散
型数据进行标签编码；对数据集中稀疏型数据归一化处理采用的是线性归一化方法对稀疏型数据进行线性变换，线性归一后使结果映射到[0,1]区间内。
[0007]其中线性归一化方法表示如下：（1）其中，为数据最大值，为数据最小值，为数据值，为线性归一化得到的数据值；对离散型数据离散化处理，通过LabelEncoder进行标签转换，最后形成无空缺值的全数值型农产品数据集B。
[0008]进一步的，步骤S2的具体实现方式如下：将在输入层预处理后得到的全数值型农产品数据集B，输入到模型的LightGBM模块，利用LightGBM模块中的直方图算法将农产品数据集B的特征关联性进行融合优化，将农产品数据集B中每个特征列转化为一个直方图；农产品数据集B中的特征数据会均分成K个bin,并为每个bin分配一个整数,然后将bin中的数据值替换为bin分配到的整数，同时根据bin的整数形成一个宽度为K的直方图，在遍历数据时，将直方图进行统计并累积，当数据经过一次遍历后，直方图累积相应的统计量，然后根据直方图的离散值遍历寻找最优的分割点。
[0009]利用LightGBM模块中的单边梯度采样算法GOSS，减少数据集B中样本的数量，排除农产数据集B中大部分的小梯度样本，选择出分类准确率最高的特征作为特征结果，并获取到有效的整数结果叶子向量；将农产品数据集B中要分裂特征的所有值根据绝对值大小进行降序排序，选取m
∗
100%个绝对值最大的数据，在剩余的较小梯度数据中随机选取n
∗
100%个数据；接下来随机选取n
∗
100%个数据乘以一个常数（1
−
m）/n，这样算法会更加关注训练不足的样本,对数据集B的分布不会产生过多的改变；最后使用(m+n)
∗
100%个数据计算信息增益；其中LightGBM模型目标函数公式如下： （2） （3）其中函数二阶泰勒展开结果公式如下：（4）其中，为标签的真实值， 为第k
‑
1次学习的结果，为前k
‑
1棵树的正则化项和， 为第k颗树的正则项；为目标函数，为样本的训练误差，其含义为寻找一棵合适的树，使得函数的值最小。
[0010]进一步的，步骤S3的具体表示如下：农产品数据集B在LightGBM模块处理完成后，会生成叶子节点索引值，然后将生成的所有叶子节点索引值拼接形成一个新的离散型数据集T，数据集T缓解了农产品数据集B
的稀疏性问题；将农产品数据集B与数据集T进行合并拼接，得到农产品数据集V；农产品数据集V增强了原始数据集的有效性和可解释性，提高对数据特征的利用率，增强了推荐模型的准确度。
[0011]进一步的，步骤S4中农产品推荐模型中神经网络层处理过程如下：农产品推荐模型中神经网络层由交叉网络和深度神经网络并联组合而成，其输入部分采用输入共享原则，各神经网络部分对同一数据集进行处理，使输出部分具有关联性和可连接性；农产品推荐模型的交叉网络负责挖掘农产品数据集V中高阶特征之间的线性交叉组合关系；交叉网络是由交叉层组成，其中每一层输入数据都会与当前层数据进行交叉作用，并提取数据中的线性交叉组合特征；以层为例，农产品数据集V在交叉层进行特征交叉，在完成一个特征交叉后，第层都会将它的输入再加回去，并利用残差思想解决网络性能退化的问题；交叉网络能够自动学习有限高阶的交叉特征及其对应的权重参数，并且交叉特征程度随着层深度的加深而增加，其时间和空间复杂度均是随输入维度的增长而线性增长，具有较好的泛化能力。
[0012]第层输出结果公式如下所示：（5）Cross网络的输出结果公式如下： （6）其中，x表示input输入数据，b表示Bias,和表示第层和第层Cross层的输出，和表示这两层之间的连接参数，d表示特征的维度，表示嵌入向量和连续型特征向量叠加形成的向量。
[0013]农产品推荐模型的深度神经网络负责挖掘农产品数据集V中高阶特征之间的非线性关联关系；深度神经网络由输入层、输出层和隐藏层三部分组成，是一个全连接神经网络，每一个数据特征都会与其他特征发生隐式交互，同时能够提取数据集中的非线性的高阶特征，其结构是一种非线性映射，运用的非线性单元的复合映射，进行非线性处理。
[0014]在深度神经网络中，输入层将农产品数据集V中的离散特征向量作为输入，每一个输入层的神经元接收一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LightGBM和深度学习的农产品推荐方法，其特征在于，包括以下步骤：步骤S1，对农产品数据集中的数据进行预处理，在输入层，将数据集中空缺值部分进行合理数值填充，并对稀疏型数据进行归一化处理，对离散型数据进行标签编码，使推荐模型获得进行特征处理的基础数据，得到农产品数据集B；步骤S2，将农产品数据集B作为LightGBM模块的输入数据，通过LightGBM模块中的直方图算法、单边梯度采样算法GOSS和互质特征捆绑算法对农产品数据集B进行特征融合优化，选择分类准确率最高的特征作为特征结果，并获取到有效的整数结果叶子向量；步骤S3，将LightGBM模块中产生的所有叶子节点索引值拼接形成一个新的离散型农产品数据集T，并与农产品数据集B进行拼接，得到最新的农产品数据集V；步骤S4，将农产品数据集V作为神经网络层的输入数据，通过交叉网络和深度神经网络挖掘数据集中高阶特征的隐藏关系；其中利用交叉网络负责挖掘农产品数据集V中高阶特征之间的线性交叉组合关系，利用深度神经网络挖掘农产品数据集V中高阶特征之间的非线性关联关系；步骤S5，将神经网络层所得结果进行线性加权组合，并经过全连接层计算，并在激活函数作用后得到农产品推荐结果。2.根据权利要求1所述的一种基于LightGBM和深度学习的农产品推荐方法，其特征在于，步骤S1在农产品推荐模型输入层，将农产品数据集进行预处理包括以下：在输入层对农产品数据集空缺值填充，由于数据集已进行脱敏处理，在填充空缺值时填充值应为当前数据列中不存在的数值或字符；对无空缺值农产品数据集中稀疏型数据进行归一化处理，对离散型数据进行标签编码；稀疏型数据归一化处理采用的是线性归一化方法对稀疏型数据进行线性变换，线性归一后使结果映射到[0,1]区间内；对离散型数据离散化处理，采用LabelEncoder进行标签转换，最后形成无空缺值的全数值型农产品数据集...

【专利技术属性】
技术研发人员：赵斌，李斌，高一龙，张继群，曹伟，
申请(专利权)人：临沂大学，
类型：发明
国别省市：