一种基于MSP-GEP-Elman算法的实时短视频用户画像预测方法及系统技术方案

本发明专利技术公开了一种基于MSP

【技术实现步骤摘要】
一种基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法及系统


[0001]本专利技术属于数据分析领域，涉及一种基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法及系统。

技术介绍

[0002]在短视频公司中，各个平台存储着EB级的超大规模、多维度、高质量的用户行为数据，基于这些用户行为数据可以勾勒出用户的行为习惯，进而为用户推送用户偏爱的内容。
[0003]为了准确地预测用户画像，需要将大量历史数据输入到神经网络中进行训练，然而训练的过程需要消耗大量的时间，如何提升神经网络模型预测的精准度和速度成为整个行业都急需解决的问题，因此亟需一种精度高、速度快的预测方法，快速处理海量的数据。

技术实现思路

[0004]本专利技术的目的在于解决现有技术中的问题，提供一种基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法及系统，能够提高种群内个体的质量和个体的多样性，提高对优质个体的发现能力；提升了GEP算法迭代的速度，加快收敛的进程；还可以提升Elman神经网络的收敛速度，快速寻找到全局最优解，避免Elman神经网络陷入局部最优的情况。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，包括：
[0007]步骤1：设定Elman神经网络的初始权值和阈值；
[0008]步骤2：基于MSP
‑
GEP算法，Spark分布式计算集群的master节点；
[0009]步骤3：分发基于master节点生成不同的随机种子到不同的worker节点，初始化MSP
‑
GEP种群内的所有个体；并将Elman神经网络的初始权值和阈值映射到种群内个体的基因上，对每个个体都进行编码；
[0010]步骤4：对MSP
‑
GEP种群内的所有个体进行进化迭代，丰富种群内多样性；
[0011]步骤5：判断种群内多样性是否大于阈值；若是，进行步骤6；若否，基于镜像重置策略，对劣质个体进行替代，进行步骤6；
[0012]步骤6：基于克隆对比策略，筛选种群中适应度值最大的若干个个体进行处理，提高种群的最大适应度值；
[0013]步骤7：判断局部迭代次数是否大于设定的最大值K1时，若是，每个worker节点选出最优个体发送给master节点；若否，重复步骤4～步骤7；
[0014]步骤8：对比所有局部最优个体的适应度，筛选出适应度值最大的个体作为整个Spark分布式计算集群的全局最优个体以及全局最优个体对应的worker节点编号i，然后将全局最优个体和编号i发送到所有worker节点；
[0015]步骤9：对比worker节点自身编号与编号i，如果相等，则将自身最差个体替换为全局最优个体，反之，不进行任何操作；
[0016]步骤10：当全局迭代次数到达设定的最大值K2时，结束迭代流程，否则，重复步骤4～步骤10；
[0017]步骤11：将MSP
‑
GEP的全局最优个体传递给Elman神经网络进行二次初始化，即作为全局最优个体开始训练的初始权值和阈值；
[0018]步骤12：基于Elman神经网络的学习算法对全局最优个体进行训练，直到Elman神经网络的输出误差小于期望误差时即为训练完成。
[0019]本专利技术的进一步改进在于：
[0020]将Elman神经网络的初始权值和阈值映射到种群内个体的基因上，对每个个体都进行编码，具体为：由Elman神经网络的权值和阈值w1、w2、w3、b1、b2五个部分按照先后顺序组成的向量。
[0021]对MSP
‑
GEP种群内的所有个体进行进化迭代，包括：各个worker节点同时进行计算适应度值、选择、复制、转座、重组和变异。
[0022]种群内个体的适应度值表达式如公式(1)所示：
[0023][0024]式中：y
k
(w)为原始输出向量；为目标输出向量。
[0025]镜像重置策略具体为：
[0026]1、分别计算理想种群的熵H
l
和当前种群的熵H
p
；
[0027]2、将种群的局部最大迭代次数K1平均划分为三个等级，并设置每个等级所对应的阈值；
[0028]3、将理想种群的熵H
l
与每个等级所对应的阈值分别相乘，获取每个等级的理想种群的阈值；
[0029]4、判断当前种群的熵H
p
是否小于每个等级的理想种群的阈值；若是，进行步骤6；若否，进行步骤5；
[0030]5、计算种群内所有个体的适应度值，并筛选出适应度值最小的m个个体和在剩余的个体中适应度值最小的n个个体；
[0031]6、随机产生m个个体来替代适应度值最小的m个个体，使用n个镜像个体来替代在剩余的个体中适应度值最小的n个个体，并将种群中个体内的函数集的各个运算符替代为其镜像。
[0032]将种群的最大迭代次数K1平均划分为三个等级，并设置每个等级所对应的阈值，具体为：三个等级为：和每个等级对应的阈值分别设定为0.5、0.4和0.3。
[0033]计算理想种群的熵H
l
和当前种群的熵H
p
如公式(2)所示：
[0034][0035]式中：L为单个个体的长度；S为运算符和终结符的个数；P
ij
为每个运算符和终结符
在种群内各个位置出现的频率P
ij
。
[0036]克隆对比策略具体为：
[0037]计算父类种群内所有个体的适应度值，筛选出适应度值最大的a％个体；
[0038]对筛选出的a％个体分别克隆b次，对克隆的新个体使用变异算子；
[0039]计算所选的父类个体和变异后的个体的适应度值，选择每个父类最好的后代作为下一代，克隆选择后，选择下一代的后代数量c最大值为克隆的个体数量的a％；
[0040]使用竞争规模为s的对比选择算子从父类种群中选择剩下的N
‑
c个个体，以保证种群规模N不变；
[0041]对比当前这一代的最大适应度值f
Best
，与父类种群的最大适应度值f
Max
，若f
Best
＞f
Max
，更新f
Max
的值为f
Best
；若f
Best
＜f
Max
，用适应度值为f
Max
的个体去替代这一代中适应度值最小的个体。
[0042]一种基于MSP
‑
GEP
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，其特征在于，包括：步骤1：设定Elman神经网络的初始权值和阈值；步骤2：基于MSP
‑
GEP算法，Spark分布式计算集群的master节点；步骤3：分发基于master节点生成不同的随机种子到不同的worker节点，初始化MSP
‑
GEP种群内的所有个体；并将Elman神经网络的初始权值和阈值映射到种群内个体的基因上，对每个个体都进行编码；步骤4：对MSP
‑
GEP种群内的所有个体进行进化迭代，丰富种群内多样性；步骤5：判断种群内多样性是否大于阈值；若是，进行步骤6；若否，基于镜像重置策略，对劣质个体进行替代，进行步骤6；步骤6：基于克隆对比策略，筛选种群中适应度值最大的若干个个体进行处理，提高种群的最大适应度值；步骤7：判断局部迭代次数是否大于设定的最大值K1时，若是，每个worker节点选出最优个体发送给master节点；若否，重复步骤4～步骤7；步骤8：对比所有局部最优个体的适应度，筛选出适应度值最大的个体作为整个Spark分布式计算集群的全局最优个体以及全局最优个体对应的worker节点编号i，然后将全局最优个体和编号i发送到所有worker节点；步骤9：对比worker节点自身编号与编号i，如果相等，则将自身最差个体替换为全局最优个体，反之，不进行任何操作；步骤10：当全局迭代次数到达设定的最大值K2时，结束迭代流程，否则，重复步骤4～步骤10；步骤11：将MSP
‑
GEP的全局最优个体传递给Elman神经网络进行二次初始化，即作为全局最优个体开始训练的初始权值和阈值；步骤12：基于Elman神经网络的学习算法对全局最优个体进行训练，直到Elman神经网络的输出误差小于期望误差时即为训练完成。2.根据权利要求1所述的基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，其特征在于，所述将Elman神经网络的初始权值和阈值映射到种群内个体的基因上，对每个个体都进行编码，具体为：由Elman神经网络的权值和阈值w1、w2、w3、b1、b2五个部分按照先后顺序组成的向量。3.根据权利要求1所述的基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，其特征在于，所述对MSP
‑
GEP种群内的所有个体进行进化迭代，包括：各个worker节点同时进行计算适应度值、选择、复制、转座、重组和变异。4.根据权利要求3所述的基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，其特征在于，所述种群内个体的适应度值表达式如公式(1)所示：式中：y
k
(w)为原始输出向量；为目标输出向量。5.根据权利要求4所述的基于MSP
‑
GEP
‑
Elman算法的实时短视频用户画像预测方法，其
特征在于，所述镜像重置策略具体为：5.1、分别计算理想种群的熵H
l
和当前种群的熵H
p
；5.2、将种群的局部最大迭代次数K1平均划分为三个等级，并设置每个等级所对应的阈值；5.3、将理想种群的熵H
l
与每个等级所对应的阈值分别相乘，获取每个等级的理想种群的阈值；5.4、判断当前种群的熵H
p
是否小于每个等级的理想种群的阈值；若是，进行步骤5.6；若否，进行步骤5.5；5.5、计算种群内所有个体的适应度值，并筛选出适应度值最小的m个个体和在剩余的个体中适应度值最小的n个个体；5.6、随机产生m个个体来替代适应度值最小的m个个体，使用n个镜像个体来替代在剩余的个体中适应度值最小的n个个体，并将种群中个体内的函...

【专利技术属性】
技术研发人员：周子杭，赵加坤，
申请(专利权)人：江苏至信信用评估咨询有限公司，
类型：发明
国别省市：