影片数据处理方法、装置、介质及电子设备制造方法及图纸

本发明专利技术提供了一种影片数据处理方法，包括：获取第一影片数据样本，所述第一影片数据样本包含历史影片数据；利用所述第一影片数据样本，对每个GPU区块中每个GPU的深度学习训练模型中的参数进行迭代更新，得到每个GPU区块中每个GPU的深度学习训练模型的局部更新参数；根据每个GPU区块中每个GPU的深度学习训练模型的局部更新参数，确定每个GPU区块中的深度学习训练模型的区块同步参数；根据每个GPU区块中的深度学习训练模型的区块同步参数，确定所有GPU区块中的深度学习训练模型的全局同步参数，以此方式训练模型可以提升通信效率，且符合实际运营时计算效率的要求，有效地避免每台设备在并行化运行时通信效率被约束的缺陷。陷。陷。

【技术实现步骤摘要】
影片数据处理方法、装置、介质及电子设备


[0001]本专利技术涉及影片数据处理的
，具体而言，涉及一种影片数据处理方法、装置、介质及电子设备。

技术介绍

[0002]随机梯度下降(SGD)具有极高的效率，因此成为目前大多数分布式机器学习应用中最常见的训练方法。例如，在考虑计算效率时，可以使用mini
‑
batch SGD训练模型，在使用mini
‑
batch SGD训练模型的过程中，虽然mini
‑
batch SGD能够计算出多个随机梯度，但是却不符合实际计算效率的要求。再例如，在考虑减少训练时间时，可以使用大批量SGD训练模型，在使用大批量SGD训练模型的过程中，由于没有正确考虑设备的局部并行化，以及设备间的通信效率，导致设备间的通信效率较低。尤其是当设备的数量增加时，每台设备的并行化程度会严重约束通信效率。
[0003]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种影片数据处理方法、装置、介质及电子设备，进而至少可以在一定程度上提升通信效率，且符合实际运营时计算效率的要求，有效地避免每台设备在并行化运行时通信效率被约束的缺陷。
[0005]本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。
[0006]根据本专利技术实施例的第一方面，提供了一种影片数据处理方法，应用于影片系统，影片系统包括深度学习训练模型，深度学习训练模型部署在多台服务器中每台服务器的GPU区块，该方法包括：采用层次化局部随机梯度下降的方式，获取所有GPU区块中的深度学习训练模型的全局同步参数；其中，采用层次化局部随机梯度下降的方式，获取所有GPU区块中的深度学习训练模型的全局同步参数包括：获取第一影片数据样本，第一影片数据样本包含历史影片数据；利用第一影片数据样本，对每个GPU区块中每个GPU的深度学习训练模型中的参数进行迭代更新，得到每个GPU区块中每个GPU的深度学习训练模型的局部更新参数；根据每个GPU区块中每个GPU的深度学习训练模型的局部更新参数，确定每个GPU区块中的深度学习训练模型的区块同步参数；根据每个GPU区块中的深度学习训练模型的区块同步参数，确定所有GPU区块中的深度学习训练模型的全局同步参数。
[0007]在本专利技术的一些实施例中，每个GPU区块中每个GPU的深度学习训练模型的局部更新参数的表达式包括：
[0008][0009]其中，表示第t轮训练过程中第l个GPU区块中第k个GPU的深度学习训练模型的参数经过H次局部迭代更新后得到的局部更新参数，表示第t轮训练过程中局部迭代更新之前第l个GPU区块中第k个GPU的深度学习训练模型的参数，γ表示学习率，B
loc
表示在一次局部迭代中所需所述第一影片数据样本的数量，i表示所述第一影片数据样本，表示第t轮训练过程中第1个GPU区块中第k个GPU在第h
‑
1次局部迭代过程中所需要的第一影片数据样本的集合，f
i
表示第i个所述第一影片数据样本的损失函数。
[0010]在本专利技术的一些实施例中，每个GPU区块中的深度学习训练模型的区块同步参数的表达式包括：
[0011][0012]其中，定示第t轮训练过程中第l个GPU区块中的深度学习训练模型在第一次区块同步过程中的区块同步参数，表示第t轮训练过程中区块同步之前第l个GPU区块中的深度学习训练模型的参数，K
l
表示第l个GPU区块中GPU的总数，表示在第t轮训练过程中第l个GPU区块中第k个GPU的深度学习训练模型的参数经过H次局部迭代更新后得到的局部更新参数。
[0013]在本专利技术的一些实施例中，所有GPU区块中的深度学习训练模型的全局同步参数的表达式包括：
[0014][0015]其中，表示第t+1轮训练过程中所有GPU区块中的深度学习训练模型的全局同步参数，表示第t轮训练过程中所有GPU区块中的深度学习训练模型的全局同步参数，K为所有GPU区块中GPU的总数，表示第t轮训练过程中所有GPU区块中每个GPU区块的深度学习训练模型在第H
b
次区块同步过程中的区块同步参数。
[0016]在本专利技术的一些实施例中，该方法还包括：获取第二影片数据样本，所述第二影片数据样本与所述第一影片数据样本不同，所述第二影片数据样本包含历史影片数据和新影片数据；利用所述历史影片数据，对全局同步后的深度学习训练模型进行训练，得到所述历史影片数据的类别序列，以及利用所述新影片数据，对所述全局同步后的深度学习训练模型进行训练，得到所述新影片数据的类别序列；根据所述历史影片数据的类别序列和所述新影片数据的类别序列，获取本次训练的损失函数；循环以上步骤，得到预测模型，所述预测模型中包含历史类别标签和新增类别标签。
[0017]在本专利技术的一些实施例中，所述历史影片数据的类别序列的表达式包括：
[0018]q
d
＝o
d 1≤d≤n
[0019]其中，q
d
表示所述历史影片数据的类别序列，d表示所述历史影片数据的类别序列中类别标签，n表示全局同步后的深度学习训练模型中类别标签的总数。
[0020]在本专利技术的一些实施例中，所述新影片数据的类别序列的表达式包括：
[0021]q
d
＝αo
d
+βn+1≤d≤n+m
[0022]其中，qd表示所述新影片数据的类别序列，d表示所述新影片数据的类别序列中类别标签，α和β表示全局同步后的深度学习训练模型中的偏置参数，n表示全局同步后的深度学习训练模型中类别标签的总数，n+m表示全局同步后的深度学习训练模型基于新影片数据增加类别后的类别总数。
[0023]在本专利技术的一些实施例中，计算所述损失函数的公式为：
[0024][0025]其中，n+m表示全局同步后的深度学习训练模型基于新影片数据增加类别后的类别总数，q
d
表示所述历史影片数据的类别序列和/或所述新影片数据的类别序列。
[0026]在本专利技术的一些实施例中，该方法还包括：将所述历史影片数据和/或所述新影片数据存储在分布式搜索引擎；接收用户输入的影片关键词；基于所述影片关键词，从所述分布式搜索引擎中调用与所述影片关键词对应的接口，利用所述接口调用与所述影片关键词相匹配的影片数据；向终端发送与所述影片关键词相匹配的影片数据。
[0027]根据本专利技术实施例的第二方面，提供了一种影片数据处理装置，应用于影片系统，所述影片系统包括深度学习训练模型，所述深度学习训练模型部署在多台服务器中每台服务器的GPU区块，该装置包括：第一获取模块，用于获取第一影片数据样本，所述第一影片数据样本包含历史影片数据；局部迭代更新模块，利用所述第一影片数据样本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种影片数据处理方法，应用于影片系统，所述影片系统包括深度学习训练模型，所述深度学习训练模型部署在多台服务器中每台服务器的GPU区块，该方法包括：采用层次化局部随机梯度下降的方式，获取所有GPU区块中的深度学习训练模型的全局同步参数；其中，所述采用层次化局部随机梯度下降的方式，获取所有GPU区块中的深度学习训练模型的全局同步参数包括：获取第一影片数据样本，所述第一影片数据样本包含历史影片数据；利用所述第一影片数据样本，对每个GPU区块中每个GPU的深度学习训练模型中的参数进行迭代更新，得到每个GPU区块中每个GPU的深度学习训练模型的局部更新参数；根据每个GPU区块中每个GPU的深度学习训练模型的局部更新参数，确定每个GPU区块中的深度学习训练模型的区块同步参数；根据每个GPU区块中的深度学习训练模型的区块同步参数，确定所有GPU区块中的深度学习训练模型的全局同步参数。2.根据权利要求1所述的方法，其特征在于，每个GPU区块中每个GPU的深度学习训练模型的局部更新参数的表达式包括：其中，表示第t轮训练过程中第l个GPU区块中第k个GPU的深度学习训练模型的参数经过H次局部迭代更新后得到的局部更新参数，表示第t轮训练过程中局部迭代更新之前第l个GPU区块中第k个GPU的深度学习训练模型的参数，γ表示学习率，B
loc
表示在一次局部迭代中所需所述第一影片数据样本的数量，i表示所述第一影片数据样本，表示第t轮训练过程中第l个GPU区块中第k个GPU在第h
‑
1次局部迭代过程中所需第一影片数据样本的集合，f
i
表示第i个所述第一影片数据样本的损失函数。3.根据权利要求1所述的方法，其特征在于，每个GPU区块中的深度学习训练模型的区块同步参数的表达式包括：其中，表示第t轮训练过程中第l个GPU区块中的深度学习训练模型在第一次区块同步过程中的区块同步参数，表示第t轮训练过程中区块同步之前第l个GPU区块中的深度学习训练模型的参数，K
l
表示第l个GPU区块中GPU的总数，表示在第t轮训练过程中第l个GPU区块中第k个GPU的深度学习训练模型的参数经过H次局部迭代更新后得到的局部更新参数。4.根据权利要求1所述的方法，其特征在于，所有GPU区块中的深度学习训练模型的全局同步参数的表达式包括：
其中，表示第t+1轮训练过程中所有GPU区块中的深度学习训练模型的全局同步参数，表示第t轮训练过程中所有GPU区块中的深度学习训练模型的全局同步参数，K为所有GPU区块中GPU的总数，表示第t轮训练过程中所有GPU区块中每个GPU区块的深度学习训练模型在第H
b
次区块同步过程中的区块同步参数。5.根据权利要求1所述的方法，其特征在于，该方法还包括：获取第二影片数据样本，所述第二影片数据样本与所述第一影片数据样本不同，所述第二影片数据样本包含历史影片数据和新影片数据；利用所述历史影片数据，对全局同步后的深度学习训练模型进行训练，得到所述历史影片数据的...

【专利技术属性】
技术研发人员：林海，马稼明，谭成，郭汉龙，葛正荣，黄少琪，张琰琳，于亚茹，姜齐，陈家烁，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：