一种GAN的训练方法、机器学习系统及通信装置制造方法及图纸

本申请提供一种GAN的训练方法、机器学习系统及通信装置，涉及通信技术及AI领域。其中，机器学习系统包括第一设备和第二设备，第一设备运行有第一GAN，第二设备运行有第二GAN，第一GAN包括第一生成器和第一判别器，第二GAN包括第二生成器和第二判别器。第一设备传输第一设备的第一判别器的参数至第二设备；接收来自第二设备的第二判别器的参数以及第二生成器的参数，第二判别器的参数为第二设备对来自至少一个第一设备的第一判别器的参数进行参数聚合确定的，第二生成器的参数为第二设备基于第二判别器的参数确定的；更新第一判别器的参数和第一生成器的参数，可减少第一设备与第二设备之间传输的数据量，提高GAN的训练效率。提高GAN的训练效率。提高GAN的训练效率。

【技术实现步骤摘要】
一种GAN的训练方法、机器学习系统及通信装置
[0001]本申请要求在2021年06月21日提交中国专利局、申请号为202110688066.4、申请名称为“一种GAN的训练方法、机器学习系统及通信装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请实施例涉及通信技术及人工智能(artificial intelligence，AI)领域，尤其涉及一种GAN的训练方法、机器学习系统及通信装置。

技术介绍

[0003]生成模型(generative models，GM)是近年来计算机视觉领域中一个快速发展的研究方向。2014年，Ian Goodfellow提出了一种基于概率分布以用于生成拟真数据的生成模型，取名为生成对抗网络(generative adversarial network，GAN)。因其具有近似复杂概率密度函数的能力，生成对抗网络已被证实可用于包括图像生成、视频生成和自然语言处理在内的各类机器学习任务。
[0004]随着大数据时代的到来，设备每天都会以各种形式产生大量的原始数据。但是基于GAN的集中式学习在数据传输时，会上报大量的数据，由于无线信道的有限带宽和传输不可靠性，在终端上传梯度更新时会存在信道误码，影响全局模型训练的收敛的情况，GAN的训练效率较低。

技术实现思路

[0005]本申请提供一种GAN的训练方法、机器学习系统及通信装置，以减少设备间信息的上报，提高GAN的训练效率。
[0006]第一方面，本申请提供一种生成GAN的训练方法，该方法可应用于机器学习系统中，机器学习系统包括第一设备和第二设备，第一设备运行有第一GAN，第二设备运行有第二GAN，第一GAN包括第一生成器和第一判别器，第二GAN包括第二生成器和第二判别器。其中，第一设备可以为终端设备，如：用户设备(user equipment，UE)、车载设备等，也可以理解为终端设备中的模块(例如，芯片)，第二设备可以为网络设备，如：传输接收点(transmission reception point，TRP)、5G基站(gnodeB，gNB)等，也可以理解为网络设备中的模块(例如，芯片)，本申请在此不作具体限定。
[0007]该方法包括：第一设备传输第一设备的第一判别器的参数至第二设备，第一判别器的参数为第一设备基于本地数据和第一设备的第一生成器的参数确定的；接收来自第二设备的第二判别器的参数以及第二生成器的参数，第二判别器的参数为第二设备对来自至少一个第一设备的第一判别器的参数进行参数聚合确定的，第二生成器的参数为第二设备基于第二判别器的参数确定的；通过第二判别器的参数和第二生成器的参数，更新第一判别器的参数和第一生成器的参数。
[0008]本申请中，GAN的训练是通过第一设备和第二设备的交互实现的，第一设备将第一
判别器的参数传输至第二设备以便第二设备进行参数聚合确定第二判别器的参数，而不是将本地原始数据传输至第二设备，该方式可保证第一设备的用户数据的隐私性，且相对于传输本地原始数据而言，第一判别器的参数的数据量明显降低。此外，GAN在训练时，第一判别器的参数和第一生成器的参数的更新是通过第二设备的第二判别器的参数和第二生成器的参数确定的，通过该方式可以减少第一设备的数据处理压力，提高GAN的训练效率。
[0009]在一种可选的方式中，第一判别器的参数可为第一设备基于本地数据、第一生成器的参数以及第一随机数样本集合确定的；第二生成器的参数可为第二设备基于第二判别器的参数和第二随机数样本集合确定的；其中，第二随机数样本集合与X个第一设备的第一随机数样本集合的并集相同，X个第一设备均传输第一判别器的参数至第二设备，X为大于等于1的正整数。
[0010]需要说明的是，在实际应用时，可将第一随机数样本输入到以第一生成器的参数为参数的第一生成器中获取“虚假”数据，之后通过“虚假”数据和真实数据也即本地数据输入到第一判别器中，对第一判别器进行训练，得到第一判别器的参数。将第二随机数样本以及第二判别器的参数输入到第二生成器中，对第二生成器进行训练，得到第二生成器的参数。此外，由于第二设备可能与多个第一设备通信连接，第二随机数样本集合包括向其传输第一判别器的参数的所有第一设备的第一随机数样本，该第一随机数样本可以是第一设备主动发送的，也可以是第二设备采用与第一设备相同的随机数生成方式生成的，本申请在此不作具体限定。第二随机数样本集合与X个第一设备的第一随机数样本集合的并集相同，可以保证GAN的训练得以进行。
[0011]在一种可选的方式中，第一判别器的参数可以更新M次，M为大于等于1的正整数，其中，第i+1次第一判别器的参数的更新可以是第一设备基于本地数据、第i次更新后的第一生成器的参数以及第一随机数样本集合确定的，i取遍1～(M
‑
1)中的任一整数。
[0012]需要说明的是，本实施例提出的“交替更新”训练机制采用第一设备的第一判别器和第二设备的第二生成器互相“对抗”进行训练的方式，可以有效提升每一个训练周期内模型的性能增益，从而减少达到模型收敛所需的总训练周期数，降低第一设备与第二设备之间的通信开销。在通信受限而计算充足的系统中(如窄带蜂窝系统)，使用“交替更新”训练机制可以有效地加快训练过程。
[0013]在另一种可选的方式中，第一判别器的参数可以更新M次，M为大于等于1的正整数，第i次第一判别器的参数的更新可以是第一设备基于本地数据、第i次更新后的第一生成器的参数以及第一随机数样本集合确定的，i取遍1～M中的任一整数。
[0014]需要说明的是，本实施例提出的“同时更新”训练机制采用第一设备和第二设备同时基于同一组更新前的模型参数进行训练的方式，可有效实现第一设备的第一判别器和第二设备第二生成器模型更新的并行化，可有效地降低每轮训练的时延。在计算受限而通信充足的系统中(如宽带传感器网络)，使用“同步更新”训练机制可以有效地加快训练过程。
[0015]在一种可选的方式中，第一随机数样本集合和第二随机数样本集合是基于相同的伪随机数算法确定的。
[0016]相应的，第一随机数样本集合可以通过下述方式确定：
[0017]第一设备可选取随机数种子；确定第一预设随机数样本集合中的元素的个数；将随机数种子以及第一预设随机数样本集合中的元素的个数输入到伪随机数生成器中确定
第一随机数样本集合。
[0018]在另一种可选的方式中，第一随机数样本集合和第二随机数样本集合是基于相同的随机数码本确定的。
[0019]相应的，第一设备可选择码本初始位置；确定第二预设随机数样本集合中的元素的个数；基于码本初始位置以及第二预设随机数样本集合中的元素的个数查询随机数码本确定第一随机数样本集合。
[0020]在一种可选的方式中，第一设备传输第一判别器的参数至第二设备之前，还可接收来自第二设备的随机数样本集合同步信息。
[0021]在一种可选的方式中，第一设备传输第一判别器的参数至第二设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成对抗网络GAN的训练方法，应用于机器学习系统，所述机器学习系统包括第一设备和第二设备，所述第一设备运行有第一GAN，所述第二设备运行有第二GAN，所述第一GAN包括第一生成器和第一判别器，所述第二GAN包括第二生成器和第二判别器，其特征在于，包括：所述第一设备传输所述第一设备的第一判别器的参数至所述第二设备，所述第一判别器的参数为所述第一设备基于本地数据和所述第一设备的第一生成器的参数确定的；接收来自所述第二设备的第二判别器的参数以及第二生成器的参数，所述第二判别器的参数为所述第二设备对来自至少一个所述第一设备的第一判别器的参数进行参数聚合确定的，所述第二生成器的参数为所述第二设备基于所述第二判别器的参数确定的；通过所述第二判别器的参数和所述第二生成器的参数，更新所述第一判别器的参数和所述第一生成器的参数。2.根据权利要求1所述的方法，其特征在于，所述第一判别器的参数为所述第一设备基于所述本地数据、所述第一生成器的参数以及第一随机数样本集合确定的；所述第二生成器的参数为所述第二设备基于所述第二判别器的参数和第二随机数样本集合确定的；其中，所述第二随机数样本集合与X个第一设备的第一随机数样本集合的并集相同，所述X个第一设备均传输第一判别器的参数至所述第二设备，所述X为大于等于1的正整数。3.根据权利要求2所述的方法，其特征在于，还包括：更新所述第一判别器的参数M次，所述M为大于等于1的正整数，第i+1次第一判别器的参数的更新是所述第一设备基于所述本地数据、第i次更新后的第一生成器的参数以及所述第一随机数样本集合确定的，所述i取遍1～(M
‑
1)中的任一整数。4.根据权利要求2所述的方法，其特征在于，还包括：更新所述第一判别器的参数M次，所述M为大于等于1的正整数，所述第i次第一判别器的参数的更新是所述第一设备基于所述本地数据、第i次更新后的第一生成器的参数以及所述第一随机数样本集合确定的，所述i取遍1～M中的任一整数。5.根据权利要求2所述的方法，其特征在于，所述第一随机数样本集合和所述第二随机数样本集合是基于相同的伪随机数算法确定的。6.根据权利要求5所述的方法，其特征在于，还包括：选取随机数种子；确定第一预设随机数样本集合中的元素的个数；将所述随机数种子以及所述第一预设随机数样本集合中的元素的个数输入到伪随机数生成器中确定所述第一随机数样本集合。7.根据权利要求2所述的方法，其特征在于，所述第一随机数样本集合和所述第二随机数样本集合是基于相同的随机数码本确定的。8.根据权利要求7所述的方法，其特征在于，还包括：选择码本初始位置；确定第二预设随机数样本集合中的元素的个数；基于所述码本初始位置以及所述第二预设随机数样本集合中的元素的个数查询随机数码本确定所述第一随机数样本集合。
9.根据权利要求2
‑
8中任一所述的方法，其特征在于，所述传输所述第一判别器的参数至所述第二设备之前，还包括：接收来自所述第二设备的随机数样本集合同步信息。10.根据权利要求2
‑
8中任一所述的方法，其特征在于，所述传输所述第一设备的第一判别器的参数至所述第二设备之前，还包括：传输随机数样本集合同步信息至所述第二设备。11.一种生成对抗网络GAN的训练方法，应用于机器学习系统，所述机器学习系统包括第一设备和第二设备，所述第一设备运行有第一GAN，所述第二设备运行有第二GAN，所述第一GAN包括第一生成器和第一判别器，所述第二GAN包括第二生成器和第二判别器，其特征在于，包括：所述第二设备接收来自N个所述第一设备的第一判别器的参数，所述第一判别器的参数为所述第一设备基于本地数据和所述第一设备的第一生成器的参数确定的；所述N为大于等于1的整数；对所述N个第一设备的第一判别器的参数进行参数聚合确定第二判别器的参数，并基于所述第二判别器的参数确定第二生成器的参数；传输所述第二判别器的参数和所述第二生成器的参数至所述L个第一设备；所述L为正整数。12.一种机器学习系统，其特征在于，包括：所述机器学习系统包括第一设备和第二设备，所述第一设备运行有第一GAN，所述第二设备运行有第二GAN，所述第一GAN包括第一生成器和第一判别器，所述第二GAN包括第二生成器和第二判别器；其中...

【专利技术属性】
技术研发人员：任金科，余官定，刘翀赫，王坚，李榕，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：