【技术实现步骤摘要】
本专利技术的实施例总体涉及大模型训练领域，并且更具体地涉及一种用于生成二进制掩码张量的方法、计算设备和存储介质。
技术介绍
1、在针对ai模型（诸如gpt类大语言模型）进行训练时，为了避免在模型训练过程中出现过拟合（over-fitting），可以使用丢弃（dropout）方法，通过生成随机的二进制掩码张量以屏蔽模型网络层中神经元的输出，以便在模型训练的迭代过程中能够随机地丢弃部分神经元。
2、现有的用于生成二进制掩码张量的方案中，通常由随机数生成函数串行地生成初始张量中各元素对应的随机数，再基于dropout概率和初始张量生成二进制掩码张量，以便得到用于实现dropout方法所需的二进制掩码张量。然而，在上述方案中，由于随机数是串行地生成，使得二进制掩码张量的生成过程耗时长且效率低。
3、综上，现有的用于生成二进制掩码张量的方案耗时长且效率低。
技术实现思路
1、针对上述问题，本专利技术提供了一种用于生成二进制掩码张量的方法、计算设备和存储介质，使得能够并行地确定二进制掩码张量中各行的元素，从而提高二进制掩码张量的生成效率。
2、根据本专利技术的第一方面，提供了一种用于生成二进制掩码张量的方法，包括：接收指示待生成的二进制掩码张量的概率的第一指令；针对待生成的二进制掩码张量在第一维度中的每一行，确定随机种子；至少基于概率和随机种子，确定待生成的二进制掩码张量在第二维度上的元素的值，以便生成二进制掩码张量。
3、在一些实施例中，用于生
4、在一些实施例中，基于待生成的二进制掩码张量的第一维度确定矫正系数包括：响应于待生成的二进制掩码张量的第一维度大于预定矫正阈值，基于均匀分布函数确定矫正系数；以及响应于待生成的二进制掩码张量的第一维度小于或等于预定矫正阈值，确定矫正系数为1。
5、在一些实施例中，用于生成二进制掩码张量的方法还包括：响应于接收第一指令，基于第一指令生成初始掩码张量，其中初始掩码张量中的所有元素的初始值相同；基于所确定的待生成的二进制掩码张量在第二维度上的元素的值，确定初始掩码张量中需要更新的元素的位置；响应于确定初始掩码张量中需要更新的元素的位置，对相应的元素的初始值进行更新，以生成二进制掩码张量。
6、在一些实施例中，基于第一指令生成初始掩码张量包括：响应于第一指令指示待生成的二进制掩码张量的概率大于0且小于0.5，生成第一初始掩码张量，第一初始掩码张量中的所有元素的初始值为1；以及响应于第一指令指示待生成的二进制掩码张量的概率小于1且大于0.5，生成第二初始掩码张量，第二初始掩码张量中的所有元素的初始值为0。
7、在一些实施例中，至少基于概率和随机种子，确定待生成的二进制掩码张量在第二维度上的元素的值包括：响应于第一指令指示待生成的二进制掩码张量的概率为0.5，基于伪随机二进制序列算法迭代地确定待生成的二进制掩码张量在第二维度上的元素的值。
8、在一些实施例中，基于伪随机二进制序列算法迭代地确定待生成的二进制掩码张量在第二维度上的元素的值包括：根据基于伪随机二进制序列算法得到的当前输出的最后一位二进制字符，确定待生成的二进制掩码张量的当前元素的值。
9、在一些实施例中，针对待生成的二进制掩码张量在第一维度中的每一行确定的随机种子是不同的。
10、根据本专利技术的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本专利技术的第一方面的方法。
11、根据本专利技术的第三方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中计算机指令用于使计算机执行本专利技术的第一方面的方法。
12、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种用于生成二进制掩码张量的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：基于所述待生成的二进制掩码张量的第一维度，确定矫正系数；
3. 根据权利要求2所述的方法，其特征在于，基于所述待生成的二进制掩码张量的第一维度确定矫正系数包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5. 根据权利要求4所述的方法，其特征在于，基于所述第一指令生成初始掩码张量包括：
6.根据权利要求1所述的方法，其特征在于，至少基于所述概率和所述随机种子，确定所述待生成的二进制掩码张量在所述第二维度上的元素的值包括：
7.根据权利要求6所述的方法，其特征在于，基于伪随机二进制序列算法迭代地确定所述待生成的二进制掩码张量在所述第二维度上的元素的值包括：
8.根据权利要求1所述的方法，其特征在于，针对所述待生成的二进制掩码张量在所述第一维度中的每一行确定的随机种子是不同的。
9. 一种计算设备，其特征在于，包括：
10.一种存储有计算机指令的非瞬时计算机可读
...【技术特征摘要】
1.一种用于生成二进制掩码张量的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：基于所述待生成的二进制掩码张量的第一维度，确定矫正系数；
3. 根据权利要求2所述的方法，其特征在于，基于所述待生成的二进制掩码张量的第一维度确定矫正系数包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5. 根据权利要求4所述的方法，其特征在于，基于所述第一指令生成初始掩码张量包括：
6.根据权利要求1所述的方法，其特征在于，至少基于所述概率和所述随机种子，...
【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京壁仞科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。