【技术实现步骤摘要】
本公开实施例涉及自然语言处理,具体而言,涉及一种数据资源的生成方法、数据资源的生成装置、计算机可读存储介质及电子设备。
技术介绍
1、在一些相关的技术方案中,可以将大模型推理分为prefill和decoding两个阶段,以实现大模型分布式的高速推理。但是,该无法根据业务场景进行有针对性的策略分流,进而使得数据资源的生成效率较低。
2、需要说明的是,在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的目的在于提供一种数据资源的生成方法、数据资源的生成装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据资源的生成效率较低的问题。
2、根据本公开的一个方面,提供一种数据资源的生成方法,包括:
3、接收用户终端上报的数据资源生成请求,并基于预设的业务门控网络模型为所述数据资源生成请求匹配目标投机采样模型;
4
...【技术保护点】
1.一种数据资源的生成方法,其特征在于,包括:
2.根据权利要求1所述的数据资源的生成方法,其特征在于,所述预设的业务门控网络模型包括嵌入映射层、编码层以及业务门控网络层;
3.根据权利要求2所述的数据资源的生成方法,其特征在于,所述业务门控网络层包括门控网络模型以及候选投机采样模型;
4.根据权利要求2所述的数据资源的生成方法,其特征在于,所述目标投机采样模型包括第一嵌入映射层、位置编码模块、特征编码模块、特征解码模块、线性变换层以及Softmax层;
5.根据权利要求4所述的数据资源的生成方法,其特征在于,所述特征编
...【技术特征摘要】
1.一种数据资源的生成方法,其特征在于,包括:
2.根据权利要求1所述的数据资源的生成方法,其特征在于,所述预设的业务门控网络模型包括嵌入映射层、编码层以及业务门控网络层;
3.根据权利要求2所述的数据资源的生成方法,其特征在于,所述业务门控网络层包括门控网络模型以及候选投机采样模型;
4.根据权利要求2所述的数据资源的生成方法,其特征在于,所述目标投机采样模型包括第一嵌入映射层、位置编码模块、特征编码模块、特征解码模块、线性变换层以及softmax层;
5.根据权利要求4所述的数据资源的生成方法,其特征在于,所述特征编码模块包括第一多头自注意力模块、第一残差连接和归一化模块、第一前馈神经网络、第二残差连接和归一化模块;
6.根据权利要求5所述的...
【专利技术属性】
技术研发人员:王磊,刘子佳,
申请(专利权)人:中国电信股份有限公司技术创新中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。