上海模思智能科技有限公司专利技术

上海模思智能科技有限公司共有2项专利

  • 本发明涉及一种适用于大模型长上下文理解的旋转位置编码设计方法,该方法包括:将大语言模型中的隐状态序列,通过线性映射得到查询向量序列、键向量序列和值向量序列,并复制一份查询向量序列,其中大语言模型中设有包含多头注意力头的自注意力层;将查询...
  • 本发明涉及一种面向语音风格表征的数据集生成方法及系统,该方法包括:获取音频数据,构建语音片段库;基于所述语音片段库中的每个语音片段,采用大语言模型生成多样的风格描述文本,并根据所述多样的风格描述文本构建风格种子库;基于所述风格种子库和语...
1