【技术实现步骤摘要】
本申请涉及人工智能领域，尤其是涉及一种大语言模型的调度与训练方法、系统、设备及介质。
技术介绍
1、当大语言模型的参数量增大时，大参数量的模型会对计算资源与训练样本有着更高的要求。为了解决大参数量的模型中存在的问题，目前主要通过模型压缩、模型剪枝或模型量化等技术将大参数量的模型进行压缩，得到轻量级的模型，以减少大参数量的模型对计算资源的消耗。
2、然而轻量级的模型在表示能力上与大参数量的模型相比存在着较大的差距，因此，在实际应用中，需要根据具体的需求和场景来选择适合的模型大小，在大参数模型的资源需求和小参数模型的表示能力之间进行权衡。
3、目前，在垂类知识问答的过程中，对于用户输入的垂类问题，通常将垂类问题输入单个问答模型，根据问答模型的输出结果向用户返回回答结果。若问答模型采用大参数量的模型，尽管提升了问答模型的表示能力，但在对问答模型进行训练时会对计算资源有着更高的要求；若问答模型采用轻量化的模型，那么虽然减轻了训练时计算资源要求的负担，但同时也降低了问答模型的表示能力。当前，问答模型的训练算力需求与其表示能...
【技术保护点】
1.一种大语言模型的调度与训练方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的大语言模型的调度与训练方法，其特征在于，在根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型前，还包括对所述综合垂类模型的训练过程，所述训练过程具体包括以下步骤：
3.根据权利要求2所述的大语言模型的调度与训练方法，其特征在于，在对所述垂类文本数据进行文本自分类以得到多个垂类文本簇中，具体包括：
4.根据权利要求3所述的大语言模型的调度与训练方法，其特征在于，在全部语义切片中确定出若干个相似切片集合，具体包括：
5.根...
【技术特征摘要】
1.一种大语言模型的调度与训练方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的大语言模型的调度与训练方法，其特征在于，在根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型前，还包括对所述综合垂类模型的训练过程，所述训练过程具体包括以下步骤：
3.根据权利要求2所述的大语言模型的调度与训练方法，其特征在于，在对所述垂类文本数据进行文本自分类以得到多个垂类文本簇中，具体包括：
4.根据权利要求3所述的大语言模型的调度与训练方法，其特征在于，在全部语义切片中确定出若干个相似切片集合，具体包括：
5.根据权利要求3所述的大语言模型的调度与训练方法，其特征在于，在分别计算各所述相似切片集合的集合评分中，具体包括：
6.根据权利要求3所述的大语言模型的调度与训练方法，其特征在于，在根据所述垂类问题在综合垂类...
【专利技术属性】
技术研发人员：郭君，朱青，吴鹏，刘洋洋，
申请(专利权)人：上海钢联电子商务股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。