System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,尤其涉及一种向量化任务处理方法、装置、设备及存储介质。
技术介绍
1、随着chatgpt的出现,衍生出很多的应用,也改变了传统的搜索、问答、推荐等应用。为了更快、更稳定的进行搜索、推荐,常见的做法是先将文本进行嵌入(embedding)后进行存储、在应用时则是通过不同的算法来实现搜索、问答、和推荐。这里就对embedding的要求非常的高,embedding的方式对效果的好坏有着很大的影响,采取合适的embedding方式对后期的相似度计算起着至关重要的作用。而大规模的模型中包括了许多个嵌入层,大模型embedding层提取需要较强的专业性,一般情况下难以利用,这也导致了传统词嵌入模型难以合理的利用并满足各种多模态的任务。
2、上述内容仅用于辅助理解本专利技术的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供一种向量化任务处理方法、装置、设备及存储介质,旨在解决现有技术传统词嵌入模型难以满足各种多模态的任务的技术问题。
2、为实现上述目的,本专利技术提供了一种向量化任务处理方法,所述向量化任务处理方法包括以下步骤:
3、获取各预训练模型对应的嵌入层权重,并根据所述嵌入层权重训练并搭建多个嵌入向量服务;
4、在接收到用户任务时,根据所述用户任务对应的任务类型从各嵌入向量服务中选取目标嵌入向量服务;
5、通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,并
6、可选地,所述获取各预训练模型对应的嵌入层权重,并根据所述嵌入层权重训练并搭建多个嵌入向量服务,包括:
7、加载各预训练模型,并通过预设调用机制将各预训练模型对应的嵌入层的权重进行提取,得到嵌入层权重;
8、将所述嵌入层权重进行维度统一后训练并搭建多个嵌入向量服务。
9、可选地,所述通过预设调用机制将各预训练模型对应的嵌入层的权重进行提取,得到嵌入层权重,包括:
10、通过预设查看命令查看各预训练模型的网络层名称信息;
11、根据所述网络层名称信息定位嵌入层名称;
12、根据预设调用机制和所述嵌入层名称提取各预训练模型对应的嵌入层的权重,得到嵌入层权重。
13、可选地,所述将所述嵌入层权重进行维度统一后训练并搭建多个嵌入向量服务,包括:
14、获取所述嵌入层权重的维度信息;
15、根据所述维度信息将各嵌入层权重的向量矩阵调整为目标维度,并根据维度统一后的数据训练并搭建多个嵌入向量服务。
16、可选地,所述根据所述用户任务对应的任务类型从各嵌入向量服务中选取目标嵌入向量服务,包括:
17、根据所述用户任务确定任务类型;
18、根据所述任务类型确定数据类型;
19、根据所述数据类型通过模型映射功能从各嵌入向量服务中选取目标嵌入向量服务。
20、可选地,所述根据所述数据类型通过模型映射功能从各嵌入向量服务中选取目标嵌入向量服务,包括:
21、根据所述数据类型调用模型映射功能从各预训练模型中选取目标类型模型;
22、将所述目标类型模型对应的嵌入向量服务确定为目标嵌入向量服务。
23、可选地,所述通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,并根据向量化结果和向量数据库完成所述用户任务,包括:
24、在所述用户任务为数据存储业务时,根据所述用户任务确定用户任务的数据;
25、通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,得到向量化结果;
26、将所述向量化结果存储到向量数据库中,完成所述用户任务。
27、可选地,所述通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,并根据向量化结果和向量数据库完成所述用户任务,包括:
28、在所述用户任务为搜索任务时,根据所述用户任务确定搜索内容数据;
29、通过所述目标嵌入向量服务对所述搜索内容数据进行向量化,得到向量化结果;
30、根据所述向量化结果查询向量数据库得到搜索结果,完成所述用户任务。
31、可选地,所述根据所述向量化结果查询向量数据库得到搜索结果,包括:
32、获取向量数据库中的数据库数据;
33、根据所述向量化结果计算各数据库数据与所述向量化结果的相似度;
34、根据所述相似度确定搜索结果。
35、可选地,所述根据所述相似度确定搜索结果,包括:
36、根据所述相似度进行排序,得到数据相似度排序结果;
37、从所述数据相似度排序结果中选取数据库数据作为搜索结果。
38、此外,为实现上述目的,本专利技术还提出一种向量化任务处理装置,所述向量化任务处理装置包括:
39、服务搭建模块,用于获取各预训练模型对应的嵌入层权重,并根据所述嵌入层权重训练并搭建多个嵌入向量服务;
40、服务选取模块,用于在接收到用户任务时,根据所述用户任务对应的任务类型从各嵌入向量服务中选取目标嵌入向量服务;
41、任务处理模块,用于通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,并根据向量化结果和向量数据库完成所述用户任务。
42、可选地,所述服务搭建模块,还用于加载各预训练模型,并通过预设调用机制将各预训练模型对应的嵌入层的权重进行提取,得到嵌入层权重;将所述嵌入层权重进行维度统一后训练并搭建多个嵌入向量服务。
43、可选地,所述服务搭建模块,还用于通过预设查看命令查看各预训练模型的网络层名称信息;根据所述网络层名称信息定位嵌入层名称;根据预设调用机制和所述嵌入层名称提取各预训练模型对应的嵌入层的权重,得到嵌入层权重。
44、可选地,所述服务搭建模块,还用于获取所述嵌入层权重的维度信息;根据所述维度信息将各嵌入层权重的向量矩阵调整为目标维度,并根据维度统一后的数据训练并搭建多个嵌入向量服务。
45、可选地,所述任务处理模块,还用于在所述用户任务为数据存储业务时,根据所述用户任务确定用户任务的数据;通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,得到向量化结果;将所述向量化结果存储到向量数据库中,完成所述用户任务。
46、可选地,所述服务搭建模块,还用于在所述用户任务为搜索任务时,根据所述用户任务确定搜索内容数据;通过所述目标嵌入向量服务对所述搜索内容数据进行向量化,得到向量化结果;根据所述向量化结果查询向量数据库得到搜索结果,完成所述用户任务。
47、可选地,所述服务搭建模块,还用于获取向量数据库中的数据库数据;根据所述向量化结果计算各数据库数据与所述向量化结果的相似度;根据所述相似度确定搜索结果。
48、可选地,所述服务搭建模块,还用于根据所述本文档来自技高网...
【技术保护点】
1.一种向量化任务处理方法,其特征在于,所述向量化任务处理方法包括:
2.如权利要求1所述的向量化任务处理方法,其特征在于,所述获取各预训练模型对应的嵌入层权重,并根据所述嵌入层权重训练并搭建多个嵌入向量服务,包括:
3.如权利要求2所述的向量化任务处理方法,其特征在于,所述通过预设调用机制将各预训练模型对应的嵌入层的权重进行提取,得到嵌入层权重,包括:
4.如权利要求2所述的向量化任务处理方法,其特征在于,所述将所述嵌入层权重进行维度统一后训练并搭建多个嵌入向量服务,包括:
5.如权利要求1所述的向量化任务处理方法,其特征在于,所述根据所述用户任务对应的任务类型从各嵌入向量服务中选取目标嵌入向量服务,包括:
6.如权利要求5所述的向量化任务处理方法,其特征在于,所述根据所述数据类型通过模型映射功能从各嵌入向量服务中选取目标嵌入向量服务,包括:
7.如权利要求1所述的向量化任务处理方法,其特征在于,所述通过所述目标嵌入向量服务对所述用户任务的数据进行向量化,并根据向量化结果和向量数据库完成所述用户任务,包括:
8.一种向量化任务处理装置,其特征在于,所述向量化任务处理装置包括:
9.一种向量化任务处理设备,其特征在于,所述向量化任务处理设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的向量化任务处理程序,所述向量化任务处理程序配置为实现如权利要求1至7中任一项所述的向量化任务处理方法。
10.一种存储介质,其特征在于,所述存储介质上存储有向量化任务处理程序,所述向量化任务处理程序被处理器执行时实现如权利要求1至7任一项所述的向量化任务处理方法。
...【技术特征摘要】
1.一种向量化任务处理方法,其特征在于,所述向量化任务处理方法包括:
2.如权利要求1所述的向量化任务处理方法,其特征在于,所述获取各预训练模型对应的嵌入层权重,并根据所述嵌入层权重训练并搭建多个嵌入向量服务,包括:
3.如权利要求2所述的向量化任务处理方法,其特征在于,所述通过预设调用机制将各预训练模型对应的嵌入层的权重进行提取,得到嵌入层权重,包括:
4.如权利要求2所述的向量化任务处理方法,其特征在于,所述将所述嵌入层权重进行维度统一后训练并搭建多个嵌入向量服务,包括:
5.如权利要求1所述的向量化任务处理方法,其特征在于,所述根据所述用户任务对应的任务类型从各嵌入向量服务中选取目标嵌入向量服务,包括:
6.如权利要求5所述的向量化任务处理方法,其特征在于,所述根据所述数...
【专利技术属性】
技术研发人员:周航宇,
申请(专利权)人:北京奇虎科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。