面向微服务的批推理方法、服务器和计算机可读存储介质技术

本发明专利技术涉及深度学习技术领域，特别是涉及一种面向微服务的批推理方法、服务器和计算机可读存储介质。面向微服务的批推理方法包括：接收客户端发送的用户请求；将请求存入字典并添加到当前请求队列；等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；读取批推理结果；向客户端返回批推理结果。在实际的业务场景中，微服务之间往往是并发关系，使用框架级别的批推理无法对此进行优化，使用本发明专利技术提出的方案，可以节约并发场景下的无效等待时间，提升优化效果。

Microservice oriented batch reasoning method, server and computer readable storage medium

【技术实现步骤摘要】
面向微服务的批推理方法、服务器和计算机可读存储介质
本专利技术涉及深度学习
，特别是涉及一种面向微服务的批推理方法、、服务器和计算机可读存储介质。
技术介绍
随着BERT、ERNIE、XLNET等大规模语言模型的问世，各种自然语言技术(文本分类、用户画像、知识图谱、命名实体识别、语义匹配、中文分词等)都逐渐基于此类模型，业务精度也随之不断提升。由于BERT等语言模型中模型的参数越多，其在各个NLP(NaturalLanguageProcessing，自然语言处理)任务上的精度也越高，进而导致训练和推理的资源消耗也越大。在当前业务耗时受约束、资源有限的条件下，如何支撑更大的流量成为大规模语言模型应用落地的一大难题。当前基于TensorflowServing的批推理框架兼容性较差，商业云解决方案必须购买云服务在云上实现，另外没有针对微服务本身的批推理方案。每个微服务的特点不同，业务逻辑也不同，目前并没有任何架构在云服务上提出通用的微服务级别的解决方案。因此，亟需一个微服务级别的批推理解决方案，在有限的资源约束下，支撑线上庞大的业务请求本文档来自技高网...

【技术保护点】
1.一种面向微服务的批推理方法，其特征在于，包括：/n接收客户端发送的用户请求；/n将请求存入字典并添加到当前请求队列；/n等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；/n读取批推理结果；/n向客户端返回批推理结果。/n

【技术特征摘要】
1.一种面向微服务的批推理方法，其特征在于，包括：
接收客户端发送的用户请求；
将请求存入字典并添加到当前请求队列；
等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；
读取批推理结果；
向客户端返回批推理结果。


2.如权利要求1所述面向微服务的批推理方法，其特征在于，等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果包括：
等待子线程先确定当前请求队列符合进行批推理的条件，再返回当前请求队列中所有请求对应的微服务的批推理结果；其中，批推理的条件和微服务参数相关。


3.如权利要求2所述面向微服务的批推理方法，其特征在于，微服务参数包括队列长度，符合进行批推理的条件包括：当前请求队列的长度等于预设的队列最大长度。


4.如权利要求2所述面向微服务的批推理方法，其特征在于，微服务参数包括等待时间，符合进行批推理的条件包括：当前请求队列的等待时间达到预设的最长等待时间。


5.如权利要求3或4所述面向微服务的批推理方法，其特征在于，等待子线程先确定当前请求队列符合进行批推理的条件，再返回当前请求队列中所有请求对应的微服务的批推理结果包括：
等待子线程通信返回的批推理结果；其中，子线程先确定当前请求队列符合进行批推理的条件，接着将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理，然后获取所有微服务的批推理结果，根据请求对批推理结果进行拆分并将拆分后的批推理结果存入词典。


6.如权利要求5所述面向微服务...

【专利技术属性】
技术研发人员：赵耀，孙霞，
申请(专利权)人：广州小鹏汽车科技有限公司，
类型：发明
国别省市：广东;44