对象的处理方法及装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种对象的处理方法及装置、存储介质和电子设备。其中，该方法包括：对目标对象集合中的目标对象进行分批操作，得到多种分批结果；在多种分批结果中确定消耗资源最小的目标分批结果；将目标分批结果包括的多批目标对象，按批输入至目标神经网络模型进行处理。本发明专利技术解决了由于现有技术中批调度是基于尺度相同的输入数据，对于不同尺度的输入数据打包成一个批，存在开销大的技术问题。

【技术实现步骤摘要】
对象的处理方法及装置、存储介质和电子设备
本专利技术涉及计算机领域，具体而言，涉及一种对象的处理方法及装置、存储介质和电子设备。
技术介绍
以神经网络为核心的深度学习技术于生产场景需要高效的服务软件框架支持。将多个请求打包成一个批(batch)进行推理计算可以更加充分发挥处理器的计算能力。批处理优化是服务端的一种优化技巧，将一段时间间隔内到达服务器的消息打包成一个batch，统一输入神经网络进行正向计算，这样可以通过提升计算效率来提升服务的吞吐率。目前深度学习的服务框架都是针对处理尺寸相同的输入请求而设计的。也就是说每个输入请求都是尺寸相等数据。批调度器的算法也很简单，它将一段时间内的所有请求数据合并在一起做成batch即可。随着深度学习在不同领域的应用，例如，自然语言处理应用(NaturalLanguageProcessing，简称NLP)、图像处理、音频视频领域中的广泛应用，神经网络的快速处理迎来了巨大挑战，输入神经网络的输入数据的尺寸是不断变化的，比如，输入是不同长度的句子，不同像素大小的图像、不同大小的音频视频文件等，称之为变输本文档来自技高网...

【技术保护点】
1.一种对象的处理方法，其特征在于，包括：/n对目标对象集合中的目标对象进行分批操作，得到多种分批结果；/n在所述多种分批结果中确定消耗资源最小的目标分批结果，其中，所述多种分批结果中的每种分批结果所消耗的资源包括：将所述每种分批结果中包括的多批目标对象，按批输入到目标神经网络模型进行处理所消耗的资源之和；/n将所述目标分批结果包括的多批目标对象，按批输入至所述目标神经网络模型进行处理。/n

【技术特征摘要】
1.一种对象的处理方法，其特征在于，包括：
对目标对象集合中的目标对象进行分批操作，得到多种分批结果；
在所述多种分批结果中确定消耗资源最小的目标分批结果，其中，所述多种分批结果中的每种分批结果所消耗的资源包括：将所述每种分批结果中包括的多批目标对象，按批输入到目标神经网络模型进行处理所消耗的资源之和；
将所述目标分批结果包括的多批目标对象，按批输入至所述目标神经网络模型进行处理。


2.根据权利要求1所述的方法，其特征在于，所述对目标对象集合中的目标对象进行分批操作，得到多种分批结果，包括：
获取所述目标对象集合中的第N个目标对象分别与第N-i个分批结果组成的分批结果，共得到N-2个分批结果，其中，所述目标对象集合包括N个目标对象，所述第N-i个分批结果为第N-i个目标对象子集中消耗资源最小的分批结果，所述第N-i个目标对象子集包括所述目标对象集合中的前N-i个目标对象，i大于等于1，小于等于N-2，所述多种分批结果包括所述N-2个分批结果。


3.根据权利要求2所述的方法，其特征在于，所述对目标对象集合中的目标对象进行分批操作，得到多种分批结果，包括：
获取第一分批结果，其中，所述第一分批结果中包括第一批目标对象和第二批目标对象，所述第一批目标对象包括所述目标对象集合中的第1个目标对象，所述第二批目标对象包括所述目标对象集合中的后N-1个目标对象；
获取第二分批结果，其中，所述第二分批结果中的一批目标对象包括所述目标对象集合；
其中，所述多种分批结果还包括所述第一分批结果以及所述第二分批结果。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述目标对象集合中的目标对象按照所述目标对象的对象元素数量的从小到大进行排序的情况下的情况下，获取所述第N-i个分批结果，其中，所述第N-i个分批结果包括N-i个第N-i个目标对象，所述第N-i个目标对象为所述目标对象集合中的第N-i个目标对象。


5.根据权利要求1所述的方法，其特征在于，所述在所述多种分批结果中确定消耗资源最小的目标分批结果之前，所述方法还包括：
在预先建立的资源消耗表中获取所述多种分批结果中的每种分批结果所消耗的资源，其中，所述资源消耗表中记录不同对象元素数量的目标对象所消耗的资源。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取每种对象元素数量的目标对象连续M次输入到所述目标神经网络模型进行处理所消耗的资源，其中，M为自然数；
在所述资源消耗表中记录所述不同对象元素数量的目标对象连续M次输入到所述目标神经网络模型进行处理时，所述目标神经网络模型每次对目标对象进行处理所消耗的资源。


7.根据权利要求5所述的方法，其特征在于，所述在预先建立的资源消耗表中获取所述多种分批结果中的每种分批结果所消耗的资源，包括：
对所述多种分批结果中的第j种分批结果执行以下操作，得到所述第j种分批结果所消耗的资源，其中，j为自然数：
获取所述第j种分批结果包括的Sj批目标对象在所述资源消耗表中所记录的消耗的资源，共得到Sj个消耗的资源总量；
将所述第j种分批结果所消耗的资源确定为所述Sj个消耗的资源总量之和。


8.根据权利要求7所述的方法，其特征在于，所述获取所述第j种分批结果包括的Sj批目标对象在所述资源消耗表中所记录的消耗的资源，包括：
在所述Sj批目标对象中的第一批目标对象包括t种不同对象元素数量的目...

【专利技术属性】
技术研发人员：方佳瑞，于洋，周杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44