【技术实现步骤摘要】
一种数据处理方法和装置
本申请涉及数据处理领域，特别是涉及一种数据处理方法和装置。
技术介绍
神经网络在语音、图像等多种领域都有着广泛的应用。在神经网络中，归一化指数(Softmax)函数是应用于神经网络的输出层的一种函数。在使用神经网络时，需要对输出层中的节点依次计算每一个节点对应的Softmax函数。当输出层中具有n个节点，各个节点的值为x_1，x_2，…，x_n时，其中任意一个节点i的Softmax函数可以通过下式得到：exp(x_i)/sum(exp(x_1)，exp(x_2)，…，exp(x_n))其中，exp(x_i)为x_i以自然数e为底的指数函数值，exp也可以示为e，sum()为求和。传统计算输出层各节点的Softmax函数主要采用串行计算的方式，即先依次计算输出层各个节点对应的指数函数值，再对各个节点对应的指数函数值求和，然后根据求和结果依次计算各个节点对应的Softmax函数。当输出层中节点数量较多时，这种串行计算方式会消耗大量的计算时间，降低了数据处理效率。
【技术保护点】
1.一种数据处理方法，其特征在于，神经网络的输出层中节点被分配给多个计算单元，所述计算单元的数量是处理设备根据自身并行处理能力确定的，所述方法包括：/n所述处理设备通过所述多个计算单元并行计算所述多个计算单元所分配节点的指数函数值；其中，针对所述多个计算单元中的任意一个目标计算单元，所述目标计算单元依次计算所分配节点各自对应的指数函数值；/n所述处理设备根据所述输出层中节点各自对应的指数函数值确定所述输出层中节点各自对应的归一化指数Softmax函数。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，神经网络的输出层中节点被分配给多个计算单元，所述计算单元的数量是处理设备根据自身并行处理能力确定的，所述方法包括：
所述处理设备通过所述多个计算单元并行计算所述多个计算单元所分配节点的指数函数值；其中，针对所述多个计算单元中的任意一个目标计算单元，所述目标计算单元依次计算所分配节点各自对应的指数函数值；
所述处理设备根据所述输出层中节点各自对应的指数函数值确定所述输出层中节点各自对应的归一化指数Softmax函数。
2.根据权利要求1所述的方法，其特征在于，所述目标计算单元依次计算所分配节点各自对应的指数函数值，包括：
所述目标计算单元依次计算所分配节点各自对应的指数函数值，并对所分配节点各自对应的指数函数值求和得到子求和结果。
3.根据权利要求2所述的方法，其特征在于，所述处理设备根据所述输出层中节点各自对应的指数函数值确定所述输出层中节点各自对应的归一化指数Softmax函数，包括：
所述处理设备通过所述目标计算单元，根据所述多个计算单元分别得到的子求和计算得到所述输出层中节点对应的指数函数值之和；
所述处理设备根据所述输出层中节点各自对应的指数函数值，以及所述指数函数值之和确定所述输出层中节点各自对应的Softmax函数。
4.根据权利要求3所述的方法，其特征在于，所述处理设备根据所述输出层中节点各自对应的指数函数值，以及所述指数函数值之和确定所述输出层中节点各自对应的Softmax函数，包括：
所述处理设备通过所述多个计算单元获取所述指数函数值之和；
所述处理设备通过所述多个计算单元并行计算所述多个计算单元所分配节点各自对应的Softmax函数。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述并行处理能力是根据所述处理设备的线程数量确定的，相应的，所述计算单元的数量等于所述处理设备的空闲线程数量。
6.根据权利要求1-4任意一项所述...
【专利技术属性】
技术研发人员：唐文琦，
申请(专利权)人：北京搜狗科技发展有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。