【技术实现步骤摘要】
一种数据处理方法、装置和存储介质
本申请涉及计算机的
，具体涉及一种数据处理方法、装置和存储介质。
技术介绍
近年来，随着集成电路迅猛发展，人们对高计算性能和低功耗的要求日益强烈，通用处理器(CPU)的朝着高频率的方向发展遇到了天花板，转而朝向处理核心数量越来越多的方向发展，目前，为了提高计算机设备的数据处理性能，可以采用NUMA(Non-UniformMemoryAccess，非统一内存访问)技术将几十个CPU(甚至上百个CPU)组合在一个计算机设备中，该计算机设备具有多个数据处理模块，每个数据处理模块包括至少一个cpu，以及独立的本地内存，各数据处理模块可以通过互联模块(如称为CrossbarSwitch)进行互相访问。但是，访问远地内存的延时远远超过本地内存。计算机设备通常只有一个用于输入待处理数据的外部设备，只能设置在一个数据处理模块中。因此在数据处理时，由于访问远地内存或者仅应用一个数据处理模块，导致目前的数据处理方法效率较低。具体地，参考图6a，外部设备可以将待处理数据存储至本地内存，其它数...
【技术保护点】
1.一种数据处理方法，其特征在于，适用于计算机设备，所述计算机设备包括多个数据处理模块，所述数据处理模块包括输入子模块、存储子模块和处理子模块，所述数据处理方法包括：/n对于每个数据处理模块，触发所述数据处理模块中的输入子模块获取待处理数据；/n基于所述数据处理模块中的输入子模块将获取到的所述待处理数据，存储至所述数据处理模块中的存储子模块；/n触发所述数据处理模块中的处理子模块读取所述数据处理模块的存储子模块中的待处理数据；/n触发所述数据处理模块中的处理子模块对读取到的所述待处理数据进行处理。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，适用于计算机设备，所述计算机设备包括多个数据处理模块，所述数据处理模块包括输入子模块、存储子模块和处理子模块，所述数据处理方法包括：
对于每个数据处理模块，触发所述数据处理模块中的输入子模块获取待处理数据；
基于所述数据处理模块中的输入子模块将获取到的所述待处理数据，存储至所述数据处理模块中的存储子模块；
触发所述数据处理模块中的处理子模块读取所述数据处理模块的存储子模块中的待处理数据；
触发所述数据处理模块中的处理子模块对读取到的所述待处理数据进行处理。
2.如权利要求1所述的数据处理方法，其特征在于，所述输入子模块包括至少一个输入通道，所述处理子模块包括至少一个数据处理核心，在所述触发所述数据处理模块中的输入子模块将获取到的待处理数据，存储至所述数据处理模块中的存储子模块之前，还包括：
对于每个处理子模块，根据所述处理子模块中的所述数据处理核心，以及所在的数据处理模块中的预设数据处理程序，获取数据读取核心；
根据所述数据读取核心，确定所述输入子模块中用于与所述存储子模块通信的目标输入通道；
将所述目标输入通道与所述数据读取核心建立映射；
根据所述映射，将所述目标输入通道连接到所述数据读取核心对应的所述存储子模块，所述数据读取核心对应的所述存储子模块，是所述数据读取核心所在的所述数据处理模块中的所述存储子模块。
3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述映射，将所述目标输入通道连接到所述数据读取核心对应的所述存储子模块，包括：
根据所述映射，确定所述数据读取核心对应的存储子模块；
对所述目标输入通道获取到的待处理数据进行解析，得到所述待处理数据中的通信标识信息；
根据所述通信标识信息，获取所述待处理数据在所述存储子模块中的索引信息；
基于所述索引信息，将所述目标输入通道连接到所述存储子模块。
4.如权利要求3所述的数据处理方法，其特征在于，所述基于所述数据处理模块中的输入子模块将获取到的所述待处理数据，存储至所述数据处理模块中的存储子模块，包括：
基于所述数据读取核心与所述目标输入通道的映射，获取所述数据读取核心对应的所述待处理数据，在所述存储子模块中的索引信息；
根据所述索引信息，将所述目标输入通道获取到的所述待处理数据存储至所述数据处理模块中的存储子模块。
5.如权利要求3所述的数据处理方法，其特征在于，所述触发所述数据处理模块中的处理子模块读取所述数据处理模块的存储子模块中的...
【专利技术属性】
技术研发人员：葛双博，王永峰，赵力，张元龙，甘祥，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。