一种数据处理的方法、系统、协处理装置和主处理装置制造方法及图纸

本发明专利技术实施例涉及大数据领域，公开了一种数据处理的方法、系统、协处理装置和主处理装置。本发明专利技术中的方法，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，第一数据是由主处理装置对第二数据进行序列化处理后得到；根据位置信息数据，确定第一数据中每个待处理元素在存储空间中的位置；按照确定的每个待处理元素在存储空间中的位置，同时从存储空间中读取第一数据中的每个待处理元素；根据处理请求，对读取的每个待处理元素进行处理，并将处理结果传输至主处理装置。本发明专利技术的数据处理的方法，提高主处理装置与协处理装置之间的数据交换的速度，提高主处理装置对协处理装置的利用率。

【技术实现步骤摘要】
一种数据处理的方法、系统、协处理装置和主处理装置
本专利技术实施例涉及大数据领域，特别涉及一种数据处理的方法、系统、协处理装置和主处理装置。
技术介绍
随着分布式系统基础架构(如：海杜普，简称“Hadoop”)技术的出现，大数据技术被广泛运用。大数据是将计算资源与数据资源分发到不同的计算设备上进行计算，并利用处理器的多线程技术，和多个主机组成的集群计算能力，实现强大的计算和存储功能。当今大数据技术被广泛应用，对于速度的需求不断增加，除了CPU芯片性能在不断提升之外，还可以利用协处理芯片帮助CPU芯片处理数据。以现场可编程门阵列(Field－ProgrammableGateArray，简称“FPGA”)芯片和图形处理器(GraphicsProcessingUnit，简称“GPU”)芯片作为其中的代表。其中，GPU芯片普遍用于图像的3D加速计算，如今经历了深度学习的兴起，俨然成为深度学习方面的主要加速处理器。协处理器芯片，一般拥有独立于CPU芯片的内存区域，通过对自己内存区域的数据操作，获得计算所需要的数据，并利用自身的内存区域存储结果。通过总线通信，协处理器芯片的内存空间与CPU芯片的内存空间可以进行数据交换。通常大数据引擎包括多台设备，每台设备包括一个主处理芯片和至少一个协处理芯片。专利技术人发现现有技术中至少存在如下问题：目前的主处理芯片与协处理芯片进行数据交换的速度非常慢，同时协处理芯片处理主处理芯片发送的数据非常耗时，完全失去了协处理芯片帮助主处理芯片处理数据的意义。可见，如何利用协处理芯片提高主处理器处理数据的速度和效率，提高主处理芯片与协处理芯片之间的数据交换的速度，是需要解决的问题。
技术实现思路
本专利技术实施方式的目的在于提供一种数据处理的方法、系统、协处理装置和主处理装置，提高主处理装置与协处理装置之间的数据交换的速度，提高主处理装置对协处理装置的利用率。为解决上述技术问题，本专利技术的实施方式提供了一种数据处理的方法，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，第一数据是由主处理装置对第二数据进行序列化处理后得到；根据位置信息数据，确定第一数据中每个待处理元素在存储空间中的位置；按照确定的每个待处理元素在存储空间中的位置，同时从存储空间中读取第一数据中的每个待处理元素；根据处理请求，对读取的每个待处理元素进行处理，并将处理结果传输至主处理装置。本专利技术的实施方式还提供了一种数据处理的方法，包括：应用于主处理装置，包括：确定第一数据，并在确定第一数据的过程中，构建第一数据的位置信息数据，其中，第一数据是对第二数据进行序列化处理后得到；将处理请求、第一数据以及位置信息数据发送至协处理装置，其中，协处理装置将处理后的处理结果返回主处理装置；接收所述处理结果；根据处理结果，确定第二数据的处理结果。本专利技术的实施方式还提供了一种协处理装置，包括：至少一个处理装置；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的应用于协处理装置的数据处理的方法。本专利技术的实施方式还提供了一种主处理装置，包括：至少一个处理装置；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的应用于主处理装置的数据处理的方法本专利技术的实施方式还提供了一种数据处理的系统，包括上述的协处理装置和上述的主处理装置。本专利技术实施方式相对于现有技术而言，由于协处理装置无法直接获得非基本类型对象的头指针，需要通过回调非基本类型对象才能获得该对象的内容，例如，若主处理装置采用Java语言编写，若将非基本类型对象的数据发送给协处理装置处理，需要通过Java本地接口在C++中回调Java非基本类型对象，获取到该对象的内容。但是通过回调的方式获得非基本类型对象的内容是非常耗时的，影响了主处理装置与协处理装置之间的数据交换的速度，本实施方式中的第一数据是由主处理装置对第二数据进行序列化处理后得到，而序列化处理后的数据为基本类型的数据，使得协处理装置无需通过回调方式获取主处理装置中的非基本类型的内容，从而大大加快了协处理装置接收第一数据的速度。同时，由于协处理装置采用多线程的运行方式，通过位置信息数据使得协处理装置可以从自身的存储空间中同时提取每个待处理元素，大大加快了对数据的提取速度，从而加快了对每个待处理元素的处理速度，提升了主处理装置与协处理装置之间数据交换的速度，提高主处理装置对协处理装置的利用率。另外，位置信息数据包括：长度数组和偏移数组；长度数组中的每个长度元素为与长度元素具有相同位置标号的待处理元素的字节长度；偏移数组的每个偏移元素为与偏移元素具有相同位置标号的待处理元素在存储空间的起始位置，相对于第一数据在存储空间的起始位置的偏移数值。通过偏移数组可以用于指示待处理元素在存储空间的偏移位置，长度数组可以获知每个待处理元素的字节长度，从而使得协处理装置可以通过偏移元素和对应的长度即可读取该待处理元素，读取速度快。另外，偏移数组的第i个偏移元素为第i-1个偏移元素与第i-1个长度元素之和，其中，偏移数组中的第一个偏移元素为0，且i为大于1的整数。提供一种快速确定偏移数组的方式。另外，按照确定的每个待处理元素在存储空间中的位置，同时从存储空间中读取第一数据中的每个待处理元素，具体包括：读取每个待处理元素的过程如下：以待处理元素在存储空间中的起始位置为起点，按照待处理元素对应的长度读取数据，并将读取的数据作为待处理元素，其中，待处理元素对应的长度为与待处理元素具有相同位置标号的长度元素所指示的长度值。通过与每个待处理元素具有相同位置标号的偏移元素和长度元素，可以直接从存储空间中读取数据，而无需从顺次读取数据，大大加快了数据的读取速度。另外，根据处理请求，对读取的每个待处理元素进行处理，具体包括：将每个待处理元素作为键值，并将与每个待处理元素具有相同位置标号的长度元素以及偏移元素作为键值对应的数值；按照处理请求，对每个键值以及与键值对应的数值进行处理。通过键值对的方式对待处理元素进行处理，同时可以记录偏移数组和长度数组的变化情况，使得在特定处理请求下通过使用变化的偏移数组和长度数组，快速提取处理后的数据。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式提供的一种数据处理的方法的具体流程示意图；图2是根据本专利技术第二实施方式提供的一种数据处理的方法的具体流程示意图；图3是根据本专利技术第三实施方式提供的一种数据处理的方法的具体流程示意图；图4是根据本专利技术第四实施方式中构建第一数据的位置信息数据具体流程示意图；图5是根据本专利技术第五实施方式提供的一种协处理装置的结构示意图；图6是根据本专利技术第六实施方式提供的一种主处理装置的结构示意图；图7是根据本专利技术第七实施方式提供的一种数据处理的系统中数据从主处理装置传输至协处理装置的示意图；图8是根据本专利技术第七实施方式提供的一种数本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，所述第一数据是由所述主处理装置对第二数据进行序列化处理后得到；根据所述位置信息数据，确定所述第一数据中每个待处理元素在所述存储空间中的位置；按照确定的每个待处理元素在所述存储空间中的位置，同时从所述存储空间中读取所述第一数据中的每个待处理元素；根据所述处理请求，对读取的所述每个待处理元素进行处理，并将处理结果传输至所述主处理装置。

【技术特征摘要】
1.一种数据处理的方法，其特征在于，应用于协处理装置，包括：接收主处理装置发送的处理请求、第一数据以及位置信息数据，其中，所述第一数据是由所述主处理装置对第二数据进行序列化处理后得到；根据所述位置信息数据，确定所述第一数据中每个待处理元素在所述存储空间中的位置；按照确定的每个待处理元素在所述存储空间中的位置，同时从所述存储空间中读取所述第一数据中的每个待处理元素；根据所述处理请求，对读取的所述每个待处理元素进行处理，并将处理结果传输至所述主处理装置。2.根据权利要求1所述的数据处理的方法，其特征在于，所述位置信息数据包括：长度数组和偏移数组；所述长度数组中的每个长度元素为与所述长度元素具有相同位置标号的待处理元素的字节长度；所述偏移数组的每个偏移元素为与所述偏移元素具有相同位置标号的待处理元素在所述存储空间的起始位置，相对于所述第一数据在所述存储空间的起始位置的偏移数值。3.根据权利要求2所述的数据处理的方法，其特征在于，所述偏移数组的第i个偏移元素为第i-1个偏移元素与第i-1个长度元素之和，其中，偏移数组中的第一个偏移元素为0，且i为大于1的整数。4.根据权利要求2或3所述的数据处理的方法，其特征在于，按照确定的每个待处理元素在所述存储空间中的位置，同时从所述存储空间中读取所述第一数据中的每个待处理元素，具体包括：读取每个待处理元素的过程如下：以所述待处理元素在所述存储空间中的起始位置为起点，按照所述待处理元素对应的长度读取数据，并将读取的数据作为所述待处理元素，其中，所述待处理元素对应的长度为与所述待处理元素具有相同位置标号的长度元素所指示的长度值。5.根据权利要求2或3所述的数据处理的方法，其特征在于，根据所述处理请求，对读取的所述每个待处理元素进行处理，具体包括：将所述每个待处理元素作为键值，并将与每个待处理元素具有相同位置标号的长度元素以...

【专利技术属性】
技术研发人员：朱峰，
申请(专利权)人：中兴飞流信息科技有限公司，
类型：发明
国别省市：江苏,32