数据处理装置、方法、计算机设备以及存储介质制造方法及图纸

一种数据处理装置、方法、计算机设备以及存储介质，该装置包括：数据获取模块，用于获取输入数据；数据处理模块，用于将输入数据转换成目标存储器的数据格式，并将输入数据写入目标存储器，所述输入数据的数据格式与所述目标存储器的数据格式不同，目标存储器具有P个存储块，每个存储块包括X

【技术实现步骤摘要】
数据处理装置、方法、计算机设备以及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种数据处理装置、方法、计算机设备以及存储介质。

技术介绍

[0002]随着云计算技术、物联网等技术快速发展，数据信息呈现出了存储规模大、种类和来源多样化、存储管理复杂等显著特点。数据处理是指对数值的和非数值的数据进行分析和加工，以实现空间数据的有序化。在大数据时代的背景下，海量数据的处理成为了各行各业急需解决的问题，数据处理对于数据集成和数据管理等活动至关重要。

技术实现思路

[0003]本申请实施例提供了一种数据处理装置、方法、计算机设备以及存储介质。
[0004]第一方面，提供一种数据处理装置，包括：数据获取模块，用于获取输入数据，该输入数据来自源存储器；数据处理模块，用于将输入数据转换成目标存储器的数据格式，并将输入数据写入目标存储器，其中，输入数据的数据格式与目标存储器的数据格式不同，该目标存储器具有P个存储块，每个存储块包括X
×
Y个子存储块，其中，X为行数，Y为列数，子存储块包括Z个单元存储器，其中，位于同一列的子存储块中存储的数据的属性相同，位于同一行的子存储块中存储的数据的属性不同，P、X、Y、Z均为正整数。
[0005]基于本技术方案，在输入数据的数据格式与目标存储器的数据格式不同时，该数据处理装置能够将输入数据转换为目标存储器的数据格式，并将输入数据写入具有P个存储块，每个存储块包括X
×
Y个子存储块，并且同一列属性相同、同一行属性不同，每个子存储块包括Z个单元存储器的目标存储器中，实现了数据格式由输入数据结构到目标存储器结构的转换，从而能够将输入数据写入目标存储器。
[0006]结合第一方面，在第一方面可能的实现方式中，数据获取模块还用于获取与输入数据对应的标识信号，数据处理模块还用于：根据标识信号将输入数据写入目标存储器。
[0007]结合第一方面，在第一方面可能的实现方式中，输入数据包括M
×
N个子数据，其中，M为行数，N为列数，M、N均为正整数，位于同一列的子数据的属性相同，位于同一行的子数据的属性不同。
[0008]结合第一方面，在第一方面可能的实现方式中，标识信号包括行标识和目的地址标识，其中，输入数据每行对应一个行标识，目的地址标识包括行信息和偏移量，数据处理模块包括地址计算单元和控制单元，地址计算单元用于：根据行标识确定每个子数据待写入的存储块的位置；根据行信息确定每个子数据待写入的子存储块的位置；根据偏移量确定每个子数据待写入的单元存储器的位置；控制单元用于：将每个子数据写入对应位置的单元存储器。
[0009]结合第一方面，在第一方面可能的实现方式中，数据处理模块还包括数据转换单元，控制单元具体用于，确定所述偏移量小于或者等于Z
‑
M；数据转换单元用于，分别提取所
述输入数据中各列的子数据并组合以得到传输数据；控制单元具体还用于，将传输数据通过一次传输写入目标存储器。
[0010]结合第一方面，在第一方面可能的实现方式中，数据处理模块还包括数据转换单元，控制单元具体用于，确定偏移量大于Z
‑
M；数据转换单元用于，分别提取所述输入数据中各列的子数据并组合以得到传输数据，再将传输数据拆分为第一传输数据和第二传输数据；控制单元具体还用于，将第一传输数据通过第一传输写入目标存储器，并将第二传输数据通过第二传输写入目标存储器。
[0011]结合第一方面，在第一方面可能的实现方式中，标识信号还包括掩码信息，掩码信息用于确定输入数据的有效性，数据处理模块还包括掩码处理单元，掩码处理单元用于，将传输数据的掩码信息进行拼接得到传输掩码，控制单元具体用于，根据传输掩码将传输数据通过一次传输写入目标存储器。
[0012]结合第一方面，在第一方面可能的实现方式中，标识信号还包括掩码信息，掩码信息用于确定输入数据的有效性，数据处理模块还包括掩码处理单元，掩码处理单元用于，将第一传输数据的掩码信息进行拼接得到第一传输掩码，并将第二传输数据的掩码信息进行拼接得到第二传输掩码，其中，控制单元具体用于，根据第一传输掩码将第一传输数据通过第一传输写入目标存储器，并根据第二传输掩码将第二传输数据通过第二传输写入目标存储器。
[0013]结合第一方面，在第一方面可能的实现方式中，所地址计算单元还用于：将行标识对P进行取余，以得到每个子数据待写入的存储块的位置。
[0014]结合第一方面，在第一方面可能的实现方式中，M、N、P、X、Y、Z均为2的正整数次幂。
[0015]第二方面，本申请还提供了一种计算机设备，计算机设备包括：上述第一方面或第一方面的任一可能的实现方式中的装置。
[0016]第三方面，本申请还提供了一种数据处理方法，该方法包括：获取输入数据，输入数据来自源存储器；将输入数据转换成目标存储器的数据格式，并将输入数据写入目标存储器，其中，输入数据的数据格式与目标存储器的数据格式不同，目标存储器具有P个存储块，每个存储块包括X
×
Y个子存储块，其中，X为行数，Y为列数，子存储块包括Z个单元存储器，其中，位于同一列的子存储块中存储的数据的属性相同，位于同一行的子存储块中存储的数据的属性不同，其中，P、X、Y、Z均为正整数。
[0017]在第三方面提供的方法中，在输入数据的数据格式与目标存储器的数据格式不同时，该数据处理方法能够将输入数据转换为目标存储器的数据格式，并将输入数据写入具有P个存储块，每个存储块包括X
×
Y个子存储块，并且同一列属性相同、同一行属性不同，每个子存储块包括Z个单元存储器的目标存储器中，实现了数据格式由输入数据结构到目标存储器结构的转换，从而能够将输入数据写入目标存储器。
[0018]结合第三方面，在第三方面可能的实现方式中，该方法还包括：获取与输入数据对应的标识信号，其中，将输入数据写入目标存储器，包括：根据标识信号将输入数据写入目标存储器。
[0019]结合第一方面，在第一方面可能的实现方式中，输入数据包括M
×
N个子数据，其中，M为行数，N为列数，M、N均为正整数，位于同一列的子数据的属性相同，位于同一行的子数据的属性不同。
[0020]结合第三方面，在第三方面可能的实现方式中，标识信号包括行标识和目的地址标识，其中，输入数据每行对应一个行标识，目的地址标识包括行信息和偏移量，根据标识信号将输入数据写入目标存储器，包括：根据行标识确定每个子数据待写入的存储块的位置；根据行信息确定每个子数据待写入的子存储块的位置；根据偏移量确定每个子数据待写入的单元存储器的位置；将每个子数据写入对应位置的单元存储器。
[0021]结合第三方面，在第三方面可能的实现方式中，将每个子数据写入对应位置的单元存储器，包括：确定偏移量小于或者等于Z
‑
M；分别提取输入数据中各列的子数据并组合以得到传输数据；将传输数据通过一次传输写入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，其特征在于，所述装置包括：数据获取模块，用于获取输入数据，所述输入数据来自源存储器；数据处理模块，用于将所述输入数据转换成目标存储器的数据格式，并将所述输入数据写入所述目标存储器，其中，所述输入数据的数据格式与所述目标存储器存储的数据格式不同，所述目标存储器具有P个存储块，每个所述存储块包括X
×
Y个子存储块，其中，X为行数，Y为列数，所述子存储块包括Z个单元存储器，其中，位于同一列的所述子存储块中存储的数据的属性相同，位于同一行的所述子存储块中存储的数据的属性不同，P、X、Y、Z均为正整数。2.根据权利要求1所述的装置，其特征在于，所述数据获取模块还用于，获取与所述输入数据对应的标识信号，所述数据处理模块还用于，根据所述标识信号将所述输入数据写入所述目标存储器。3.根据权利要求2所述的装置，其特征在于，所述输入数据包括M
×
N个子数据，其中，M为行数，N为列数，M、N均为正整数，位于同一列的所述子数据的属性相同，位于同一行的所述子数据的属性不同。4.根据权利要求3所述的装置，其特征在于，所述标识信号包括行标识和目的地址标识，其中，所述输入数据每行对应一个所述行标识，所述目的地址标识包括行信息和偏移量，所述数据处理模块包括地址计算单元和控制单元，所述地址计算单元用于：根据所述行标识确定每个子数据待写入的存储块的位置；根据所述行信息确定每个子数据待写入的子存储块的位置；根据所述偏移量确定每个子数据待写入的单元存储器的位置；所述控制单元用于：将每个子数据写入对应位置的单元存储器。5.根据权利要求4所述的装置，其特征在于，所述数据处理模块还包括数据转换单元，所述控制单元具体用于，确定所述偏移量小于或者等于Z
‑
M；所述数据转换单元用于，分别提取所述输入数据中各列的子数据并组合以得到传输数据；所述控制单元具体还用于，将所述传输数据通过一次传输写入所述目标存储器。6.根据权利要求4所述的装置，其特征在于，所述数据处理模块还包括数据转换单元，所述控制单元具体用于，确定所述偏移量大于Z
‑
M；所述数据转换单元用于，分别提取所述输入数据中各列的子数据并组合以得到传输数据，再将所述传输数据拆分为第一传输数据和第二传输数据；所述控制单元具体还用于，将所述第一传输数据通过第一传输写入所述目标存储器，并将所述第二传输数据通过第二传输写入所述目标存储器。7.根据权利要求5所述的装置，其特征在于，所述标识信号还包括掩码信息，所述掩码信息用于确定所述输入数据的有效性，所述数据处理模块还包括掩码处理单元，所述掩码处理单元用于，将所述传输数据的掩码信息进行拼接得到传输掩码；所述控制单元具体用于，根据所述传输掩码将所述传输数据通过所述一次传输写入所述目标存储器。
8.根据权利要求6所述的装置，其特征在于，所述标识信号还包括掩码信息，所述掩码信息用于确定所述输入数据的有效性，所述数据处理模块还包括掩码处理单元，所述掩码处理单元用于，将所述第一传输数据的掩码信息进行拼接得到第一传输掩码，并将所述第二传输数据的掩码信息进行拼接得到第二传输掩码，所述控制单元具体用于，根据所述第一传输掩码将所述第一传输数据通过所述第一传输写入所述目标存储器，并根据所述第二传输掩码将所述第二传输数据通过所述第二传输写入所述目标存储器。9.根据权利要求4
‑
8中任一项所述的装置，其特征在于，所地址计算单元还用于：将所述行标识对P进行取余，以得到每个子数据待写入的存储块的位置。10.一种计算机设备，其特征在于，所述计算机设备包括：如权利要求1至9中任一项所述的装置。11.一种数据处理方法，其特征在于，所述方法包括：获取输入数据，所述输入数据来自源存储器；将所述输入数据转换成目标存储...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：