一种数据处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、电子设备及可读存储介质，将样本数据对应的样本名称以及表征样本数据的数值对象作为内存变量存储至内存空间，若需要对人工智能模型进行训练，则可以直接从内存空间中读取数值对象，从而至少节省了从硬盘读取样本数据的时间以及将处理后的样本数据写入内存缓存区的时间，缩短了人工智能模型训练的时间。

A data processing method, device, electronic equipment and readable storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及可读存储介质
本申请涉及数据处理
，更具体的说，是涉及一种数据处理方法、装置、电子设备及可读存储介质。
技术介绍
人工智能模型，例如神经网络模型、深度学习模型等等，都需要大量样本数据进行训练，训练后的人工智能模型能够自动提取待测数据的特征，从而对待测数据进行诸如识别等处理。在对人工智能模型进行训练的过程中，需要从硬盘存储空间中读取样本数据，并针对读取的样本数据进行处理，例如，若样本数据为图像，对样本数据的处理包括对图像的分割、对图像的归一化处理等等。因为并不能一次读取大量的样本数据，所以将处理后的样本数据写入到内存空间，等待被读取；从内存空间读取处理后的样本数据，输入至人工智能模型，以对人工智能模型进行训练。目前在基于样本数据训练人工智能模型的过程中，花费的时间至少包括：T1(从硬盘读取样本数据的时间)+T2(对样本数据进行处理的时间)+T3(将处理后的样本数据写入内存缓存区的时间)，导致训练人工智能模型的时间较长。
技术实现思路
有鉴于此，本申请提供了一种数据处理方法本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取多个样本名称，一个样本名称对应一个样本数据；/n基于多个样本名称的总数量以及预设数目，确定分组数目；/n创建所述分组数目个第一内存变量数组，其中，每一第一内存变量数组包括至少一个样本名称，每一第一内存变量数组包含的样本名称总数目小于或等于所述预设数目；/n创建第二内存变量数组，所述第二内存变量数组包括所述分组数目个第一内存变量数组；/n创建所述分组数目个第三内存变量数组；其中，每一第三内存变量数组包括至少一个数值对象，一个数值对象用于表征一个样本数据，每一第三内存变量数组包含的数值对象总数目小于或等于所述预设数目；/n创建第四内存变量数组；其中，...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取多个样本名称，一个样本名称对应一个样本数据；
基于多个样本名称的总数量以及预设数目，确定分组数目；
创建所述分组数目个第一内存变量数组，其中，每一第一内存变量数组包括至少一个样本名称，每一第一内存变量数组包含的样本名称总数目小于或等于所述预设数目；
创建第二内存变量数组，所述第二内存变量数组包括所述分组数目个第一内存变量数组；
创建所述分组数目个第三内存变量数组；其中，每一第三内存变量数组包括至少一个数值对象，一个数值对象用于表征一个样本数据，每一第三内存变量数组包含的数值对象总数目小于或等于所述预设数目；
创建第四内存变量数组；其中，所述第四内存变量数组包括所述分组数目个第三内存变量数组；
其中，一个样本名称位于所述第二内存变量数组中的数组位置与表征该样本名称对应的样本数据的数值对象位于所述第四内存变量数组中数组位置相同；所述第二内存变量数组中的数组位置是指所述第二内存变量数组中包含的第一内存变量数组的下标；所述第四内存变量数组中数组位置是指所述第四内存变量数组包含的第二内存变量数组的下标；
一个样本名称位于相应第一内存变量数组中的组内位置与表征该样本名称对应的样本数据的数值对象位于相应第三内存变量数组中的组内位置相同；所述第一内存变量数组中的组内位置是指所述第一内存变量数组包含的样本名称的下标；所述第三内存变量数组中的组内位置是指所述第三内存变量数组包含的数值对象的下标；
将所述第二内存变量数组以及所述第四内存变量数组存储至内存空间。


2.根据权利要求1所述数据处理方法，其特征在于，所述获取多个样本名称包括：
依据硬盘存储空间存储样本名称的存储顺序，依次获取所述多个样本名称；其中，所述硬盘存储空间存储的所述多个样本名称，在所述存储顺序方向上至少相邻的两个样本名称分别对应的样本数据具有关联关系。


3.根据权利要求2所述数据处理方法，其特征在于，还包括：
将所述多个样本名称定义为内存变量类型的数据；
针对所述分组数目个第一内存变量数组中任一第一内存变量数组，将该第一内存变量数组中所述至少一个样本名称进行随机排列，使得该第一内存变量数组包含的所述至少一个样本名称中至少相邻的两个样本名称分别对应的样本数据不具有关联关系。


4.根据权利要求1至3任一所述数据处理方法，其特征在于，还包括：
针对多个样本名称中任一样本名称，基于该样本名称获得与其对应的样本数据；
对该样本名称对应的样本数据进行预设处理，获得该样本名称对应的样本数据的数值对象，以得到多个样本名称分别对应的样本数据的数值对象。


5.根据权利要求1所述数据处理方法，其特征在于，针对每一样本名称，还包括：
基于该样本名称位于所述第二内存变量数组中的数组位置，确定该样本名称对应的数值对象位于所述第四内存变量数组中的第一数组位置；
基于该样本名称位于相应第一内存变量数组的组内位置，确定该样本名称对应的数值对象在相应第三内存变量数组的第一组内位置；
将该样本名称对应的数值对象存储至所述第四内存变量数组中下标为所述第一数组位置的第三内存变量数组中下标为所述第一组内位置对应的位置。


6.根据权利要求1所述数据处理方法，其特征在于，还包括：
获取多个训练序号，一个训练序号用于表征待输入至人工智能模型的数值对象的序号；
针对所述多个训练序号中任一训练序号，基于该训练序号确定与其对应的数值对象位于所述第四内存变量数组中第二数组位置，以及，位于相应第三内存变量数组中第二组内位置；从下标为所述第二数组位置的第三内存变量数组中下标为所述第二组内位置对应的位置处，获得该训练序号对应的数值对象，以得到多个训练序号分别对应的数值对象；
将所述多个训练序号分别对应的数值对象输入至所述人工智能模型。


7.根据权利要求6所述数据处理方法，其特...

【专利技术属性】
技术研发人员：王党团，廖旺胜，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11