数据归一化的处理方法、装置、存储介质和电子设备制造方法及图纸

本公开涉及一种数据归一化的处理方法、装置、存储介质和电子设备，涉及数据处理技术领域，该方法包括：对待处理的第一组数据进行预处理，以得到第二组数据，第二组数据中的数据个数为C的N倍，C为图形处理单元GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数，将第二组数据与预设的N个顶点坐标作为渲染管线的输入，通过渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取渲染管线输出的目标图像，获取目标图像中与N个顶点坐标对应的N个目标像素点，将N个目标像素点对应的色彩空间参数作为第一组数据对应的归一化数据，每个目标像素点对应C个色彩空间参数。能够提高数据归一化的处理速度。

【技术实现步骤摘要】
数据归一化的处理方法、装置、存储介质和电子设备
本公开涉及数据处理
，具体地，涉及一种数据归一化的处理方法、装置、存储介质和电子设备。
技术介绍
随着互联网、云计算等信息技术的迅猛发展，相应带来的数据量也是呈现爆发式的增长。在对大量的数据进行分析和挖掘的过程中，经常需要对数据进行归一化的处理，以使数据映射到0至1的范围之内。现有技术中，当数据量很大，或者归一化函数较复杂时，由于执行语言(例如：JavaScript)本身的性能瓶颈和CPU(英文：CentralProcessingUnit，中文：中央处理器)上的有限的计算资源，导致归一化的处理耗时较长，并且会一直占用了CPU的计算资源。
技术实现思路
本公开的目的是提供一种数据归一化的处理方法、装置、存储介质和电子设备，用以解决现有技术中数据归一化处理耗时长，占用计算资源的问题。为了实现上述目的，根据本公开实施例的第一方面，提供一种数据归一化的处理方法，所述方法包括：对待处理的第一组数据进行预处理，以得到第二组数据，所述第二组数据中的数据个数为C的N倍，C为图形处理单元GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数；将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像；获取所述目标图像中与所述N个顶点坐标对应的N个目标像素点；将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，每个所述目标像素点对应C个色彩空间参数。可选的，所述对待处理的第一组数据进行预处理，以得到第二组数据，包括：将所述第一组数据中的数据个数除以C后取余数；在所述第一组数据的预设位置处添加所述余数个零，以获得所述第二组数据，所述预设位置为所述第一组数据的起始处或结尾处。可选的，所述将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，包括：将所述N个目标像素点对应的色彩空间参数作为第三组数据，所述第三组数据中的数据个数为C*N；删除所述第三组数据中位于所述预设位置处的数据，以得到第四组数据；将所述第四组数据作为所述第一组数据对应的所述归一化数据。可选的，所述将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像，包括：将所述N个顶点坐标作为所述渲染管线的顶点着色器的输入，获取所述顶点着色器输出的以所述N个顶点坐标作为顶点的几何图形；对所述几何图形进行光栅化处理，以得到多个片元；将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，获取所述多个片元着色器输出的所述目标图像，所述多个片元着色器中的每个所述片元着色器均被配置为执行所述归一化函数。可选的，所述将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，获取所述多个片元着色器输出的所述目标图像，包括：将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，以调用所述GPU的多个并发线程分别对所述多个片元进行着色；将经过着色的所述多个片元组成所述目标图像，作为所述多个片元着色器的输出。根据本公开实施例的第二方面，提供一种数据归一化的处理装置，所述装置包括：预处理模块，用于对待处理的第一组数据进行预处理，以得到第二组数据，所述第二组数据中的数据个数为C的N倍，C为图形处理单元GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数；渲染模块，用于将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像；获取模块，用于获取所述目标图像中与所述N个顶点坐标对应的N个目标像素点；归一化模块，用于将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，每个所述目标像素点对应C个色彩空间参数。可选的，所述预处理模块包括：取余子模块，用于将所述第一组数据中的数据个数除以C后取余数；补零子模块，用于在所述第一组数据的预设位置处添加所述余数个零，以获得所述第二组数据，所述预设位置为所述第一组数据的起始处或结尾处。可选的，所述归一化模块包括：归一化子模块，用于将所述N个目标像素点对应的色彩空间参数作为第三组数据，所述第三组数据中的数据个数为C*N；删除子模块，用于删除所述第三组数据中位于所述预设位置处的数据，以得到第四组数据；确定子模块，用于将所述第四组数据作为所述第一组数据对应的所述归一化数据。可选的，所述渲染模块包括：顶点着色子模块，用于将所述N个顶点坐标作为所述渲染管线的顶点着色器的输入，获取所述顶点着色器输出的以所述N个顶点坐标作为顶点的几何图形；光栅化子模块，用于对所述几何图形进行光栅化处理，以得到多个片元；片元着色子模块，用于将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，获取所述多个片元着色器输出的所述目标图像，所述多个片元着色器中的每个所述片元着色器均被配置为执行所述归一化函数。可选的，所述片元着色子模块用于：将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，以调用所述GPU的多个并发线程分别对所述多个片元进行着色；将经过着色的所述多个片元组成所述目标图像，作为所述多个片元着色器的输出。据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面提供的数据归一化的处理方法的步骤。根据本公开实施例的第四方面，提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面提供的数据归一化的处理方法的步骤。通过上述技术方案，本公开首先对待处理的第一组数据进行预处理，以得到数据个数为C的N倍的第二组数据，其中C为GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数，之后将第二组数据和预设的N个顶点坐标作为渲染管线的输入，利用渲染管线中多个片元着色器并行执行预设的归一化函数，以获取渲染管线输出的目标图像，再获取目标图像中与N个顶点坐标所指示的N个目标像素点，每个目标像素点都包括C个色彩空间参数，最后将N个目标像素点对应的色彩空间参数作为第一组数据对应的归一化数据。能够利用GPU的并行计算能力，实现对大量数据的归一化处理，降低了计算资源的占用率，提高了数据归一化的处理速度。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据一示例性实施例示出的一种数据归一化的处理方法的流程图；图2是根据一示例性实施例示出的另一种数据归一化的处理方法的流程图；图3是根据一示例性实施例示出的另一种数据归一化的处理方法的流程图；图4是根据一示例性实施例示出的另一种数据归一化的处理方法的框图；图5是根据一示例性实施例示出的一种数据归一化的处理装置的框图；图6是根据一示例性实施例示出的另一种数据归一化的处理装置的框图；图7是根据一示例性实施例示出的另一种数据归一化的处理本文档来自技高网...

【技术保护点】
1.一种数据归一化的处理方法，其特征在于，所述方法包括：对待处理的第一组数据进行预处理，以得到第二组数据，所述第二组数据中的数据个数为C的N倍，C为图形处理单元GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数；将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像；获取所述目标图像中与所述N个顶点坐标对应的N个目标像素点；将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，每个所述目标像素点对应C个色彩空间参数。

【技术特征摘要】
1.一种数据归一化的处理方法，其特征在于，所述方法包括：对待处理的第一组数据进行预处理，以得到第二组数据，所述第二组数据中的数据个数为C的N倍，C为图形处理单元GPU的渲染管线能够处理的色彩空间的维度，N为大于或等于1的正整数；将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像；获取所述目标图像中与所述N个顶点坐标对应的N个目标像素点；将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，每个所述目标像素点对应C个色彩空间参数。2.根据权利要求1所述的方法，其特征在于，所述对待处理的第一组数据进行预处理，以得到第二组数据，包括：将所述第一组数据中的数据个数除以C后取余数；在所述第一组数据的预设位置处添加所述余数个零，以获得所述第二组数据，所述预设位置为所述第一组数据的起始处或结尾处。3.根据权利要求2所述的方法，其特征在于，所述将所述N个目标像素点对应的色彩空间参数作为所述第一组数据对应的归一化数据，包括：将所述N个目标像素点对应的色彩空间参数作为第三组数据，所述第三组数据中的数据个数为C*N；删除所述第三组数据中位于所述预设位置处的数据，以得到第四组数据；将所述第四组数据作为所述第一组数据对应的所述归一化数据。4.根据权利要求1所述的方法，其特征在于，所述将所述第二组数据与预设的N个顶点坐标作为所述渲染管线的输入，通过所述渲染管线中的多个片元着色器并行执行预设的归一化函数，以获取所述渲染管线输出的目标图像，包括：将所述N个顶点坐标作为所述渲染管线的顶点着色器的输入，获取所述顶点着色器输出的以所述N个顶点坐标作为顶点的几何图形；对所述几何图形进行光栅化处理，以得到多个片元；将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，获取所述多个片元着色器输出的所述目标图像，所述多个片元着色器中的每个所述片元着色器均被配置为执行所述归一化函数。5.根据权利要求4所述的方法，其特征在于，所述将所述多个片元和所述第二组数据作为所述多个片元着色器的输入，获取所述多个片元着色器...

【专利技术属性】
技术研发人员：戚寅哲，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21