一种数据处理方法技术

本发明专利技术提供一种数据处理方法，方法包括以下步骤：S1：在CPU端，获取待处理的超材料参数数据；S2：在CPU端，将超材料参数数据存入固定内存；S3：在GPU端内存中声明超材料单元结构的指针，指针映射到CPU端的固定内存；S4：CPU控制GPU内核函数调用指针，将多个超材料参数数据并行转换成相应的超材料单元结构。同时本发明专利技术还提供一种数据处理系统实现上述方法。利用图形处理单元GPU强大的图形计算能力，实现真正意义上多线程并行转换的方法，从根本上解决了现有方法存在的系统内存不足的问题，极大地减少了系统内存的消耗，提高了数据转换速度。本发明专利技术常运用于超材料领域。

【技术实现步骤摘要】

本专利技术涉及，特别涉及一种大规模数据处理方法。
技术介绍
超材料的设计与应用远超出一般材料，其复杂性和大规模数据的级别比一般材料高出几个数量级。如何快速地将超大规模的超材料单元结构的设计数据转化成工业标准的dxf或gerber文件,对超材料设计生产有着重大作用。由于超材料的加工制作涉及电路板加工技术，电路板生产制造行业在加工制造中使用最通用最广泛的电路板加工文件的格式包括dxf-Drawing Exchange File (图形交换文件)和gerber文件。dxf是Autodesk公司开发的用于AutoCAD与其它软件之间进行CAD 数据交换的CAD数据文件格式，是一种基于矢量的ASCII文本格式，因此不同类型的计算机可通过交换dxf文件来达到交换图形的目的，由于dxf文件可读性好，用户可方便地对它进行修改，编程，达到从外部图形进行编辑，修改的目的。其作为基于CAD系统的加工信息文件而得到行业的广泛应用。gerber文件是一种国际标准的光绘格式文件，它包含RS-274-D和RS-274-X两种格式，它能够控制用于绘图的光束的状态，形状，粗细及在感光膜上具体的X，Y坐标感光，从而产生图像。目前，生成超大规模的dxf或gerber文件的方法是采用多线程技术。多线程技术是一种同时对多个任务进行控制的技术，可以同时进行多个转换任务，从而缩短转换设计数据所需时间。现有的采用多线程技术的转换方法正是将数据转换环节划分成多个子任务来完成，每个线程独立处理一个单元结构体，完成转换后将数据存入相应的数组，最后，再调用文件的IO函数将数组按dxf或gerber文件的标准写入一个文件。基于CPU (中央处理器，Central Processing Unit)的多线程虽然使得生成文件速度有一定提高，但对于CPU这种串行模拟并行的体系结构，要实现更大的加速是不太可能的，并行线程是由多个不同的CPU时间片模拟并执行的，不是真正意义上的并行执行，虽然多核处理器中可以做到真正的并行，但由于CPU核心数有限，加速效果相比多线程没有太多提高，从而限制了超材料设计的规模。这是由于CPU的特殊架构决定的。以往专注于3D图形处理的GPU(图形处理器，Graphic Processing Unit),由于其在浮点运算、并行计算等通用计算方面，可以提供数十倍乃至于上百倍于CPU的性能而越来越受到通用计算与科学计算领域的重视。GPU加速的优势来自于GPU自身的硬件结构设计，如一定的并行性；高密集，高带宽的计算能力；同时减少GPU与CPU之间的数据通信。GPU计算的模式就是，在异构协同处理计算模型中将CPU与GPU结合起来加以利用。应用程序的串行部分在CPU上运行，而计算任务繁重的部分则由GPU来加速。从用户的角度来看，应用程序只是运行得更快了。因为应用程序利用了 GPU的高性能来提升性能。根据图I以及图2所示，可以根据CPU与GPU(图形处理器，Graphic ProcessingUnit)的结构进行对比，GPU作为图形处理器，如图2所示，每一行结构中，第一列均为控制器和缓冲器，紧跟后面所有列为算术逻辑单元。可以得出GPU具有高度的并行性，相比CPU具有更多的算术逻辑单元，具有强大的单一运算能力。目前，如何利用计算机技术提高dxf和gerber文件的生成速度成了超材料设计生产环节中一个重要指标，对提高超材料设计效率有着至关重要的意义。
技术实现思路
本专利技术针对现有技术只能对小规模数据量进行转化，无法做到对大规模数据量处理，提供一种可以进行大规模数据转化的方法。本专利技术提供，方法包括以下步骤SI :在CPU端，获取待处理的超材料参数数据；S2 :将超材料参数数据存入CPU端的固定内存； S3 :在GPU端内存中声明超材料单元结构的指针，该指针映射到CPU端的固定内存；S4 =CPU控制GPU内核函数使其调用指针，将多个超材料参数数据并行转换成相应的超材料单元结构。在本专利技术的优选实施方式中，还包括步骤S5 :将S4中得到的超材料单元结构保存至实体数组。在本专利技术的优选实施方式中，还包括步骤S6 :将实体数组输出至一个或多个标准文件中。在本专利技术的优选实施方式中，固定内存始终存在于物理内存中。在本专利技术的优选实施方式中，超材料参数数据为结构体，结构体的数据结构包括超材料单元结构的参数信息，以及超材料坐标信息。在本专利技术的优选实施方式中，标准文件为工业标准的dxf或gerber文件。在本专利技术的优选实施方式中，dxf文件为AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一种或几种。 在本专利技术的优选实施方式中，gerber文件为RS-274-X格式或RS-274-D格式。本专利技术还涉及一种生成超材料单元结构的系统，包括以下模块数据获取模块用于在CPU端，获取待处理的多个超材料参数数据；数据载入模块与数据获取模块连接，用于将超材料参数数据存入CPU端的固定内存；数据映射模块与数据载入模块连接，用于在GPU端内存中声明超材料单元结构的指针，该指针映射到CPU端的固定内存；数据转换模块与数据映射模块连接，实现CPU控制GPU内核函数使其调用指针，将多个超材料参数数据并行转换成相应的超材料单元结构。本专利技术针对现有技术的不足，利用图形处理单元GPU强大的图形计算能力实现真正意义上多线程并行转换的方法，从根本上解决了现有方法存在的系统内存不足的问题，极大地减少了系统内存的消耗，和提高了数据转换速度。附图说明图I为CPU的结构示意图2为GPU的结构示意图；图3是本专利技术数据处理方法的数据转换关系图；图4是本专利技术数据处理方法的具体流程图；图5是本专利技术单个超材料参数数据的数据结构示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细说明。图3、4是本专利技术数据处理方法的流程图；图3、4所示的数据处理方法包括以下步骤 SI :在CPU端，获取待处理的超材料参数数据；在步骤SI中，超材料参数数据包括参数长，宽，高，介电常数以及磁导率也不仅仅限于上述参数，超材料参数数据的数据结构示意图如图5所示，本专利技术的创新点在于设计了一种便于转换的超材料数据结构，较现有方法，更有效的对超材料参数数据进行管理，减少了不同单元结构数据的出错率。S2 :在CPU端，将超材料参数数据存入固定内存；在步骤S2中，固定内存(pinned memory)始终存在于物理内存中。S3 :在GPU端内存中声明超材料单元结构的指针，指针映射到CPU端的固定内存；S4 =CPU控制GPU内核函数调用指针，将多个超材料参数数据并行转换成相应的超材料单元结构。本专利技术的创新点在于，使用CPU端的分页内存，并设置与GPU内存映射，避免了 GPU内存不足的缺点，使得转换超大超材料单元结构也能顺利完成；在GPU端，声明超材料结构单元的指针，并调用GPU的内核函数设置GPU内存与CPU内存的映射关系。接着，利用GPU的低开销线程对每个单元结构进行一一转换。例如，假设GPU可以一次处理10组超材料参数数据，倘若在CPU中运行，为串行运行一次只能处理一组超材料参数数据，即串行处理时间约为10个单位时间，而致使效率低下。倘若在在GPU中运行，预设GPU端内存至CPU端内存的映射，GPU端内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.ー种数据处理方法，其特征在于，所述方法包括以下步骤 51:在CPU端，获取待处理的多个超材料參数数据； 52:将所述超材料參数数据存入CPU端的固定内存； 53:在GPU端内存中声明超材料单兀结构的指针，所述指针映射到所述CPU端的所述固定内存； 54:CPU控制GPU内核函数使其调用所述指针，将所述多个超材料參数数据并行转换成相应的超材料单元结构。2.根据权利要求I所述的数据处理方法，其特征在干，所述步骤S4后还包括步骤S5将S4中得到的所述超材料単元结构保存至实体数组。3.根据权利要求2所述的数据处理方法，其特征在干，所述步骤S5后还包括步骤S6将所述实体数组输出至ー种或多种格式的标准文件中。4.根据权利要求I所述的数据处理方法，其特征在于，所述固定内存始终存在于物理内存中。5.根据权利要求I所述的数据处理方法，其特征在于，所述超材料參数数据为结构体，所述结构体的数据结构包括超材料单元结构的參数信息，以及超材料单元结构的坐标信O6.根...

【专利技术属性】
技术研发人员：刘若鹏，何振明，刘斌，赵治亚，
申请(专利权)人：深圳光启高等理工研究院，深圳光启创新技术有限公司，
类型：发明
国别省市：