超大尺寸金属原位分析仪中大数据快速处理方法技术

本发明专利技术属于超大尺寸金属原位分析技术领域，特别涉及一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法。本发明专利技术在集加工、扫描、表征于一体的超大尺寸金属原位分析仪上，将单火花积分光谱强度数据转化为基于CUDA平台的GPU并行计算技术要求的数据结构，通过CPU+GPU异构平台基础上的并行操作及算法优化大幅提高大数据的处理效率，并最终实现超大尺寸金属原位分析仪的分布表征，处理数据量大，计算速度快，准确度高，即时性强，所有数据结果5分钟内完成。

【技术实现步骤摘要】
超大尺寸金属原位分析仪中大数据快速处理方法
本专利技术属于超大尺寸金属原位分析
，特别涉及一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法。
技术介绍
为实现金属表面的各元素分布表征，以点分析(直读光谱技术、钻孔取样湿法化学分析技术等)、小区域扫描技术(小面积原位扫描分析技术)都避免不了以点代面，以偏概全的问题。集加工、扫描、表征于一体的超大尺寸金属原位分析仪，采用单火花积分技术在超大尺寸金属表面通过位置与含量的一一对应实现了在超大尺寸金属表面各元素的分布表征。但是在超大尺寸金属样品原位表征技术中，因为分析面大，带来的海量数据(GB级)。如何针对海量数据快速进行各元素的分布表征计算，如强度含量转化、基体干扰运算、第三元素干扰运算、最高含量、最高含量出现位置、最低含量出现位置、表面数据排序、统计偏析度、夹杂物信号阈值等。这些在点分析或小面积分布表征分析中都不会存在太大的问题，但是对超大尺寸的样品表征技术，由于原始信息的巨量，突破了传统计算方法的限制，如何保证表征结果的即时性表达显示是亟须解决的科学难题。近年来，随着GPU(GraphicProcessingUnit,图形处理器)技术的持续发展创新，GPU的并行运算能力越来越受到人们的重视。由于GPU的普及，NVIDIA公司推出了基于CUDA构架的高性价比并行运算平台，通过CPU+GPU异构平台基础上的并行操作及算法优化能够大幅提高大数据的处理效率。但该技术多用于图像处理，AI技术、网络大数据运算处理等，在传统化学领域应用较少。在上述情况下，可采用本专利技术的方法，在集加工、扫描、表征于一体的超大尺寸金属原位分析仪上，将单火花积分光谱强度数据转化为基于CUDA平台的GPU并行计算技术要求的数据结构，通过CPU+GPU异构平台基础上的并行操作及算法优化大幅提高大数据的处理效率，并最终实现超大尺寸金属原位分析仪的分布表征。
技术实现思路
针对上述技术问题，本专利技术的目的是提供一种基于CUDA平台的GPU并行运算技术的超大尺寸金属原位分析仪中大数据快速处理方法，处理数据量大(GB级)，计算速度快，即时性强，所有数据结果5分钟内完成，适用于大面积(长度大于100mm，宽度大于100mm)样品的表面元素分布表征。为了实现上述目的，本专利技术提供了如下技术方案：一种超大尺寸金属原位分析仪中大数据快速处理方法，包括如下步骤：S1、使用全自动偏析分析仪采用行扫描的方式对超大尺寸样品表面进行全覆盖扫描，获取L个扫描绝对强度文件，其中，L为扫描行数，每个扫描绝对强度文件包括Cn个光谱分析通道，每个光谱分析通道包括Ni个单火花数据；采用强度比-含量比绘制校准工作曲线：(Ci/Cr)＝a(Ii/Ir)3+b(Ii/Ir)2+c(Ii/Ir)+d；其中，Ci为分析通道元素含量；Cr为基体通道元素含量；Ii为分析通道元素绝对强度；Ir为基体通道元素绝对强度；a为三次项系数；b为二次项系数；c为一次项系数；d为常数项系数；i为分析通道序号；r为基本通道的序号；S2、将步骤S1获得的校准工作曲线转化为系数矩阵CM[En,8]，En为分析元素数目；8个参数分别为分析通道i、基本通道r、三次项系数a、二次项系数b、一次项系数c、常数项系数d、曲线含量比上限和曲线含量比下限；S3、在GPU的并行运算过程中，采用8个流进行同步并行运算，通过计算扫描强度文件的个数L除以8所得整数得到循环次数，将所有扫描绝对强度文件按照一个扫描绝对强度文件对应一个流的规则依次送进8个流，多出的扫描绝对强度文件等待下个循环，最后一次循环中采用的流的数目为剩余未计算的扫描绝对强度文件数；每个循环并行计算8个流中的8个扫描绝对强度文件，每个流中依次进行8次运算，具体运算步骤如下：S3.1、将分析通道元素绝对强度Ii、步骤S2获得的校准工作曲线转化的系数矩阵CM[En,8]按流读入GPU内存；S3.2、绝对强度转化为强度比；R＝Ii/Ir，其中，R为分析通道元素强度比，Ii为分析通道元素绝对强度；Ir为基体通道元素绝对强度；S3.3、强度比转化为含量比；依据步骤S2获得的校准工作曲线转化的系数矩阵CM[En,8]将步骤S3.2获得的强度比R转化为含量比CR，CR＝Ci/Cm；Ci为分析通道元素含量；Cm为基体通道元素含量；对于所得计算含量比超出曲线含量比上下限的含量比做超出界限处理；S3.4、含量比转化为含量；计算所有分析通道的含量比CRi，依据所有分析通道元素含量和为100％的规则，计算出基体通道含量Cm，再依据Ci＝Cm×CRi计算出每个光谱分析通道元素的元素含量RCi；S3.5、对元素含量进行第三元素干扰校正；根据如下公式计算第三元素干扰校正后的元素含量；其中，Ak为加和干扰系数，Mk为倍增干扰系数，Ci校为第三元素干扰校正后的分析通道元素含量，Ck为干扰元素含量，RCi为干扰校正前元素含量；S3.6、强度行扫描数据二维转换；将按时间顺序获得的分析通道元素绝对强度Ii按照随机均匀分布原则投射到一个扫描单行数据文件对应区域的行二维数组IntMi[Rowsi,Cols]，Rowsi表示二维数组的行数，Cols表示二维数组的列数，实际计算过程中用三维数组IntMi[Cn,Rowsi,Cols]来表示每个分析通道的二维分布，Cn为光谱分析通道个数；S3.7、强度时间顺序数组转换为空间位置数组；将步骤S3.6获得的每个分析通道的IntMi[Rowsi,Cols]数组按照其在分析表面坐标位置信息投射到整个分析表面二维数组IntM[Rows,Cols]中，为整个分析表面的强度分布数组，实际计算过程中用三维数组IntM[Cn,Rows,Cols]，即通道强度分布三维矩阵来表示每个通道的二维分布，Cn为光谱分析通道个数；S3.8、含量行扫描数据二维转换；将步骤S3.5按时间顺序获得的每行第三元素干扰校正后的元素含量Ci校按照随机均匀分布原则投射到一个扫描单行数据文件对应区域的行二维数组ConMi[Rowsi,Cols]，实际计算过程中用三维数组ConMi[En,Rowsi,Cols]来表示每个通道的二维分布，En为分析元素数目；S3.9、含量时间顺序数组转换为空间位置数组；将步骤S3.8的行二维数组ConMi[Rowsi,Cols]按照其在分析表面坐标位置信息投射到整个分析表面二维数组ConM[Rows,Cols]中，为整个分析表面的含量分布数组，实际计算过程中用三维数组ConM[En,Rows,Cols]，即元素含量分布三维矩阵来表示每个通道的二维分布，En为分析元素数目；S4、通过计算光谱分析通道的个数Cn除以8所得整数得到循环次数，将步骤S3.7获得的通道强度分布三维矩阵IntM[Cn,Rows,Cols]按通道分别送进8个流，每个流负责一个通道数据ConMi[Rowsi,Cols]的运算，多出的通道等待下个循环，最本文档来自技高网...

【技术保护点】
1.一种超大尺寸金属原位分析仪中大数据快速处理方法，其特征在于，该方法包括如下步骤：/nS1、使用全自动偏析分析仪采用行扫描的方式对超大尺寸样品表面进行全覆盖扫描，获取L个扫描绝对强度文件，其中，L为扫描行数，每个扫描绝对强度文件包括C

【技术特征摘要】
1.一种超大尺寸金属原位分析仪中大数据快速处理方法，其特征在于，该方法包括如下步骤：
S1、使用全自动偏析分析仪采用行扫描的方式对超大尺寸样品表面进行全覆盖扫描，获取L个扫描绝对强度文件，其中，L为扫描行数，每个扫描绝对强度文件包括Cn个光谱分析通道，每个光谱分析通道包括Ni个单火花数据；采用强度比-含量比绘制校准工作曲线：(Ci/Cr)＝a(Ii/Ir)3+b(Ii/Ir)2+c(Ii/Ir)+d；其中，Ci为分析通道元素含量；Cr为基体通道元素含量；Ii为分析通道元素绝对强度；Ir为基体通道元素绝对强度；a为三次项系数；b为二次项系数；c为一次项系数；d为常数项系数；i为分析通道序号；r为基本通道的序号；
S2、将步骤S1获得的校准工作曲线转化为系数矩阵CM[En,8]，En为分析元素数目；8个参数分别为分析通道i、基本通道r、三次项系数a、二次项系数b、一次项系数c、常数项系数d、曲线含量比上限和曲线含量比下限；
S3、在GPU的并行运算过程中，采用8个流进行同步并行运算，通过计算扫描强度文件的个数L除以8所得整数得到循环次数，将所有扫描绝对强度文件按照一个扫描绝对强度文件对应一个流的规则依次送进8个流，多出的扫描绝对强度文件等待下个循环，最后一次循环中采用的流的数目为剩余未计算的扫描绝对强度文件数；每个循环并行计算8个流中的8个扫描绝对强度文件，每个流中依次进行8次运算，具体运算步骤如下：
S3.1、将分析通道元素绝对强度Ii、步骤S2获得的校准工作曲线转化的系数矩阵CM[En,8]按流读入GPU内存；
S3.2、绝对强度转化为强度比；
R＝Ii/Ir，其中，R为分析通道元素强度比，Ii为分析通道元素绝对强度；Ir为基体通道元素绝对强度；
S3.3、强度比转化为含量比；
依据步骤S2获得的校准工作曲线转化的系数矩阵CM[En,8]将步骤S3.2获得的强度比R转化为含量比CR，CR＝Ci/Cm；Ci为分析通道元素含量；Cm为基体通道元素含量；对于所得计算含量比超出曲线含量比上下限的含量比做超出界限处理；
S3.4、含量比转化为含量；
计算所有分析通道的含量比CRi，依据所有分析通道元素含量和为100％的规则，计算出基体通道含量Cm，再依据Ci＝Cm×CRi计算出每个光谱分析通道元素的元素含量RCi；
S3.5、对元素含量进行第三元素干扰校正；
根据如下公式计算第三元素干扰校正后的元素含量；



其中，Ak为加和干扰系数，Mk为倍增干扰系数，Ci校为第三元素干扰校正后的分析通道元素含量，Ck为干扰元素含量，RCi为干扰校正前元素含量；
S3.6、强度行扫描数据二维转换；
将按时间顺序获得的分析通道元素绝对强度Ii按照随机均匀分布原则投射到一个扫描单行数据文件对应区域的行二维数组IntMi[Rowsi,Cols]，Rowsi表示二维数组的行数，Cols表示二维数组的列数，实际计算过程中用三维数组IntMi[Cn,Rowsi,Cols]来表示每个分析通道的二维分布，Cn为光谱分析通道个数；
S3.7、强度时间顺序数组转换为空间位置数组；
将步骤S3.6获得的每个分析通道的IntMi[Rowsi,Cols]数组按照其在分析表面坐标位置信息投射到整个分析表面二维数组IntM[Rows,Cols]中，为整个分析表面的强度分布数组，实际计算过程中用三维数组IntM[Cn,Rows,Cols]，即通道强度分布三维矩阵来表示每个通道的二维分布，Cn为光谱分析通道个数；
S3.8、含量行扫描数据二维转换；
将步骤S3.5按时间顺序获得的每行第三元素干扰校正后的元素含量Ci校按照随机均匀分布原则投射到一个扫描单行数据文件对应区域的行二维数组ConMi[Rowsi,Cols]，实际计算过程中用三维数组ConMi[En,Rowsi,Cols]来表示每个通道的二维分布，En为分析元素数目；
S3.9、含量时间顺序数组转换为空间位置数组；
将步骤S3.8的行二维数组ConMi[Rowsi,Cols]按照其在分析表面坐标位置信息投射到整个分析表面二维数组ConM[Rows,Cols]中，为整个分析表面的含量分布数组，实际计算过程中用三维数组ConM[En,Rows,Cols]，即元素含量分布三维矩阵来表示每个通道的二维分布，En为分析元素数目；
S4、通过计算光谱分析通道的个数Cn除以8所得整数得到循环次数，将步骤S3.7获得的通道强度分布三维矩阵IntM[Cn,Rows,Cols]按通道分别送进8个流，每个流负责一个通道数据ConMi[Rowsi,Cols]的运算，多出的通道等待下个循环，最后一次循环中采用的流的数目为剩余未计算通道数；每个循环计算依靠8个流计算8个通道的多个强度参数值，每个流中依次进行如下3步运算：
S4.1、在每个流中读入一个通道的强度分布数组IntM[Rows,Cols]；
S4.2、对强度分布数组IntM[Rows,Cols]进行希尔排序，计算多个参数值；
S4.3、对强度分布数组IntM[Rows,Cols]迭代计算夹杂信号阈值，阈值计算方式为：INTinc＝INTavg+3×INTsd；INTavg为通道所有信号强度平均值，I...

【专利技术属性】
技术研发人员：袁良经，贾云海，张翘楚，于雷，张纯岩，史玉涛，
申请(专利权)人：钢研纳克检测技术股份有限公司，
类型：发明
国别省市：北京;11