一种基于图形处理器的结构光场高光表面缺陷实时检测方法技术

一种基于图形处理器的结构光场高光表面缺陷实时检测方法，包括如下步骤：A1：CPU并行启动至少两个线程，并行地从拍摄被检物的光场相机中捕获视频帧数据以及将视频帧数据由内存写入GPU全局缓存中；A2：GPU与CPU异步并行启动微透镜特征计算，根据预输入的标定信息分割原始光场图像，使用GPU并行计算得到微透镜下残差图像统计特征值；A3：利用光场视频的空域、时域相关性，启动光场相关性融合处理，将帧内每一微透镜下特征值与最近邻微透镜特征值进行加权融合并以双线性插值添加到最终热力图中；A4：更新被检物对应的结构光场视频缺陷检测结果。本发明专利技术解决了光场缺陷检测领域中数据维度高、数据量大带来的高时间复杂度挑战。数据量大带来的高时间复杂度挑战。数据量大带来的高时间复杂度挑战。

【技术实现步骤摘要】
一种基于图形处理器的结构光场高光表面缺陷实时检测方法


[0001]本专利技术涉及计算机视觉与数字视频处理领域，特别涉及一种基于图形处理器的结构光场高光表面缺陷实时检测方法。

技术介绍

[0002]机器视觉缺陷检测是以光学传感器捕获的图像作为输入，通过计算机视觉方法提取物体表面图像特征，进而对其物理缺陷进行识别的技术。与传统人工识别相比，该技术检测精度高，检测速度快，在工业质检领域具有广阔的应用前景。然而，传统图像识别和立体视觉技术大多依赖于图像特征点与纹理信息，面对无纹理的金属物体时往往无能为力；基于结构光的检测技术能够重建物体表面的三维信息，但基于这类系统的检测系统需要牺牲时间复杂度进行多曝光或者配置多结构光系统进行空域多曝光，无法满足实际工业检测环境下的系统实时性需求。光场成像技术通过特殊的光路结构设计同时捕获包含空间维和角度维的四维光线信息，实现了单曝光多角度立体成像，但光场数据维度高，处理复杂，将光场成像技术应用于工业检测应用的相关研究尚处于起步阶段。
[0003]现有部分基于结构光场进行高光表面三维重建的研究工作中，受限于光场数据的高维度特性，面向典型场景的重建时间以小时为单位；传统的光场图像处理依赖于子孔径视图，而子孔径视图的渲染时间以分钟为单位。现有结构光场缺陷检测技术无法克服光场数据维度高、数据量大、处理复杂，难以实现实时在线处理。
[0004]因此研发一种实时性强的结构光场高光物体表面缺陷检测方法具有重要意义。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本专利技术的主要目的提供一种基于图形处理器的结构光场高光表面缺陷实时检测方法，解决光场缺陷检测领域中数据维度高、数据量大带来的高时间复杂度、难以实现实时在线处理等挑战。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于图形处理器的结构光场高光表面缺陷实时检测方法，包括如下步骤：
[0009]A1：中央处理器CPU并行启动至少两个线程，并行地从拍摄被检物的光场相机中捕获视频帧数据以及将视频帧数据由内存写入图形处理器GPU全局缓存中；
[0010]A2：图形处理器与中央处理器异步并行启动微透镜特征计算，根据预输入的标定信息分割原始光场图像，使用图形处理器的每个网格Grid、线程块Block、线程Thread进行每帧光场图像、每个微透镜图像以及具有设定位置间隔的多个像素的特征值计算，使用图形处理器并行计算得到微透镜下残差图像统计特征值；
[0011]A3：利用光场视频的空域、时域相关性，进行光场相关性融合处理，使用图形处理器的每个Thread处理每个微透镜特征值在最终热力图中的融合，每个Thread将帧内每一微
透镜下特征值与最近邻微透镜特征值进行加权融合并以双线性插值添加到最终结果热力图中；
[0012]A4：更新被检物对应的结构光场视频缺陷检测结果；优选地，提供实时光场视频及热力图反馈；优选地，还动态更新被检物对应的标签，以指导下游工位操作。
[0013]进一步地：
[0014]步骤A1中，所述至少两个线程包括线程1和线程2，所述线程1为采集卡通信线程，负责计算机与光场相机采集卡通信，执行采集卡对应图像获取函数，将实时的视频数据流经数据链路传输到计算机内存中；所述线程2为图形处理器通信线程，负责与图形处理器通信，在其处于非活动状态时将内存内首个视频帧经数据链路传输到图形处理器全局缓存中。
[0015]所述线程1在其生命周期内不断访问光场相机，当光场相机采集到新图像帧后就将其写入内存；所述线程2在其生命周期内不断访问内存与图形处理器，当图形处理器完成上一轮计算操作进入非活动状态且内存内有未处理的图像帧时将其移出内存并送入图形处理器全局缓存；图形处理器内部执行串行逻辑运算，服从主机端所述线程2的调度。
[0016]步骤A2中，当图形处理器接收到A1中所述线程2传递的数据后开始执行计算。优选地，同时并行启动多个Thread，归约实现微透镜内特征值计算。
[0017]步骤A2包括：
[0018]A21：根据光场图像尺寸分配对应的计算与存储资源；
[0019]A22：在Block内完成每一微透镜图像内的特征值计算，并将计算结果写回全局缓存。
[0020]优选地：
[0021]步骤A21包括：
[0022]图形处理器在硬件结构上分为Grid、Block和Thread三级，在存储结构上，按照延迟从高到低，包含全局缓存、共享缓存以及寄存器Register；每一帧光场原始图像都被存放在全局缓存中，对应启动一个Grid；帧内的每一个微透镜图像被存放在共享缓存中，对应一个Block；每个微透镜内计算的中间值被存放在寄存器中，对应一个Thread；计算的具体操作如下：
[0023]设系统处理的原始光场图像中微透镜的总数为n，每一个微透镜图像的宽、高分别为w和h，则启动n个Block，同时在全局缓存中开辟n个空间以用于存放每个微透镜内的计算结果；每个Block中启动w*h(或该数值的任意倍数下采样)个Thread。
[0024]步骤A22包括：
[0025]每个Thread将其所在Block索引对应的微透镜图像中的Thread索引(包含下采样倍数信息)对应的一个至多个像素灰度值读取到寄存器内，根据所采用的特征描述子的不同对灰度值进行均值、平方等计算操作，操作过程中可使用归约计算(Reduction)等操作以最大化利用图形处理器的性能；每个线程内操作描述为：
[0026][0027]上式中：
[0028]G
m
—图形处理器全局缓存中第m个位置更新前值；
[0029]G
′
m
—图形处理器全局缓存中第m个位置更新后值；
[0030]I
m
—第m个微透镜图像；
[0031]i—Thread索引；
[0032]w—微透镜图像的宽；
[0033]完成后由0号线程通过共享内存累加到全局缓存位置中Block索引对应的位置，完成统计量的计算。
[0034]步骤A3包括：
[0035]A31：进行微透镜空域相关性融合；
[0036]A32：进行微透镜时域融合热力图坐标计算；
[0037]A33：进行结果热力图双线性插值。
[0038]步骤A31包括：
[0039]对于步骤A2得到的每一微透镜图像特征值，对其与空间上最近邻的18个微透镜进行加权求和；18个最近邻微透镜按照六边形阵列排布，最近的6个、次近的6个和再近的6个微透镜距离中心微透镜具有一致的距离，被分为三组，融合的具体操作如下：
[0040][0041]上式中：
[0042]C
m
—第m个微透镜通过A2计算得到的特征值；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图形处理器的结构光场高光表面缺陷实时检测方法，其特征在于，包括如下步骤：A1：中央处理器CPU并行启动至少两个线程，并行地从拍摄被检物的光场相机中捕获视频帧数据以及将视频帧数据由内存写入图形处理器GPU全局缓存中；A2：图形处理器与中央处理器异步并行启动微透镜特征计算，根据预输入的标定信息分割原始光场图像，使用图形处理器的每个网格Grid、线程块Block、线程Thread进行每帧光场图像、每个微透镜图像以及具有设定位置间隔的多个像素的特征值计算，使用图形处理器并行计算得到微透镜下残差图像统计特征值；A3：利用光场视频的空域、时域相关性，进行光场相关性融合处理，使用图形处理器的每个Thread处理每个微透镜特征值在最终热力图中的融合，每个Thread将帧内每一微透镜下特征值与最近邻微透镜特征值进行加权融合并以双线性插值添加到最终结果热力图中；A4：更新被检物对应的结构光场视频缺陷检测结果；优选地，还提供实时光场视频及热力图反馈；优选地，还动态更新被检物对应的标签，以指导下游工位操作。2.如权利要求1所述的结构光场高光表面缺陷实时检测方法，其特征在于，步骤A1中，所述至少两个线程包括线程1和线程2，所述线程1为采集卡通信线程，负责计算机与光场相机采集卡通信，执行采集卡对应图像获取函数，将实时的视频数据流经数据链路传输到计算机内存中；所述线程2为图形处理器通信线程，负责与图形处理器通信，在其处于非活动状态时将内存内首个视频帧经数据链路传输到图形处理器全局缓存中。3.如权利要求2所述的结构光场高光表面缺陷实时检测方法，其特征在于，所述线程1在其生命周期内不断访问光场相机，当光场相机采集到新图像帧后就将其写入内存；所述线程2在其生命周期内不断访问内存与图形处理器，当图形处理器完成上一轮计算操作进入非活动状态且内存内有未处理的图像帧时将其移出内存并送入图形处理器全局缓存；图形处理器内部执行串行逻辑运算，服从主机端所述线程2的调度。4.如权利要求2至3任一项所述的结构光场高光表面缺陷实时检测方法，其特征在于，步骤A2中，当图形处理器接收到A1中所述线程2传递的数据后开始执行计算；优选地，同时并行启动多个Thread，归约实现微透镜内特征值计算；步骤A2包括：A21：根据光场图像尺寸分配对应的计算与存储资源；A22：在Block内完成每一微透镜图像内的特征值计算，并将计算结果写回全局缓存；优选地：步骤A21包括：图形处理器在硬件结构上分为Grid、Block和Thread三级，在存储结构上，按照延迟从高到低，包含全局缓存、共享缓存以及寄存器Register；每一帧光场原始图像都被存放在全局缓存中，对应启动一个Grid；帧内的每一个微透镜图像被存放在共享缓存中，对应一个Block；每个微透镜内计算的中间值被存放在寄存器中，对应一个Thread；计算的具体操作如下：设系统处理的原始光场图像中微透镜的总数为n，每一个微透镜图像的宽、高分别为w和h，则启动n个Block，同时在全局缓存中开辟n个空间以用于存放每个微透镜内的计算结果；每个Block中启动w*h个或w*h任意倍数下采样的Thread；
步骤A22包括：每个Thread将其所在Block索引对应的微透镜图像中的Th...

【专利技术属性】
技术研发人员：金欣，康今世，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：