DOE脱落检测方法、电子设备和计算机可读存储介质技术

本申请实施例涉及计算机视觉技术领域，公开了一种DOE脱落检测方法、电子设备和计算机可读存储介质，该方法包括：计算红外图对应的深度图的人脸区域内的空洞率；若空洞率大于第一预设阈值，则将红外图对应的散斑图与红外图进行差分相减，得到前景图；对前景图进行连通区域检测，获得若干连通区域；其中，连通区域内的各像素点的灰度值大于或等于第二预设阈值；根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值；根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，本申请实施例提供的DOE脱落检测方法，可以在不增加相机的成本和体积的前提下进行检测，同时提升了DOE脱落检测的准确性、鲁棒性和稳定性。和稳定性。和稳定性。

【技术实现步骤摘要】
DOE脱落检测方法、电子设备和计算机可读存储介质


[0001]本申请实施例涉及计算机视觉
，特别涉及一种DOE脱落检测方法、电子设备和计算机可读存储介质。

技术介绍

[0002]结构光深度感知技术可以感知空间物体的形状和距离信息，是计算机视觉
研究和应用开发的热点方向，基于结构光技术的三维(3
‑
dimension，简称：3D)成像装置可以获取物体的深度信息，构建一个立体的三维模型，因此3D成像装置被广泛应用于工业测量、安防监控、人脸支付、生物识别等方面，具有极大的应用价值。
[0003]基于结构光技术的3D成像装置主要包括结构光投射模组、图像接收模组以及处理运算模组。结构光投射模组作为核心部分，一般包括光源、准直镜和衍射光学元件(Diffractive Optical Elements，简称：DOE)，DOE用于接收光源通过准直镜发射出来的光束，将光束进行分束、重叠处理，以获得分布均匀且不相关的图案光束，DOE直接决定着结构光投射模组所投射的光束的质量。但是，随着3D成像装置使用时间的增加，环境温度和湿度的不断变化，以及使用过程中的碰撞等情况的发生，DOE的衍射效率会随之降低，严重的情况会导致DOE发生脱落，此时零级衍射光束会变强，过强的光束可能会对人眼造成伤害，因此，及时对3D成像装置、结构光深度相机进行DOE脱落检测是十分必要的。
[0004]然而，本申请的专利技术人发现，无论是在结构光投射模组增加光学传感器以检测DOE是否脱落，还是对DOE进行加工使DOE具有电学特性，使用检测电路来检测DOE是否脱落，都会大幅提升结构光投射模组的成本，增大结构光投射模组的体积，并且DOE脱落检测的准确度偏低。

技术实现思路

[0005]本申请实施例的目的在于提供一种DOE脱落检测方法、电子设备和计算机可读存储介质，可以在不增加相机的成本和体积的前提下进行检测，同时提升了DOE脱落检测的准确性、鲁棒性和稳定性。
[0006]为解决上述技术问题，本申请的实施例提供了一种DOE脱落检测方法，包括以下步骤：计算红外图对应的深度图的人脸区域内的空洞率；其中，所述红外图是通过待检测相机拍摄得到的；若所述空洞率大于第一预设阈值，则将所述红外图对应的散斑图与所述红外图进行差分相减，得到前景图；对所述前景图进行连通区域检测，获得若干连通区域；其中，所述连通区域内的各像素点的灰度值大于或等于第二预设阈值；根据预设的划分标准和面积最大的所述连通区域，确定目标区域，并计算所述目标区域的灰度均值；根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落。
[0007]本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述DOE
脱落检测方法。
[0008]本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述DOE脱落检测方法。
[0009]本申请的实施例提供的DOE脱落检测方法、电子设备和计算机可读存储介质，服务器获取待检测相机拍摄得到的红外图，计算红外图对应的深度图的人脸区域内的空洞率，若人脸区域内的空洞率大于第一预设阈值，服务器将红外图对应的散斑图与红外图进行差分相减，得到前景图，并对前景图进行连通区域检测，获得若干连通区域，连通区域内的各像素点的灰度值大于或等于第二预设阈值，服务器确定出若干区域后，根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值，最后根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，无需使用任何额外的传感器或者检测电路只需分析待检测相机本身拍摄得到的红外图、散斑图和深度图即可确定待检测相机的DOE是否脱落，无需额外增加相机的成本和体积，同时，本实施例将散斑图与红外图进行差分相减，得到前景图，根据前景图的目标区域的灰度均值确定待检测相机的DOE是否脱落，即使在户外强光干扰下也可以准确地进行检测，可以提升DOE脱落检测的准确性、鲁棒性和稳定性。
[0010]另外，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括判断所述目标区域的灰度均值是否大于第三预设阈值；若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落；若所述目标区域的灰度均值大于第三预设阈值，则根据所述目标区域的大小，确定所述目标区域的各邻域区域，并计算所述各邻域区域的灰度均值；计算所述目标区域的灰度均值与所述各邻域区域的灰度均值的最大值的比值；判断所述比值是否大于第四预设阈值；若所述比值大于第四预设阈值，则确定所述待检测相机的DOE脱落；若所述比值小于或等于所述第四预设阈值，则确定所述待检测相机的DOE未脱落，考虑到相机的DOE发生脱落后，拍摄出的散斑图会在图像中间出现一块异常明亮的区域，本实施例根据目标区域的灰度均值，以及目标区域各邻域区域的灰度均值，判断目标区域的灰度均值是否大于第三预设阈值、判断目标区域的灰度均值于与各邻域区域的灰度均值的最大值的比值是否大于第四预设阈值，即进行双重判断，可以进一步提升DOE脱落检测的精度，对于户外强光干扰的场景，双重判断可以将户外强光干扰对散斑图的影响，与DOE脱落对散斑图的影响区分出来，进一步提升DOE脱落检测的鲁棒性和稳定性。
[0011]另外，所述根据预设的划分标准和面积最大的所述连通区域，确定目标区域，包括：根据预设的划分标准，确定面积最大的所述连通区域的横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值；根据所述横坐标的最小值、所述横坐标的最大值、所述纵坐标的最小值和所述纵坐标的最大值，生成一个标准矩形，并将所述标准矩形作为目标区域，生成标准矩形作为目标区域，更加规范、清楚，便于灰度均值的计算，从而便于进行DOE脱落检测，提升DOE脱落检测的速度。
[0012]另外，在所述计算红外图对应的深度图的人脸区域内的空洞率之前，包括：根据预设的人脸检测算法，对所述待检测相机拍摄的同一帧红外图和彩色图进行人脸检测；若所述红外图和/或所述彩色图中检测到人脸，则计算所述红外图对应的深度图的人脸区域内的空洞率；若所述红外图和所述彩色图中均未检测到人脸，则退出DOE脱落检测，先对待检
测相机拍摄得到的红外图和彩色图进行人脸检测，若至少一张图中检测到人脸，则继续进行DOE脱落检测，若均未检测到人脸，则无法判断DOE是否脱落，此时直接退出DOE脱落检测，节约检测资源。
[0013]另外，所述计算红外图对应的深度图的人脸区域内的空洞率，包括：遍历红外图对应的深度图的人脸区域，将所述深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点；根据所述空洞点的个数和所述深度图的的人脸区域内的像素点的总数，确定所述红外图对应的深度图的人脸区域内的空洞率，考虑到DOE脱落会导致深度恢复失败，待检测相机拍摄得到的深度图的人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DOE脱落检测方法，其特征在于，包括：计算红外图对应的深度图的人脸区域内的空洞率；其中，所述红外图是通过待检测相机拍摄得到的；若所述空洞率大于第一预设阈值，则将所述红外图对应的散斑图与所述红外图进行差分相减，得到前景图；对所述前景图进行连通区域检测，获得若干连通区域；其中，所述连通区域内的各像素点的灰度值大于或等于第二预设阈值；根据预设的划分标准和面积最大的所述连通区域，确定目标区域，并计算所述目标区域的灰度均值；根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落。2.根据权利要求1所述的DOE脱落检测方法，其特征在于，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括：判断所述目标区域的灰度均值是否大于第三预设阈值；若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落；若所述目标区域的灰度均值大于第三预设阈值，则根据所述目标区域的大小，确定所述目标区域的各邻域区域，并计算所述各邻域区域的灰度均值；计算所述目标区域的灰度均值与所述各邻域区域的灰度均值的最大值的比值；判断所述比值是否大于第四预设阈值；若所述比值大于第四预设阈值，则确定所述待检测相机的DOE脱落；若所述比值小于或等于所述第四预设阈值，则确定所述待检测相机的DOE未脱落。3.根据权利要求1所述的DOE脱落检测方法，其特征在于，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括：判断所述目标区域的灰度均值是否大于第三预设阈值；若所述目标区域的灰度均值大于第三预设阈值，则确定所述待检测相机的DOE脱落；若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落。4.根据权利要求1
‑
3任一项所述的DOE脱落检测方法，其特征在于，所述根据预设的划分标准和面积最大的所述连通区域，确定目标区域，包括：根据预设的划分标准，确定面积最大的所述连通区域的横坐...

【专利技术属性】
技术研发人员：化雪诚，户磊，付贤强，王海彬，刘祺昌，
申请(专利权)人：合肥的卢深视科技有限公司，
类型：发明
国别省市：