图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及深度学习、计算机视觉等技术领域，可应用于人脸图像处理等场景。该方法包括：获取视频的多帧图像，并确定与多帧图像分别对应的多个空间相关信息，再确定与多帧图像对应的多个时序信息，并根据多个时序信息，分别生成与相应多帧图像对应的多个预测深度图像，以及根据多个空间相关信息和多个预测深度图像进行活体检测。由此，能够有效地提升基于图像的活体检测的准确性和活体检测效果，有效地提升图像处理方法的泛化性，从而有利于图像处理方法在活体检测场景的部署和应用。活体检测场景的部署和应用。活体检测场景的部署和应用。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体涉及深度学习、计算机视觉等
，可应用于人脸图像处理场景下，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]相关技术中，基于图像的活体检测方法在区分活体与非活体时分辨力较差，导致活体检测效果不佳，从而不利于活体检测方法的部署与应用。

技术实现思路

[0004]本公开提供了一种图像处理方法、装置、电子设备、存储介质及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种图像处理方法，包括：获取视频的多帧图像；确定与所述多帧图像分别对应的多个空间相关信息；确定与所述多帧图像对应的多个时序信息；根据所述多个时序信息，分别生成与相应所述多帧图像对应的多个预测深度图像；以及根据所述多个空间相关信息和所述多个预测深度图像进行活体检测。
[0006]根据本公开的第二方面，提供了一种图像处理装置，包括：获取模块，用于获取视频的多帧图像；第一确定模块，用于确定与所述多帧图像分别对应的多个空间相关信息；第二确定模块，用于确定与所述多帧图像对应的多个时序信息；生成模块，用于根据所述多个时序信息，分别生成与相应所述多帧图像对应的多个预测深度图像；以及检测模块，用于根据所述多个空间相关信息和所述多个预测深度图像进行活体检测。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开第一方面的图像处理方法。
[0008]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如本公开第一方面的图像处理方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开第一方面的图像处理方法的步骤。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开实施例的活体和非活体图像的空间相关信息的差异示意图；
[0014]图3是根据本公开第二实施例的示意图；
[0015]图4是根据本公开实施例的基于Transformer网络的特征提取的流程示意图；
[0016]图5是根据本公开实施例的图像处理模型的结构示意图；
[0017]图6是根据本公开实施例的PTA模块的动态窗口漂移示意图；
[0018]图7是根据本公开实施例的TDA模块的结构示意图；
[0019]图8是根据本公开第三实施例的示意图；
[0020]图9是根据本公开实施的异常帧图像的活体检测得分的示意图；
[0021]图10是根据本公开第四实施例的示意图；
[0022]图11是根据本公开第五实施例的示意图；
[0023]图12示出了用来实施本公开实施例的图像处理方法的示例电子设备的示意性框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]图1是根据本公开第一实施例的示意图。
[0026]其中，需要说明的是，本实施例的图像处理方法的执行主体为图像处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0027]本公开实施例涉及人工智能
，具体涉及计算机视觉和深度学习等
，可应用于人脸图像处理等场景下。
[0028]其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0029]深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0030]计算机视觉，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
[0031]而人脸图像处理，是指利用计算机技术对输入的人脸图像或者视频流进行处理，提取出图像中包含的人脸图像信息，并自动在图像中检测和跟踪人脸，进而对检测到的人脸图像进行处理一系列相关技术。
[0032]当将本公开提供的图像处理方法应用于人脸图像处理等场景，能够有效地提升人脸图像处理等场景中活体检测的准确性和活体检测效果，有效地提升人脸图像处理方法的
泛化性，有效地提升基于人脸图像的活体检测的应用效果。
[0033]其中，上述人脸图像数据，包含人脸图像的视频流，人脸图像信息其获取均是在符合相关法律、法规的情况下获取的，例如前述数据可以是来自于公开数据集处，还可以是经过相关机构授权后从已授权机构处获取的，其获取过程均符合相关法律、法规的规定，且不违背公序良俗。
[0034]需要说明的是，上述人脸数据，包含人脸图像的视频流，人脸图像信息并不是针对某一特定用户获取的数据，并不能反映出某一特定用户的个人信息。
[0035]本公开实施例中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理方式，其过程均符合相关法律法规的规定，且不违背公序良俗。
[0036]如图1所示，该图像处理方法，包括：
[0037]S101：获取视频的多帧图像。
[0038]其中，视频中可以包含多个视频帧，该多个视频帧即可以被称为多帧图像，多帧图像组成视频的片段或者组成完整的视频。
[0039]本公开实施例在获取视频的多帧图像时，可以是采用手机、相机等具有拍摄功能的摄像装置，获取视频流，并对获取得到的视频流进行解析处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取视频的多帧图像；确定与所述多帧图像分别对应的多个空间相关信息；确定与所述多帧图像对应的多个时序信息；根据所述多个时序信息，分别生成与相应所述多帧图像对应的多个预测深度图像；以及根据所述多个空间相关信息和所述多个预测深度图像进行活体检测。2.根据权利要求1所述的方法，其中，所述确定与所述多帧图像分别对应的多个空间相关信息，包括：确定与所述多帧图像分别对应的多个相关性特征；对所述多帧图像分别进行特征提取，得到多个初始图像特征；以及根据所述多个相关性特征分别处理相应所述多个初始图像特征，得到所述多个空间相关信息。3.根据权利要求2所述的方法，其中，所述确定与所述多帧图像分别对应的多个相关性特征，包括：对所述图像进行分段处理，得到多个图像片段；确定与所述多个图像片段分别对应的多个编码信息；以及确定所述多个编码信息分别对应的多个相关度，并将所述多个相关度作为相应所述多帧图像的多个相关性特征，其中，所述相关度描述相应所述编码信息和其他编码信息之间的相关情况。4.根据权利要求3所述的方法，其中，所述对所述多帧图像分别进行特征提取，得到多个初始图像特征，包括：确定分类标签；根据所述分类标签，提取与所述图像的多个所述图像片段分别对应的多个片段分类特征；以及将所述多个片段分类特征共同作为相应所述图像的初始图像特征。5.根据权利要求4所述的方法，其中，所述根据所述分类标签，提取与所述图像的多个所述图像片段分别对应的多个片段分类特征，包括：提取所述多个图像片段分别与所述分类标签相对应的多个局部分类特征；提取所述多个图像片段分别与所述分类标签相对应的多个全局分类特征，其中，所述全局分类特征是与相应所述图像片段相关的其他图像片段对应的局部分类特征，所述其他图像片段属于所述多个图像片段；将所述多个局部分类特征和所述多个全局分类特征分别作为所述多个片段分类特征。6.根据权利要求5所述的方法，其中，所述根据所述多个相关性特征分别处理相应所述多个初始图像特征，得到所述多个空间相关信息，包括：对所述多个相关性特征分别与相应所述多个初始图像特征进行加权融合处理，得到所述多个空间相关信息。7.根据权利要求5所述的方法，其中，所述确定与所述多帧图像对应的多个时序信息，包括：
确定与所述视频对应的长度信息；根据所述长度信息，生成多个窗口尺寸，其中，所述多个窗口尺寸不相同，所述窗口尺寸是相应注意力提取模型对输入特征进行特征划分的尺寸参数；将所述全局分类特征分别输入至多个所述注意力提取模型之中，得到多个所述注意力提取模型分别输出的与所述多个窗口尺寸对应多个注意力信息；根据所述多个注意力信息，提取与所述多个图像片段分别对应的多个时序信息，其中，所述时序信息描述相应所述图像片段与相邻帧图像片段之间的时序差异情况。8.根据权利要求7所述的方法，其中，所述根据所述多个时序信息，分别生成与相应所述多帧图像对应的多个预测深度图像，包括：根据所述时序信息对相应所述局部分类特征中的编码运动特征进行增强处理，得到目标分类特征；根据多个所述目标分类特征，预测与所述多帧图像分别对应的多个预测深度图像。9.根据权利要求8所述的方法，其中，所述根据多个所述目标分类特征，预测与所述多帧图像分别对应的多个预测深度图像，包括：根据多个所述目标分类特征，生成与所述多帧图像分别对应的多个初始深度图像；确定与所述多个初始深度图像对应的多个深度变化信息，其中，所述深度变化信息描述相应所述初始深度图像与相邻所述初始深度图像之间的深度变化情况；根据所述深度变化情况，确定相应所述初始深度图像对应的损失值；如果所述损失值满足设定条件，则将所述初始深度图像作为所述预测深度图像。10.根据权利要求1
‑
9任一项所述的方法，其中，所述根据所述多个空间相关信息和所述多个预测深度图像进行活体检测，包括：根据所述多个空间相关信息，确定与相应所述多个图像中预测活体位置分别对应的多个描述信息；确定与所述多个预测深度图像分别对应的多个深度描述信息；根据所述多个描述信息和所述多个深度描述信息，确定与相应所述多个图像分别对应的多个活体检测得分；根据所述多个活体检测得分进行所述活体检测。11.一种图像处理装置，包括：获取模块，用于获取视频的多帧图像；第一确定模块，用于确定与所述多帧图像分别对应的多个空间相关信息；第二确定模块，用于确定与所述多帧图像对应的多个时序信息；生成模块，用于根据所述多个时序信...

【专利技术属性】
技术研发人员：王强昌，王卓，谭资昌，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：