图像数据处理方法、装置、计算机设备以及存储介质制造方法及图纸

本申请实施例提供了一种图像数据处理方法、装置、计算机设备以及存储介质，该方法可以采用人工智能技术对视频帧图像进行图像分类处理；该方法包括：获取视频帧图像，从视频帧图像中获取目标区域所覆盖的像素点，作为区域图像；目标区域用于指示人脸在视频帧图像中的有效位置，目标区域对应的区域尺寸小于视频帧图像对应的图像尺寸；获取区域图像对应的区域属性特征，根据区域属性特征识别区域图像对应的人脸分类结果；若人脸分类结果属于人脸异常检测结果，则生成针对区域图像的异常提示信息。采用本申请实施例，可以提高人脸位置的检测效率。

【技术实现步骤摘要】
图像数据处理方法、装置、计算机设备以及存储介质
本申请涉及互联网
，尤其涉及一种图像数据处理方法、装置、计算机设备以及存储介质。
技术介绍
随着视频技术的发展和移动互联网的普及，视频会议成为人们日常工作中必不可少的提升工作效率的方式。在视频会议过程中，与会人员通常不太注意到摄像头跟自己头像的相对位置关系，于是经常出现只有半边人脸甚至人像离开镜头的情况，人脸位置异常会影响视频会议的展示效果。现有技术中，可以通过人脸检测的方法对视频帧图像进行检测，首先需要检测视频帧图像中是否包含人脸，当检测到视频帧图像中包含人脸时，还需要检测人脸在视频帧图像中的具体位置，并确定人脸的中心点位置；当人脸的中心点位置与屏幕视频画面的中心位置接近时，可以确定与会人员的人脸位置是正常的。可见，基于人脸检测方法检测人脸位置，容易造成过多的计算耗时，进而导致人脸位置的检测效率过低。
技术实现思路
本申请实施例提供一种图像数据处理方法、装置、计算机设备以及存储介质，可以提高人脸位置的检测效率。本申请实施例一方面提供了一种图像数据处理方法，包括：获取视频帧图像，从视频帧图像中获取目标区域所覆盖的像素点，作为区域图像；目标区域用于指示人脸在视频帧图像中的有效位置，目标区域对应的区域尺寸小于视频帧图像对应的图像尺寸；获取区域图像对应的区域属性特征，根据区域属性特征识别区域图像对应的人脸分类结果；若人脸分类结果属于人脸异常检测结果，则生成针对区域图像的异常提示信息。其中，上述从视频帧图像中获取目标区域所覆盖的像素点，作为区域图像，包括：获取与视频帧图像相关联的分割参数，根据分割参数与视频帧图像的图像尺寸确定区域尺寸；获取视频帧图像中的中心位置点的坐标信息，根据坐标信息和区域尺寸，在视频帧图像中确定目标区域；根据目标区域对视频帧图像进行分割，得到包含目标区域所覆盖的像素点的区域图像。其中，上述获取区域图像中的区域属性特征，根据区域属性特征识别区域图像对应的人脸分类结果，包括：将区域图像输入至图像识别模型，在图像识别模型中获取区域图像对应的区域属性特征；将区域属性特征输入至第一分类器，在第一分类器中识别区域属性特征的人脸分类结果。其中，上述将区域图像输入至图像识别模型，在图像识别模型中获取区域图像对应的区域属性特征，包括：将区域图像输入至图像识别模型，根据图像识别模型中的卷积层，对区域图像进行卷积，得到区域图像特征信息；根据图像识别模型中的N个残差层，对区域图像特征信息进行残差卷积处理，得到区域图像的残差卷积特征；根据区域图像特征信息和区域图像残差信息，生成区域图像对应的区域属性特征。其中，上述将区域属性特征输入至第一分类器，在第一分类器中识别区域属性特征的人脸分类结果，包括：将区域属性特征输入至第一分类器，在第一分类器中识别区域属性特征分别与至少两个人脸状态特征之间的第一匹配度；将最大的第一匹配度所属的人脸状态特征对应的类别，作为区域属性特征的人脸分类结果。其中，上述获取区域图像中的区域属性特征，根据区域属性特征识别区域图像对应的人脸分类结果，包括：将区域图像输入至图像识别模型，在图像识别模型中获取区域图像对应的区域属性特征；将区域属性特征输入至第二分类器，在第二分类器中识别区域属性特征的第一分类结果；将区域属性特征输入至第三分类器，在第三分类器中识别区域属性特征的第二分类结果；根据第一分类结果和第二分类结果，确定区域图像对应的人脸分类结果。其中，上述将区域属性特征输入至第二分类器，在第二分类器中识别区域属性特征的第一分类结果，包括：将区域属性特征输入至第二分类器，在第二分类器中识别区域属性特征与人脸属性特征之间的第二匹配度，以及区域属性特征与非人脸属性特征之间的第三匹配度；当第二匹配度大于第三匹配度时，将人脸属性特征对应的人脸类别作为第一分类结果；当第二匹配度小于第三匹配度时，将非人脸属性特征对应的非人脸类别作为第一分类结果。其中，上述将区域属性特征输入至第三分类器，在第三分类器中识别区域属性特征的第二分类结果，包括：将区域属性特征输入至第三分类器，在第三分类器中识别区域属性特征与全脸属性特征之间的第四匹配度，以及区域属性特征与半脸属性特征之间的第五匹配度；当第四匹配度大于第五匹配度时，将全脸属性特征对应的全脸类别作为第二分类结果；当第四匹配度小于第五匹配度时，将半脸属性特征对应的半脸类别作为第二分类结果。其中，上述若人脸分类结果属于人脸异常检测结果，则生成针对区域图像的异常提示信息，包括：若人脸分类结果为半脸类别或者非人脸类别，则将人脸分类结果确定为人脸异常检测结果；生成与人脸异常检测结果相关联的异常提示信息，在视频帧图像的展示页面中显示异常提示信息。其中，该方法还包括：统计视频会议应用中与互动用户相关联的异常提示信息的显示次数；当显示次数达到异常显示条件时，在视频会议应用中移除互动用户。其中，该方法还包括：获取样本图像集合；样本图像集合包括属于全脸类别的样本图像、属于半脸类别的样本图像以及属于非人脸类别的样本图像；将样本图像集合中所包含的样本图像输入至初始图像识别模型，在初始图像识别模型中获取样本图像对应的初始图像属性特征；根据初始图像属性特征识别样本图像对应的预测分类结果，获取样本图像的初始类别标签信息；根据预测分类结果与初始类别标签之间的误差，对初始图像识别模型的模型参数进行调整，将调整参数后的初始图像识别模型确定为图像识别模型。本申请实施例一方面提供了一种图像数据处理装置，包括：获取模块，用于获取视频帧图像，从视频帧图像中获取目标区域所覆盖的像素点，作为区域图像；目标区域用于指示人脸在视频帧图像中的有效位置，目标区域对应的区域尺寸小于视频帧图像对应的图像尺寸；识别模块，用于获取区域图像对应的区域属性特征，根据区域属性特征识别区域图像对应的人脸分类结果；信息生成模块，用于若人脸分类结果属于人脸异常检测结果，则生成针对区域图像的异常提示信息。其中，获取模块包括：参数获取单元，用于获取与视频帧图像相关联的分割参数，根据分割参数与视频帧图像的图像尺寸确定区域尺寸；区域确定单元，用于获取视频帧图像中的中心位置点的坐标信息，根据坐标信息和区域尺寸，在视频帧图像中确定目标区域；分割单元，用于根据目标区域对视频帧图像进行分割，得到包含目标区域所覆盖的像素点的区域图像。其中，识别模块包括：特征提取单元，用于将区域图像输入至图像识别模型，在图像识别模型中获取区域图像对应的区域属性特征；第一分类单元，用于将区域属性特征输入至第一分类器，在第一分类器中识别区域属性特征的人脸分类结果。其中，特征提取单元包括：卷积子单元，用于将区域图本文档来自技高网...

【技术保护点】
1.一种图像数据处理方法，其特征在于，包括：/n获取视频帧图像，从所述视频帧图像中获取目标区域所覆盖的像素点，作为区域图像；所述目标区域用于指示人脸在所述视频帧图像中的有效位置，所述目标区域对应的区域尺寸小于所述视频帧图像对应的图像尺寸；/n获取所述区域图像对应的区域属性特征，根据所述区域属性特征识别所述区域图像对应的人脸分类结果；/n若所述人脸分类结果属于人脸异常检测结果，则生成针对所述区域图像的异常提示信息。/n

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：
获取视频帧图像，从所述视频帧图像中获取目标区域所覆盖的像素点，作为区域图像；所述目标区域用于指示人脸在所述视频帧图像中的有效位置，所述目标区域对应的区域尺寸小于所述视频帧图像对应的图像尺寸；
获取所述区域图像对应的区域属性特征，根据所述区域属性特征识别所述区域图像对应的人脸分类结果；
若所述人脸分类结果属于人脸异常检测结果，则生成针对所述区域图像的异常提示信息。


2.根据权利要求1所述的方法，其特征在于，所述从所述视频帧图像中获取目标区域所覆盖的像素点，作为区域图像，包括：
获取与所述视频帧图像相关联的分割参数，根据所述分割参数与所述视频帧图像的图像尺寸确定所述区域尺寸；
获取所述视频帧图像中的中心位置点的坐标信息，根据所述坐标信息和所述区域尺寸，在所述视频帧图像中确定所述目标区域；
根据所述目标区域对所述视频帧图像进行分割，得到包含所述目标区域所覆盖的像素点的区域图像。


3.根据权利要求1所述的方法，其特征在于，所述获取所述区域图像中的区域属性特征，根据所述区域属性特征确定所述区域图像对应的人脸分类结果，包括：
将所述区域图像输入至图像识别模型，在所述图像识别模型中获取所述区域图像对应的区域属性特征；
将所述区域属性特征输入至第一分类器，在所述第一分类器中识别所述区域属性特征的人脸分类结果。


4.根据权利要求3所述的方法，其特征在于，所述将所述区域图像输入至图像识别模型，在所述图像识别模型中获取所述区域图像对应的区域属性特征，包括：
将所述区域图像输入至所述图像识别模型，根据所述图像识别模型中的卷积层，对所述区域图像进行卷积，得到区域图像特征信息；
根据所述图像识别模型中的N个残差层，对所述区域图像特征信息进行残差卷积处理，得到所述区域图像的残差卷积特征；
根据所述区域图像特征信息和所述区域图像残差信息，生成所述区域图像对应的区域属性特征。


5.根据权利要求3所述的方法，其特征在于，所述将所述区域属性特征输入至第一分类器，在所述第一分类器中识别所述区域属性特征的人脸分类结果，包括：
将所述区域属性特征输入至所述第一分类器，在所述第一分类器中识别所述区域属性特征分别与至少两个人脸状态特征之间的第一匹配度；
将最大的第一匹配度所属的人脸状态特征对应的类别，作为所述区域属性特征的人脸分类结果。


6.根据权利要求1所述的方法，其特征在于，所述获取所述区域图像中的区域属性特征，根据所述区域属性特征确定所述区域图像对应的人脸分类结果，包括：
将所述区域图像输入至图像识别模型，在所述图像识别模型中获取所述区域图像对应的区域属性特征；
将所述区域属性特征输入至第二分类器，在所述第二分类器中识别所述区域属性特征的第一分类结果；
将所述区域属性特征输入至第三分类器，在所述第三分类器中识别所述区域属性特征的第二分类结果；
根据所述第一分类结果和所述第二分类结果，确定所述区域图像对应的人脸分类结果。


7.根据权利要求5所述的方法，其特征在于，所述将所述区域属性特征输入至第二分类器，在所述第二分类器中识别所述区域属性特征的第一分类结果，包括：
将所述区域属性特征输入至所述第二分类器，在所述第二分类器中识别所述区...

【专利技术属性】
技术研发人员：贺思颖，张亚彬，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44