一种图像处理方法及装置制造方法及图纸

技术编号:15763702 阅读:69 留言:0更新日期:2017-07-06 02:09
本发明专利技术实施例提供一种图像处理方法及装置,其中的方法可包括:在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域;从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图;根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果。本发明专利技术依据图像在时间跨度上的唇部变化识别唇动,能够避免唇部变化幅度的影响,提升识别结果准确性,提升图像处理的实用性。

Image processing method and apparatus

The embodiment of the invention provides an image processing method and device, the method can include: the face region detection in each frame image contained in the processed video, and positioning from the face area from the lip area; each frame image extracted lip area feature pixel construction of lip change map; lip recognition based on texture feature of the lip changes, get the recognition results. The invention can recognize the lip movement according to the change of the lip in the time span of the image, thereby avoiding the influence of the change range of the lip margin, improving the accuracy of the recognition result and improving the practicability of the image processing.

【技术实现步骤摘要】
一种图像处理方法及装置
本专利技术涉及互联网
,具体涉及视频图像处理
,尤其涉及一种图像处理方法及装置。
技术介绍
某些互联网场景通常会涉及唇部识别的过程,例如:在身份认证场景中,为了避免非法用户采用静态图片混淆视听,通常需要录制用户说话的视频图像,然后对该视频图像进行唇动识别等处理来确认合法用户身份。现有技术中对图像进行唇动识别处理的其中一种方案为:计算视频中每一帧图像中的唇部区域的面积大小,再通过帧图像之间唇部区域的面积差确认是否发生唇动。另一种方案为:提取视频中每一帧图像中唇部开闭状态,依据开闭幅度来检测是否发生唇动。现有技术均依赖于唇部变化幅度,若唇部变化幅度较小,其唇部区域的面积变化及唇部开闭状态的幅度都不够明显,从而会影响唇动识别结果的准确性,影响现有技术方案的实用性。
技术实现思路
本专利技术实施例提供一种图像处理方法及装置,依据图像在时间跨度上的唇部变化识别唇动,能够避免唇部变化幅度的影响,提升识别结果准确性,提升图像处理的实用性。本专利技术实施例第一方面提供一种图像处理方法,可包括:在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域;从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图;根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果。优选地,所述在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域,包括:对待处理视频进行解析获得至少一帧图像;采用人脸检测算法在每一帧图像中检测人脸区域;采用人脸配准算法从所述人脸区域中定位唇部区域。优选地,所述从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图,包括:在每一帧图像中截取唇部区域图;从所述唇部区域图中提取特征列像素图;按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理,获得唇部变化图。优选地,所述从所述唇部区域图中提取特征列像素图,包括:在所述唇部区域图中确定预设位置;沿所述预设位置绘制纵轴;提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。优选地,所述预设位置为所述唇部区域图的中心像素点位置。优选地,所述根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果,包括:计算所述唇部变化图的纹理特征,所述纹理特征包括LBP特征和/或HOG特征;采用预设分类算法对所述纹理特征进行分类,获得唇动识别结果,所述识别结果包括:发生唇动或未发生唇动。本专利技术实施例第二方面提供一种图像处理装置,可包括:定位单元,用于在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域;构建单元,用于从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图;唇动识别单元,用于根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果。优选地,所述定位单元包括:解析单元,用于对待处理视频进行解析获得至少一帧图像;人脸检测单元,用于采用人脸检测算法在每一帧图像中检测人脸区域;人脸配准单元,用于采用人脸配准算法从所述人脸区域中定位唇部区域。优选地,所述构建单元包括:截取单元,用于在每一帧图像中截取唇部区域图;提取单元,用于从所述唇部区域图中提取特征列像素图;拼接处理单元,用于按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理,获得唇部变化图。优选地,所述提取单元包括:位置确定单元,用于在所述唇部区域图中确定预设位置;纵轴确定单元,用于沿所述预设位置绘制纵轴;特征列像素提取单元,用于提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。优选地,所述预设位置为所述唇部区域图的中心像素点位置。优选地,所述唇动识别单元包括:计算单元,用于计算所述唇部变化图的纹理特征,所述纹理特征包括LBP(LocalBinaryPatterns,局部二值模式)特征和/或HOG(HistogramofOrientedGradient,方向梯度直方图)特征;分类单元,用于采用预设分类算法对所述纹理特征进行分类,获得唇动识别结果,所述识别结果包括:发生唇动或未发生唇动。实施本专利技术实施例,具有如下有益效果:本专利技术实施例中,对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位,并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图,由于唇部变化图来自于每一帧图像,这使得唇部变化图能够整体反映各图像组成的时间跨度;通过唇部变化图的纹理特征进行唇动识别获得识别结果,也就是依据时间跨度上的唇部变化识别唇动,能够避免唇部变化幅度的影响,识别效率较高且识别结果准确度较高。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种图像处理方法的流程图;图2为本专利技术实施例提供的一种互联网设备的结构示意图;图3为本专利技术实施例提供的一种图像处理装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本专利技术实施例中,对视频所包含的每一帧图像进行人脸区域检测及唇部区域定位,并且从每一帧图像中提取唇部区域的特征列像素构建唇部变化图,由于唇部变化图来自于每一帧图像,这使得唇部变化图能够整体反映各图像组成的时间跨度;通过唇部变化图的纹理特征进行唇动识别获得识别结果,也就是依据时间跨度上的唇部变化识别唇动,能够避免唇部变化幅度的影响,识别效率较高且识别结果准确度较高。本专利技术实施例的图像处理方法可以被应用于许多互联网场景中,例如:在语音输入场景中,可通过对用户说话视频进行唇动识别来控制语音的获取过程;再如:在身份认证场景中,可通过对用户说话视频进行唇动识别来确认合法用户身份,避免非法用户采用静态图片混淆视听;等等。同理,本专利技术实施例的图像处理装置可以被应用于互联网场景中的各个设备中,例如:可被应用于终端中,或者被应用于服务器中。基于上述描述,本专利技术实施例提供了一种图像处理方法,请参见图1,该方法可执行以下步骤S101-S103。S101,在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域。待处理视频可以是实时录制的视频,例如:用户向终端发起语音输入请求时,终端可实时录制用户说话视频作为待处理视频。待处理视频也可以是接收到的实时视频,例如:服务器对终端侧用户进行身份认证时,服务器可接收终端实时录制的用户说话视频作为待处理视频。人脸检测技术是指采用一定的策略扫描确定所给定的图像中是否含有人脸,在确定含有后能够确定人脸在图像中的位置、大小和姿态。人脸配准技术是指采用一定的算法依据人脸的位置、大小和姿态清晰分辨出人脸的眼、鼻、唇部等轮廓。本实施例的方法在执行步骤S101的过程中具体涉及人脸检测技术和人脸配准技术;具体地,该方法在执行步骤S101时执行如下步骤s11-s13:s11,本文档来自技高网...
一种图像处理方法及装置

【技术保护点】
一种图像处理方法,其特征在于,包括:在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域;从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图;根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果。

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域;从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图;根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果。2.如权利要求1所述的方法,其特征在于,所述在待处理视频所包含的每一帧图像中检测人脸区域,并从所述人脸区域中定位唇部区域,包括:对待处理视频进行解析获得至少一帧图像;采用人脸检测算法在每一帧图像中检测人脸区域;采用人脸配准算法从所述人脸区域中定位唇部区域。3.如权利要求2所述的方法,其特征在于,所述从所述每一帧图像中提取唇部区域的特征列像素构建唇部变化图,包括:在每一帧图像中截取唇部区域图;从所述唇部区域图中提取特征列像素图;按照每一帧图像的时间顺序对所提取的特征列像素图进行拼接处理,获得唇部变化图。4.如权利要求3所述的方法,其特征在于,所述从所述唇部区域图中提取特征列像素图,包括:在所述唇部区域图中确定预设位置;沿所述预设位置绘制纵轴;提取由所述唇部区域图中位于所述纵轴的所有像素点构成的一列像素图作为特征列像素图。5.如权利要求4所述的方法,其特征在于,所述预设位置为所述唇部区域图的中心像素点位置。6.如权利要求1-5任一项所述的方法,其特征在于,所述根据所述唇部变化图的纹理特征进行唇动识别,获得识别结果,包括:计算所述唇部变化图的纹理特征,所述纹理特征包括LBP特征和/或HOG特征;采用预设分类算法对所述纹理特征进行分类,获得唇动识别结果,所述识别结果包括:发生唇动或未发生唇动。7.一种图像处理装置,其...

【专利技术属性】
技术研发人员:倪辉
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1