使用机器学习对眼睛图像进行校正的方法以及机器学习的方法技术

本发明专利技术涉及使用机器学习对眼睛图像进行校正的方法以及机器学习的方法。本发明专利技术涉及自动化和计算技术，即，涉及处理图像和视频数据的领域，即，涉及以目光重定向为目的对视频聊天、视频会议中的对话者的眼睛图像进行校正。一种校正眼睛图像的方法，其中该方法对人的脸至少获得一帧，于是确定这个人的眼睛在图像中的位置，并且形成紧密地包围眼睛的两个矩形区域，并且最后将眼睛区域中的每个像素的颜色分量取代成根据机器学习预测器的预测移位的像素的颜色分量。本发明专利技术的技术效果是以目光重定向为目的的眼睛图像的校正精度提高，其中处理视频图像的过程所需的资源减少。视频图像的过程所需的资源减少。视频图像的过程所需的资源减少。

【技术实现步骤摘要】
使用机器学习对眼睛图像进行校正的方法以及机器学习的方法
[0001]本申请是2016年03月03日递交的PCT国际申请PCT/RU2016/000118于2017年11月17日进入中国国家阶段的中国专利申请号为201680028919.9、专利技术名称为“使用机器学习对眼睛图像进行校正的方法以及机器学习的方法”的专利技术专利申请的分案申请。


[0002]本组专利技术涉及自动化和计算技术，一般地涉及处理图像和视频数据的领域，即，涉及校正视频聊天、视频会议的过程中的对话者的眼睛的图像。

技术介绍

[0003]目前，商业伙伴之间的视频会议以及在国外给亲戚打视频电话变为日常发生的事。特定软件和硬件的选择被与各方之间缺少视觉接触有关的复杂性所阻碍。该问题长时间吸引了研究者和工程师，并且它是由捕捉视频图像的摄像头的位置和脸在屏幕上的图像之间的不可避免的差异引起的。
[0004]最成功的目前已知的解决方案需要额外的设备，除了网络摄像头之外，比如：半透明镜/屏幕、立体摄像头或RGB
‑
D摄像头。
[0005]在现有技术中已知申请人Ramot At Tel
‑
Aviv University Ltd.的于2011年12月1日公布的专利申请WO2011148366“用于校正目光偏移的方法和系统(Method and system for correcting gaze offset)”。该方法包括以下步骤：对图像进行处理以便提取至少一个眼睛在该图像上的位置；对该图像进行处理以用取代数据取代与每个眼睛的每个位置相关联的影像数据；并且将所述校正后的图像发送到显示装置。该给定方法的缺点是，首先，在视频会议开始之前必需对视频会议的每个参与者预先记录朝向摄像头的目光的一组影像数据，第二，在视频会议期间目光方向的不自然固定。
[0006]从现有技术还已知作者D.Giger、J.C.Bazin、a C.Kuster、T.Popa、M.Gross发表于Proceedings of IEEE ICME 2014(中国，成都，2014年7月14
‑
18日)中的文章“用单个网络摄像头进行目光校正(Gaze Correction with a Single Webcam)”。该指定方法包括：确定脸部特征点并且根据确定的脸部特征来匹配人头的几何模型，将图像投影到调整后的模型的纹理，将模型旋转到某个角度并且将转动的模型投影在图像中，匹配模型图像和源图像。该给定方法的限制是：整体脸比例变形，必需预先记录头部的被屏蔽部分(例如，下巴)的纹理，并且需要图形加速器来实现实时系统操作所必需的生产率。

技术实现思路

[0007]给定的一组专利技术的目的是在视频会议期间使用仅包括一个视频记录工具(视频摄像头)的装置来校正对话者的眼睛的图像。
[0008]给定专利技术的技术效果是，眼睛图像的校正精度提高，同时减少了处理视频帧的过程所需的资源。
[0009]该技术效果是由于(用于校正图像中的目光方位的)预测器的机器学习方法而实现的，其中该方法首先获得多个图像对，在每对中包含同一个人的图像，但是多个图像对的不同之处仅在于目光方向，然后确定眼睛在每个图像对中的位置，接着学习预测器，生成调整位移矢量场，以使得对于每个图像对，将该对中的第一图像的每个像素中的颜色分量取代成该对中的第一图像的根据预测器的预测移位的另一像素的颜色分量，得到尽可能地类似于该对中的第二图像的图像，以及将预测器作为结果保存。
[0010]本专利技术提供了一种用于校正图像中的目光方位的预测器的机器学习方法，其特征在于：
[0011]·
获得多个图像对，在每对中包含同一个人的图像，所述多个图像对的不同之处仅在于目光方向；
[0012]·
确定眼睛在每个图像对中的位置；
[0013]·
学习所述预测器，生成调整位移矢量场，以使得对于每个图像对，将所述对中的第一图像的每个像素中的颜色分量取代成所述对中的所述第一图像的根据所述预测器的预测移位的另一像素的颜色分量，得到尽可能地类似于所述对中的第二图像的图像；
[0014]·
保存所述预测器。
[0015]位移场的预测器可以采取以下形式：
[0016]‑
单层或多层神经网络。
[0017]‑
至少一个决策树或决策树集合。
[0018]‑
生成仅取决于涉及眼睛的特征点的像素位置的固定位移矢量的预测器。
[0019]‑
机器学习中已知的任何其他形式的预测器。
[0020]使图像对中的眼睛区域为预设像素尺度。
[0021]预测器被存储在信息介质中，所述信息介质包括硬盘或固态驱动器、或闪存、或光学盘、或混合驱动器、或随机存取存储器(RAM)、或远程计算机系统、或远程数据存储。
[0022]此外，指定的技术效果是用用于校正眼睛在眼睛图像中的位置的方法来实现的，其中该方法首先加载预测器，然后对人的脸至少获得一个帧，然后确定这个人的眼睛在图像中的位置并且形成紧密包围眼睛的两个矩形区域，并且结果将眼睛区域中的每个像素的颜色分量取代成根据预测器的预测移位的像素的颜色分量。
[0023]本专利技术提供了一种用于校正眼睛图像的方法，其特征在于：
[0024]·
加载预测器；
[0025]·
对人的脸至少获得一个帧；
[0026]·
确定所述人的眼睛在所述图像中的位置，并且形成紧密包围所述眼睛的两个矩形区域；
[0027]·
将所述眼睛区域中的每个像素的颜色分量取代成根据所述预测器的基于机器学习的预测移位的像素的颜色分量。
[0028]预测器是根据上述标准训练的(以对于每个训练对中的第二图像最小化实际图像和获得的图像之间的差异)。
[0029]预测器从信息介质被加载，所述信息介质可以包括硬盘或固态驱动器、或闪存、或光学盘、或混合驱动器、或随机存取存储器(RAM)、或远程计算机系统、或远程数据存储。
[0030]预测器是单层或多层神经网络。
[0031]预测器是至少一个决策树或决策树集合。
[0032]预测器生成仅取决于涉及眼睛的特性点的像素位置的固定位移矢量。
[0033]在训练应用于眼睛区域中的每个像素的预测器之后，应满足以下要求：
[0034]a.当被应用于像素时，预测器应生成调整位移矢量，该调整位移矢量用于用由该给定位移矢量确定的另一像素的颜色分量取代给定像素的颜色分量；
[0035]b.预测器在多个图像对上被训练，其中一对中的一个图像包含人脸在眼睛被调整之前的初始图像，并且另一图像包含眼睛凝视不同方向的人的图像。
[0036]应用于所述眼睛区域中的每个像素的预测器满足以下要求：
[0037]a.被应用于像素，预测器应生成调整位移矢量，所述调整位移矢量用于用由所述给定位移矢量确定的取代像素的颜色分量取代所述给定像素的颜色分量；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于计算装置上的图像增强的方法，所述方法包括：接收描绘人脸的数字输入图像；经由目光调整机器学习模型通过改变所述人脸上眼睛的目光方向从所述数字输入图像生成经目光调整的图像，其中所述目光调整机器学习模型包括基于多个学习图像对的预测器，所述多个学习图像对不同之处在于目光方向；以及输出所述经目光调整的图像。2.如权利要求1所述的方法，其中所述预测器是单层或多层神经网络。3.如权利要求1所述的方法，其中所述预测器是至少一个决策树或决策树集合。4.如权利要求1所述的方法，其中所述学习图像对之间的目光方向相差在5至20度的范围内的角度。5.如权利要求1所述的方法，其中所述预测器生成取决于涉及眼睛的多个特性点的像素位置的固定位移矢量。6.如权利要求1所述的方法，其中所述预测器基于包含同一人的视图的多个学习图像对。7.如权利要求1所述的方法，其中对于所有的学习图像对，学习对中的每个图像中的目光方向的差异是相同的。8.如权利要求1所述的方法，其中所述方法还包括从存储所述预测器的信息介质加载所述预测器，所述信息介质包括下列中的一者：硬盘、固态驱动器、闪存、光学盘、混合驱动器、随机存取存储器(RAM)、远程计算机系统和远程数据存储。9.如权利要求1所述的方法，其中生成经目光调整的图像的步骤包含识别所述数字输入图像中的多个界标。10.如权利要求9所述的方法，其中所述生成经目光调整的图像的步骤还包含基于所述多个界标生成二维位移矢量场，所述二维位移矢量场针对所述数字输入图像中的一个或更多个像素中的每个像素指示所述像素的位移矢量，以及根据所述二维位移矢量场，通过使所述数字输入图像中的所述一个或更多个像素移位来生成所述经目光调整的图像。11.如权利要求1所述的方法，其中所述预测器通过下列步骤获得：获得多个学习图像对，所述多个学习图像对在每个图像对中包含同一人的视图，所述学习图像对不同之处在于目光方向，并且其中对于所述学习图像对，学习对中的每个图像中的目光方向的差异是相同的；确定所述学习图像对中的每个中的眼睛的位置；以及根据所述预测器的预测，...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：高等教育自主非营利组织斯科尔科沃科学和技术研究所，
类型：发明
国别省市：