本发明专利技术涉及一种用于跟踪图像采集设备（130）采集的视频流中的个体（120）的面部（125）的方法，在该面部上戴着眼镜（110）。该跟踪方法包括以下步骤：评估包括这副眼镜的模型和面部的模型的面部表示的参数，使得面部表示叠置在视频流中的面部的图像上，结合面部表示中的多个特征点来评估这些参数，先前已经在被称为第一图像的视频流图像中检测到该多个特征点，其中，通过考虑了关于面部的模型中的至少一个点与该副眼镜的模型中的至少一个点之间的至少一个接近约束来评估上述表示的所有或一些参数。数。数。
【技术实现步骤摘要】
【国外来华专利技术】用于检测和跟踪视频流中戴着一副眼镜的个体的面部的方法
[0001]本专利技术涉及图像分析领域。
[0002]更准确地说，本专利技术涉及一种用于检测和跟踪视频流中戴着一副眼镜的个体的面部的方法。
[0003]本专利技术特别适用于一副眼镜的虚拟试戴。本专利技术还适用于在戴着眼镜的面部上的增强现实或减弱现实，特别是在由个体戴的一副眼镜的图像处的遮蔽，结合或不结合镜片、珠宝和/或化妆品的添加。本专利技术还适用于在由个体实际上戴着或虚拟地戴着的一副眼镜上进行眼科测量(PD、单侧PD、高度等)。
技术介绍
[0004]从现有技术中已知使得可以检测和跟踪视频流中个体的面部技术。
[0005]这些技术通常基于对面部的特征点(比如眼角、鼻子、或嘴角)的检测和跟踪。面部的检测质量通常取决于所使用的特征点的数量和位置。
[0006]这些技术对于检测和跟踪视频流中没有装饰品的个体面部通常是可靠的。
[0007]在提交本专利申请的公司以编号FR 2955409公布的法国专利和以编号WO 2016/135078公布的国际专利申请中特别地描述了这样的技术。
[0008]然而，因为在检测期间所使用的特征点中的一些特征点(通常是眼角)通常因装配在镜架中的镜片而变形或者甚至在镜片带色彩时被遮盖，所以当个体戴着一副包括矫正镜片的眼镜时，面部检测的质量有下降的趋势。此外，即使镜片不带色彩，也可能发生镜架遮盖检测中所使用的特征点中的一些特征点的情况。当特征点中的一些特征点不可见或这些特征点在图像中的位置失真时，由模型表示的所检测到的面部相对于真实面部通常在位置和/或取向上偏移，或者甚至偏移到错误的程度(scale)。
[0009]目前的系统均没有同时响应所有要求，即提出一种用于跟踪戴着一副真实眼镜的面部以便提供改进的增强现实再现的技术，该技术对于个体的运动而言更精确且更稳定。
技术实现思路
[0010]本专利技术旨在改进现有技术的所有或一些上述缺点。
[0011]为此目的，本专利技术涉及一种用于跟踪图像采集设备采集的视频流中的个体的戴着一副眼镜的面部的方法，视频流包括多个相继采集的图像。
[0012]该跟踪方法包括以下步骤：评估包括这副眼镜的模型和面部的模型的面部表示的参数，使得所述面部表示叠置在视频流中的面部图像上。
[0013]根据本专利技术，在评估上述表示的所有或一些参数时，考虑面部的模型的至少一个点与这副眼镜的模型的至少一个点之间的至少一个接近约束。
[0014]举例来说，接近约束可以例如限定这副眼镜的镜腿搁置在耳朵的耳廓与上侧的颅骨之间的接合处，即，在耳轮处。
[0015]换句话说，接近约束被限定在面部的模型的区域与这副眼镜的模型的区域之间，
该区域可以是一个点或点集，比如表面或脊部。
[0016]接近意味着零距离或小于预定阈值的距离，例如大约几毫米。
[0017]因此，在评估面部表示的参数期间使用接近约束使得可以通过有限数量的计算获得面部表示相对于相机的更准确可靠的姿态。因此，就个体相对于图像采集设备的意外运动而言，可以更稳定地实施对个体的实时跟踪。
[0018]此外，特别是与对未戴着眼镜的面部进行跟踪相比，这副眼镜的模型和面部的模型的联合使用使得可以改善面部的位置。这是因为，在前一种情况下，颞部的特征点的位置通常是不精确的。因为叠置在个体的颞部上的这副眼镜的镜腿使得可以获得关于在包括个体的颞部的图像区域中检测到的特征点的更精确的信息，所以跟踪这副眼镜使得可以提供对面部表示的姿态的更好估计。
[0019]优选地，上述表示的参数包括面部表示的外部值和面部表示的内部值，外部值包括面部表示相对于图像采集设备的三维位置和三维取向，内部值包括这副眼镜的模型相对于面部的模型的三维位置和三维取向，结合面部表示的多个特征点来评估这些参数，这些特征点是先前在被称为第一图像的视频流的图像中被检测到的或者在由多个图像采集设备同时采集的一组图像中被检测到的，这组图像包括所述第一图像。
[0020]换句话说，可以被称为化身的面部表示包括三维环境中的外部定位和取向参数、以及面部的模型与这副眼镜的模型之间的相对内部定位和取向参数。可以添加其它内部参数，比如这副眼镜的配置参数：镜架的类型、镜架的尺寸、材料等。当这副眼镜戴着在个体的面部上时，配置参数还可以包括与这副眼镜的镜架的变形以及特别是镜腿的变形相关的参数。这样的配置参数可以例如是镜腿相对于基准平面的打开或闭合的角度，基准平面例如为这副眼镜的镜面的主平面或切线平面。
[0021]面部表示包括面部的三维模型和这副眼镜的三维模型。
[0022]在本专利技术的具体实施例中，结合视频流的第二图像或由多个图像采集设备同时采集的第二组图像中被跟踪或被检测的所有或一些特征点的位置，更新上述表示的所有或一些参数，该第二组图像包括上述第二图像。
[0023]因此，该表示的参数的更新、特别是这副眼镜的模型与面部的模型之间的相对定位和取向值的更新、或者甚至配置参数的更新使得可以获得对个体的面部的更稳定且更精确的跟踪。
[0024]有利地，第二图像或第二组图像以不同于第一图像或第一组图像的角度呈现个体的面部视图。
[0025]在本专利技术的具体实施例中，在评估上述表示的所有或一些参数时，还考虑面部表示中所包括的模型中的一个模型的三维点与视频流的至少一个图像中所包括的至少一个点或水平线之间的至少一个接近约束。
[0026]在本专利技术的具体实施例中，在评估上述表示的所有或一些参数时，还考虑面部表示中所包括的模型中的一个模型的至少一个尺寸约束。
[0027]在本专利技术的具体实施例中，该方法包括将两个不同的点配对的步骤，这两个不同的点属于面部表示中所包括的两个模型中的一个模型，或者这两个不同的点各自属于面部表示中所包括的模型中的不同模型。
[0028]对两个点的配对具体地使得可以约束这两个点之间的距离关系，比如这两个点之
间的接近度或已知尺寸。已知尺寸例如是面部的瞳孔间距、镜架的宽度、虹膜的特征尺寸或平均尺寸、或者根据一个或多个分布规律的围绕这些值中的一个值的已知平均值的这些值的任何组合。
[0029]在本专利技术的具体实施例中，该方法包括前一步骤：将面部表示中所包括的两个模型中的一个模型的点与图像采集设备采集的图像的至少一个点配对。
[0030]将模型的点与图像的点或点集(比如轮廓线)配对通常是自动实施的。
[0031]在本专利技术的具体实施例中，在对上述表示的所述参数进行评估期间，这副眼镜的模型与视频流中的这副眼镜的图像的对齐和面部的模型与视频流中的面部的图像的对齐连续地实施。
[0032]在本专利技术的具体实施例中，通过最小化在面部的图像中检测到的面部的特征点与投影在图像中的面部的模型的特征点之间的距离来实施面部的模型的对齐。
[0033]在本专利技术的特定实施例中，通过最小化图像中这副眼镜的轮廓的至少一部分与投影在所述图像中的这副眼镜的模型的类似轮廓部分之间的距离来施这副本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于跟踪由图像采集设备（130）采集的视频流中的个体（120）的面部（125）的方法（200），所述面部戴着一副眼镜（110），所述视频流包括相继采集的多个图像，其特征在于，所述跟踪方法包括以下步骤（220，235）：评估包括所述一副眼镜的模型和所述面部的模型的面部表示的参数，使得所述面部表示叠置在所述视频流中的所述面部的图像上，其中，通过考虑所述面部的模型的至少一个点与所述一副眼镜的模型的至少一个点之间的至少一个接近约束来评估所述表示的所有或一些参数。2.根据前述权利要求所述的跟踪方法，其中，所述表示的参数包括所述面部表示的外部值和所述面部表示的内部值，所述外部值包括所述面部表示相对于所述图像采集设备的三维位置和三维取向，所述内部值包括所述一副眼镜的模型相对于所述面部的模型的三维位置和三维取向，结合所述面部表示的多个特征点来评估所述参数，所述特征点是先前在被称为第一图像的所述视频流的图像中被检测到的或者在由多个图像采集设备同时采集的一组图像中被检测到的，所述一组图像包括所述第一图像。3.根据前述权利要求中任一项所述的跟踪方法，其中，结合所述视频流的第二图像或由所述多个图像采集设备同时采集的第二组图像中被跟踪或被检测的所有或一些所述特征点的位置，更新所述表示的所有或一些所述参数，所述第二组图像包括所述第二图像。4.根据前述权利要求中任一项所述的跟踪方法，其中，在评估所述表示的所有或一些所述参数时，还考虑所述面部表示中所包括的所述模型中的一个模型的三维点与所述视频流的至少一个图像中所包括的至少一个点或水平线之间的至少一个接近约束。5.根据前述权利要求中任一项所述的跟踪方法，其中，在评估所述表示的所有或一些所述参数时，还考虑所述面部表示中所包括的所述模型中的一个模型的至少一个尺寸约束。6.根据前述权利要求中任一项所述的跟踪方法，其中，所述方法包括将两个不同的点配对的步骤，所述两个不同的点或者属于所述面部表示中所包括的两个模型中的一个模型，或者所述两个不同的点各自属于所述面部表示中所包括的所述模型的不同模型。7.根据前述权利要求中任一项所述的跟踪方法，其中，所述方法包括前一步骤：将所述面部表示中所包括的两个模型中的一个模型的点与图像采集设备采集的图像的至少一个点配对。8.根据前述权利要求中任一项所述的跟踪方法，其中，在对所述表示的所述参数进行评估期间，所述一副眼镜的模型与所述视频流中的所述一副眼镜的图像的对齐和所述面部的模型与所述视频流中的所述面部的图像的对齐连续地实施。9.根据前述权利要求所述的跟踪方法，其中，通过最小化在所述面部的图像中检测到的所述面部的特征点与投影在所述图像中的所述面部的模型的特征点之间的距离来实施所述面部的模型的对齐。10.根据权利要求8和9中任一项所述的跟踪方法，其中，通过最小化所述图像中的所述一副眼镜的轮廓的至少一部分与投影在所述图像中的所述一副眼镜的模型的类似轮廓部分之间的距离来实施所述一副眼镜的模型的对齐。11.根据前述权利要求中任一项所述的跟踪方法，其中，所述表示的所述参数包括以下列表中的全部或一部分：<...
【专利技术属性】
技术研发人员：阿里埃尔，
申请(专利权)人：试戴盒子公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。