机器学习、检测和建模方法、及计算机程序产品和设备技术

本发明专利技术涉及一种机器学习系统的学习方法。根据这种方法，该机器学习系统执行以下步骤：获得增强现实图像，这些增强现实图像包括真实图像和代表对象和/或特征区域的至少一个虚拟元素；对于每个增强现实图像，获得学习信息，对于增强现实图像的至少一个给定虚拟元素，上述学习信息包括：用于分割给定虚拟元素的模型，以及与给定虚拟元素的参数化相对应的一组轮廓点；以及基于多个增强现实图像和上述学习信息进行学习，提供一组参数，这些参数使得机器学习系统能够对给定图像中的对象和/或特征区域进行检测和建模。域进行检测和建模。域进行检测和建模。

【技术实现步骤摘要】
【国外来华专利技术】机器学习、检测和建模方法、及计算机程序产品和设备


[0001]本专利技术的领域是图像处理领域。
[0002]更具体地，本专利技术涉及一种用于对在图像中检测到的对象和/或特征区域（例如眼睛、鼻子等）进行检测和建模的方法。
[0003]本专利技术具有多种应用，特别是但不排他地用于一副眼镜的虚拟测试。
[0004]现有技术及其缺点在本文件的其余部分中，特别描述了本专利申请的专利技术人在一副眼镜的虚拟测试领域中所面临的现有问题。当然，本专利技术不限于该特定应用领域，而是对图像中表示的任何类型的对象和/或这种图像的任何类型的特征区域（即，图像的感兴趣部分）的检测和建模感兴趣。
[0005]从现有技术中已知，使用一些对象和/或一些特征区域的特征点来检测所考虑的对象和/或特征区域。例如，眼角通常被用作允许检测图像中个体的眼睛的特征点。还可以考虑诸如鼻子或嘴角等其他特征点来检测面部。通常，面部的检测质量取决于所使用的特征点的数量和位置。在提交本专利申请的公司以编号FR 2955409公布的法国专利和以编号WO 2016/135078公布的国际专利申请中具体地描述了这样的技术。
[0006]对于制造的对象，边缘或拐角可以例如被认为是特征点。
[0007]然而，使用这样的特征点可能导致检测缺乏准确性，因此也会相应导致对所考虑的对象和/或特征区域的建模缺乏准确性。
[0008]替代性地，有时考虑对图像进行手动标注，以便人为地生成所考虑的对象和/或特征区域的特征点。然而，在本文中再次注意到，对所考虑的对象和/或特征区域的检测缺乏准确性。相应地，这种不准确性可能会导致在对由此检测到的对象和/或特征区域进行建模时出现问题。
[0009]因此，需要一种允许对图像中所示的一个（或多个）对象和/或所考虑的图像中存在的一个（或多个）特征区域进行准确地检测和建模的技术。

技术实现思路

[0010]在本专利技术的实施方式中，提供了一种机器学习系统的学习方法，该机器学习系统用于对在至少一个给定图像中表示的至少一个对象和/或所述至少一个给定图像的至少一个特征区域进行检测和建模。根据这种方法，该机器学习系统执行以下操作：
‑
生成多个增强现实图像，该多个增强现实图像包括真实图像和代表至少一个对象和/或至少一个特征区域的至少一个虚拟元素；
‑
对于每个增强现实图像，获得学习信息，对于增强现实图像的至少一个给定虚拟元素，上述学习信息包括：
‑
从给定虚拟元素获得的该给定虚拟元素的分割模型，以及
‑
与给定虚拟元素的参数化相对应的一组轮廓点，或者从给定虚拟元素获得的参数化；以及
‑
从多个增强现实图像和上述学习信息中学习，提供一组参数，这些参数使得机器学习系统能够检测至少一个给定图像中的至少一个对象和/或至少一个特征区域并确定对应的建模信息，该建模信息包括：
‑
至少一个对象和/或至少一个特征区域的分割模型，以及
‑
与至少一个对象和/或至少一个特征区域的参数化相对应的一组轮廓点，或者参数化。
[0011]因此，本专利技术提供了一种用于学习机器学习系统（例如卷积神经网络）以便使其能够检测给定图像（例如示出戴眼镜的人的面部的图像）中的一个（或多个）对象（例如一副眼镜）和/或一个（或多个）特征区域（例如眼睛的轮廓或眼睛虹膜的轮廓）并确定对应的建模信息的新的和创造性的解决方案。
[0012]更具体地，从包括代表对象（或多个对象）和/或特征区域（或多个特征区域）的虚拟元素的增强现实图像中进行学习。因此，准确地执行了分割（例如通过由（多个）虚拟元素模拟的对象和/或特征区域的二元掩模）以及点在轮廓上的分布。例如，这允许解决手动标注这些点所固有的歧义。例如，点的分布对应于由（多个）虚拟元素模拟的对象（例如3DMM模型或“3D可变形模型”）和/或特征区域的2D或3D参数化。以这种方式，标注是准确的，并且很容易从轮廓点返回到参数化。
[0013]此外，这种虚拟元素的使用允许解决遮挡问题，并因此避免获得不完整的标注，如眼镜镜腿末端被耳朵遮挡或虹膜被眼睑遮挡的情况。真实数据（图像）与虚拟对象之间的混合允许将机器学习系统专门用于真实的应用案例。因此，增强现实图像在图像的真实性与产生具有足够可变性的图像和标注的容易性之间提供了最佳折衷。
[0014]在实施方式中，对于每个增强现实图像，机器学习系统的学习包括从给定虚拟元素的分割模型和与给定虚拟元素的参数化相对应的一组轮廓点中进行联合学习。
[0015]因此，机器学习系统的学习、分割模型的学习和一组轮廓点的学习相互加强从而获得了协同效应。分割模型允许通过最大化正确检测到的虚拟对象的像素数量（即通过最小化被错误检测为属于该对象的像素数量）来提高准确性。此外，由此检测到的一组点与该对象具有一致的形状。在当前情况下，这些点源自参数化模型这一事实加强了这种一致性。因此，无论捕获真实图像的相机的位置如何并且无论增强现实图像中的对象的设置如何，都获得了对象的一致形状。
[0016]在实施方式中，联合学习实施成本函数，该成本函数取决于和给定虚拟元素的分割模型相关联的交叉熵与和对应于给定虚拟元素的参数化的一组轮廓点相关联的欧几里得距离之间的线性组合。
[0017]例如，机器学习系统包括用于学习分割模型的分支和用于学习一组轮廓点的分支。因此，交叉熵与用于学习分割模型的分支相关联，并且欧几里得距离与用于学习一组轮廓点的分支相关联。
[0018]在一些实施方式中，真实图像包括面部的图示。对于与给定虚拟元素的参数化相对应的一组轮廓点中的至少一个轮廓点，学习信息包括指示轮廓点是否可见或者轮廓点是否被面部遮挡的可见性信息。
[0019]因此，考虑了轮廓点的可见性。
[0020]在一些实施方式中，成本函数进一步取决于与轮廓点的可见性相关联的二元交叉
熵。
[0021]在一些实施方式中，学习信息包括给定虚拟元素的参数化。
[0022]因此，机器学习系统能够直接提供所考虑的参数化。
[0023]本专利技术还涉及一种用于对在至少一个图像中表示的至少一个对象和/或所述至少一个图像的至少一个特征区域进行检测和建模的方法。这种检测和建模方法由通过实施上述学习方法（根据前述实施方式中的任一实施方式）训练的机器学习系统来实施。根据这种检测和建模方法，机器学习系统执行对所述至少一个图像中的所述至少一个对象和/或所述至少一个特征区域的检测，并执行对所述至少一个对象和/或所述至少一个特征区域的建模信息的确定。
[0024]因此，已经从包括代表对象（或多个对象）和/或特征区域（或多个特征区域）的虚拟元素的增强现实图像中完成了学习，建模信息与对象（或多个对象）和/或特征区域（或多个特征区域）的建模的一致性得到了保证。此外，在同时对一个（或多个）对象和一个（或多个）特征区域（例如眼睛、虹膜、鼻子）进行检测和建模的情况下，与仅对这两个元素之一进行检测和建模相比，获得了协同效应，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种机器学习系统的学习方法，所述机器学习系统用于对在至少一个给定图像中表示的至少一个对象和/或所述至少一个给定图像的至少一个特征区域进行检测和建模，其特征在于，所述机器学习系统执行以下操作：
‑
生成多个增强现实图像，所述多个增强现实图像包括真实图像和代表所述至少一个对象和/或所述至少一个特征区域的至少一个虚拟元素；
‑
对于每个增强现实图像，获得学习信息，对于所述增强现实图像的至少一个给定虚拟元素，所述学习信息包括：
‑ꢀ
从所述给定虚拟元素获得的所述给定虚拟元素的分割模型，以及
‑ꢀ
与所述给定虚拟元素的参数化相对应的一组轮廓点，或者从所述给定虚拟元素获得的所述参数化；以及
‑
从所述多个增强现实图像和所述学习信息中学习，提供一组参数，所述参数使得所述机器学习系统能够检测所述至少一个给定图像中的所述至少一个对象和/或所述至少一个特征区域并确定对应的建模信息，所述建模信息包括：
‑ꢀ
所述至少一个对象和/或所述至少一个特征区域的分割模型，以及
‑ꢀ
与所述至少一个对象和/或所述至少一个特征区域的参数化相对应的一组轮廓点，或者所述参数化。2.根据权利要求1所述的学习方法，其中，对于每个增强现实图像，所述机器学习系统的所述学习包括一方面从所述给定虚拟元素的所述分割模型以及另一方面从与所述给定虚拟元素的参数化相对应的所述一组轮廓点中进行联合学习。3.根据权利要求2所述的学习方法，其中，所述联合学习实施成本函数，所述成本函数取决于一方面和所述给定虚拟元素的所述分割模型相关联的交叉熵与另一方面和对应于所述给定虚拟元素的参数化的所述一组轮廓点相关联的欧几里得距离之间的线性组合。4.根据权利要求1至3中任一项所述的学习方法，其中，所述真实图像包括面部的图示，并且其中，对于与所述给定虚拟元素的参数化相对应的所述一组轮廓点中的至少一个轮廓点，所述学习信息包括指示所述轮廓点是否可见或者所述轮廓点是否被所述面部遮挡的可见性信息。5.根据权利要求4在从属于权利要求2时所述的学习方法，其中，所述成本函数进一步取决于与所述轮廓点的可见性相关联的二元交叉熵。6.一种用于对在至少一个图像中表示的至少一个对象和/或所述至少一个图像的至少一个特征区域进行的检测和建模方法，其特征在于，通过实施根据权利要求1至5中任一项所述的学习方法来训练的机器学习系统执行对所述至少一个图像中的所述至少一个对象和/或所述至少一个特征区域的检测，并执行对所述至少一个对象和/或所述至少一个特征区域的建模信息的确定。7.根据权利要求6所述的检测和建模方法，其中，通过实...

【专利技术属性】
技术研发人员：柴维耶，
申请(专利权)人：试戴盒子公司，
类型：发明
国别省市：