一种通过增强现实生成机器学习样本图片的系统及方法技术方案

本发明专利技术公开了一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存；通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。

A system and method for generating machine learning sample pictures by augmented reality

The invention discloses a system for generating machine learning sample images by augmented reality, including a face data construction module for recognizing faces and constructing face data information, which includes face key points, pose data, face frame data, and field of view of a picture camera. In the generation of material data, three-dimensional model; tag generation module, used to generate the corresponding face data tag information and storage; through the above steps can be a complete collection of samples and tagging processing, fully automated implementation, whether in entertainment or information security can effectively improve efficiency. High quality and 3D rendering speed.

【技术实现步骤摘要】
一种通过增强现实生成机器学习样本图片的系统及方法
本专利技术涉及增强现实和机器学习，具体涉及一种通过增强现实生成机器学习样本图片的系统及方法。
技术介绍
机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。随着机器学习越来越多的应用和推广，学习样本以及样本的标签化处理是机器学习的基础。传统的样本收集和标签化依靠人工完成，成本高，周期长。
技术实现思路
本专利技术所要解决现有技术的样本收集和标签化依靠人工完成，成本高，周期长的问题，提供一种通过增强现实生成机器学习样本图片的系统对样本自动标签化处理，减少人工，从而降低成本、提高效率。本专利技术通过下述技术方案实现：一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存。所述的标签生成模块主要是通过所述人脸数据构建模块构建的人脸数据和标签信息的配套对应来实现机器学习。其生成机器学习样本图片的方法为：a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型；c、根据步骤b中的材质数据、三维模型对样本图片进行渲染，并生成渲染后的样本图片；d、依据步骤c中的所述渲染后的样本图片生成标签信息。通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。所述模型构建模块指对面部表征模型的建模，也就是步骤b中所生成的材质数据、三维模型，包括有均值头部遮罩模型建模：取平均人头数据构建人头模型，模型基准点为眉心位置，正面朝向相机；以及两种类型的表征建模：静态表征建模，如眼镜，帽子。以人头模型为参考构建表征模型，眼镜能够准确的戴在眼部，帽子戴在头部。贴合面部表情的表征建模，如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点，构建面部三角网格，在面部网格的基础上构建面部以外的模型，如：胡子的面部以外的区域，最后绘制纹理，非纹理区域透明度过度到零。其中步骤c中的渲染过程为：虚拟影像与样本图片融合，所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。进一步的，所述标签信息可以存储在任何现有的存储介质中。进一步的，所述人脸数据构建模块所识别的客体还包括动物脸型、植物的形状。进一步的，所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。进一步的，所述模型构建模块所构建的三维模型还包括拟人脸的物体。本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术一种通过增强现实生成机器学习样本图片的系统可以减少人力人工；2、本专利技术一种通过增强现实生成机器学习样本图片的系统有效降低成本；3、本专利技术一种通过增强现实生成机器学习样本图片的系统有效提高效率，减少周期。附图说明此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1为本专利技术原理示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。实施例如图1所示，一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存。其生成机器学习样本图片的方法为：a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型；c、根据步骤b中的材质数据、三维模型对样本图片进行渲染，并生成渲染后的样本图片；d、依据步骤c中的所述渲染后的样本图片生成标签信息。通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。在实际使用时，通过实时对人脸等客体的数据收集来构建相应的三维模型，将所述渲染后的样本图片生成标签信息，并保存该标签信息，往后的样本图片可直接通过之前存储的标签信息直接渲染，减少了三维模型的收集等步骤，提高效率；例如，在客体是人脸时，在眼部添加一个虚拟的眼镜，为了使眼镜显得贴合眼部，需要构建人脸的三维模型，再基于人脸的三维模型将虚拟的眼镜渲染至符合原本人脸的角度以实现贴合眼部，同时记录此时虚拟的眼镜渲染的数据作为标签信息，当再需以该人脸渲染其他虚拟图片时，可以直接使用该标签信息来快速渲染，减少建立三维模型的时间。所述模型构建模块指对于面部表征模型的建模，也就是步骤b中所生成的材质数据、三维模型，包括有均值头部遮罩模型建模：取平均人头数据构建人头模型，模型基准点为眉心位置，正面朝向相机；以及两种类型的表征建模：静态表征建模，如眼镜，帽子。以人头模型为参考构建表征模型，眼镜能够准确的戴在眼部，帽子戴在头部。贴合面部表情的表征建模，如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点，构建面部三角网格，在面部网格的基础上构建面部以外的模型，如：胡子的面部以外的区域，最后绘制纹理，非纹理区域透明度过度到零。其中步骤c中的渲染过程为：虚拟影像与样本图片融合，所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。其以背景模式(深度检测为总是通过)渲染样本图片。其静态表征模型渲染融合：以关键点中眉心点为世界坐标，人头姿态为姿态，人脸框与人头模型面部宽度比值为缩放值，渲染人头模型。人头模型的融合结果为：desRGB，即缓冲区颜色。以人头模型的世界坐标下平移，旋转和缩放属性来渲染静态表征模型；渲染模型，融合方程为：srcAlpha*srcRGB+(1.0-desAlpha)*desRGB；(srcAlpha：当前透明度，srcRGB，当前颜色，desAlpha：缓冲区透明度，desRGB：缓冲区颜色)。其贴合面部表情的表征渲染：以关键点中眉心点为世界坐标，人头姿态为姿态，人脸框与人头模型面部宽度比值为缩放值，渲染表征模型。将人脸关键点图像坐标转换为世界坐标，作为表征模型上面部网格顶点的世界坐标；渲染模型，融合方程为：srcAlpha*srcRGB+(1.0-desAlpha)*desRGB；(srcAlpha：当前透明度，srcRGB：当前颜色，desAlpha：缓冲区透明度，desRGB：缓冲区颜色)。所述世界坐标即世界坐标系，是系本文档来自技高网...

【技术保护点】
1.一种通过增强现实生成机器学习样本图片的系统，其特征在于，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存；所述模型构建模块利用所述人脸数据构建模块所构建人脸数据信息来生成材质数据、三维模型。

【技术特征摘要】
1.一种通过增强现实生成机器学习样本图片的系统，其特征在于，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存；所述模型构建模块利用所述人脸数据构建模块所构建人脸数据信息来生成材质数据、三维模型。2.根据权利要求1所述的一种通过增强现实生成机器学习样本图片的系统，其特征在于：所述材质数据包括2D数据、3D数据以及纹理数据。3.一种通过增强现实生成机器学习样本图片的方法，其特征在于，该方法采用权利要求1中所述通过增强现实生成机器学习样本图片的系统生成机器学习样本图片，所述方法的具体步骤为：a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；b、利用模型构建模块根据步骤...

【专利技术属性】
技术研发人员：曾强，
申请(专利权)人：成都睿码科技有限责任公司，杭州数峰科技有限公司，
类型：发明
国别省市：四川,51