基于计算机视觉智能技术的人体三维建模及测量方法技术

本发明专利技术公开了基于计算机视觉智能技术的人体三维建模及测量方法，具体包括人体体型建模；将样本表示为人体数学模型；利用深度学习技术学习二维平面照片到三维人体模型的映射和空间曲面走线到量体尺寸四个步骤。本发明专利技术属于计算机技术领域，具体是提供了基于计算机视觉智能技术的人体三维建模及测量方法，该方法通过单张二维平面照片即可实现人体体型的拍照量体，不需再使用正面和侧面双面照片，并利用深度学习技术实现从二维平面照片到三维人体模型的映射，替代了传统的简单提取人体轮廓，通过固定编号三维空间点序列以计算量体数据，而不是利用几何特征去寻找量体路径，采用真正的专有中国大陆各地人体数据，而不是利用欧美的人体模特数据库。

【技术实现步骤摘要】
基于计算机视觉智能技术的人体三维建模及测量方法
本专利技术属于计算机
，具体是指基于计算机视觉智能技术的人体三维建模及测量方法。
技术介绍
服装行业从规模化、模式化过渡到个性化、定制化，由此整个产业链走向智能化是必然的选择。目前，作为服装产业智能化的重要一环，智能量体是急需突破的瓶颈。传统的裁缝式手工量体，基于皮尺，依赖于个人经验加适当松量，且每个人量的结果都不一样，不具备规模效应，对现代制衣工业而言，二十年前的国标已经不能满足当前人群的尺码要求，特别是对于定制来说，必须要实现人体的精准测量。自2016年起兴起的深度学习技术，引领了一波人工智能落地大发展的浪潮。以深度神经网络为基础的各项人工智能技术，已经在图像处理、语音识别、围棋、自动驾驶、机器人等行业证明了其远超过人类的能力。特别是图像处理领域，出现了从2维向3维甚至4维空间拓展的技术趋势。利用深度学习技术进行人体三维重建，已经逐步走向实用化。当人体三维模型建立之后，各种服装定制所需的量体数据就自然呼之欲出。自动量体技术，服装界已经探索多年。近年来出现了一些利用各种计算机技术进行智能量体的尝试：(1)多点扫描仪技术——利用激光或者高频无线电波，采取多点发射计算反射距离以获取人体表面各项曲面参数建模后截取制衣所需的各项量体指标；该方法需要一个占地面积较大的专用扫描仪组件，且需要被测量者尽可能净体测量(至少需要穿紧身衣)，精度较高，成本高昂，易用性差，用户体验不佳；目前仅在服饰品牌门店架设以获取上门目标客户的量体数据；(2)特征点视觉估计技术——被测量者穿上专门设计的样衣，样衣上用各种预先设计好的特征点标明人体各个关键点位，再用相机拍摄后进行图像识别和分析，尺度变换后可对人体进行建模。该方法中样衣的选择难以推广普适，对拍摄条件有一定要求，且量体周期较长，需要邮寄样衣，用户体验不佳；目前仅在日本等少数地区有商业化运作，且多以失败告终；(3)计算机视觉智能技术——利用最新的计算机人工智能视觉识别技术，多角度把人体识别出来后，在空间尝试恢复人体建模，然后截取相应的制衣参数。该技术目前需要人体多角度严格按照一定姿势要求拍摄，且需要大量样本将人体模板化，然后进行模版匹配，再得到量体参数，目前看精度还未能达到足够商用，对各种人体穿衣后的取模效果也不能保证一致性，大多数方法均需要至少2张照片，正面和侧面，且对被测量者穿衣有一定的紧身要求以保证精度，用户体验达不到商业落地级别。业内普遍共识，目前还缺乏真正有效便捷的商业级别人体测量技术。有鉴于此，本专利技术致力于实现一种基于手机拍照实现的智能量体技术，一次拍照，无需脱衣或者紧身穿衣要求，无需外部电子设备辅助，方便快捷，非常适合于目前的电商平台类线上定制业务，也非常适合于广大线下服装门店的现场量体需求，具有最佳的用户体验和技术实施性价比。现有技术中，采取正面、侧面拍两张手机照片的方式，然后用这两个不同视角空间截面的几何尺寸数据，去拟合匹配事先建好的人体模型。该方法将所有人体近似为不同椭圆柱的组合，然后用大量净体测量数据抽取出人体模型，归结为一个个不同体型的模版，这样拍照后利用人工智能的图片抠取技术(matting)勾勒出人体的净体，然后用传统的神经网络学习技术适配到前述的模版上去，最后用几何原理计算各项人体测量指标，就得到了量体数据。具体技术原理如下：1、人体模板库的建立：如图1所示，首先用扫描仪对大量实际裸体模特(约9000个)进行采样，得到样本人群的净体点云模型，然后数学上归一化到一个标准身高，根据性别收敛为一系列的不同体型模板；2、将人体截面抽象为矢量端点闭环：如图2所示，假定所有人体的截面均为不同矢量端点的封闭曲线，这样，该截面在数学上就被一系列固定角度不同长度的二维点所表征，该方法把躯干和四肢分开建模，归属为两种不同的矢量曲线模型；3、建立正侧面尺寸到矢量曲线模型的映射关系：如图3所示，用传统的RBF神经网络，输入为正面、侧面的两个二维截距长度，输出为原理2中所列举的矢量点序列(来源于原理1中收敛得到的体型模板)，用原理1中得到的数据训练该RBF网络，建立正侧面测量数据与模板模型的关联映射关系；4、两张照片量体流程：用手机或者相机对实际人体进行正侧面拍照，再用AI技术进行人体轮廓提取，得到不同测量部位的正视图、侧视图截距，然后作为3中模型的输入，得到输出的矢量结果，同时也是1中归纳出的体型结果，然后再用预先设定好的身高进行尺寸缩放，最后可计算出各项量体数据。综上所述，该技术使用AI仅仅是对照片进行了抠图处理，后续的模型学习还是采取了传统的RBF神经网络技术，在样本数据上采用的是欧美人体数据库，并不适合亚洲人体型分布，且对人体的穿衣有一定要求，并不能完全脱离无净体(紧身)限制的理想要求。
技术实现思路
针对上述情况，为克服现有技术的缺陷，本专利技术提供了一种以中国大陆人体数据样本作为模型基础，仅采用单张二维平面照片及可实现三维人体模型映射的基于计算机视觉智能技术的人体三维建模及测量方法。本专利技术采取的技术方案如下：本专利技术基于计算机视觉智能技术的人体三维建模及测量方法，具体包括下列步骤：(1)人体体型建模人体体型采取固定点云的建模表示方法，所述固定点云的建模表示方法从人体的固定空间点表示出发，将人体看作多个固定位置的点的集合，其中，固定位置的点是名义上的位置点，不是绝对空间的；把人体曲面抽象为多个空间编号点，通过相邻三角法连接成为一个曲面，实现人体体型建模，对于需要量体的各个指标，预先可以定义好表征该指标的人体曲面上点序列，把各种不同体型的人体的测量路径固定下来，非常适合计算机处理；(2)将样本表示为人体数学模型采集实际样本，控制样本性别、年龄、体重、高矮及胖瘦的分布，在人体体型建模的基础上将样本与模型对应，使用人体扫描仪对采集的每个样本取得净体点云数据，并对每个样本进行拍照采样，因为采样成本较高，对每个样本，还进行了多种不同穿衣的采样(一般情况下会要求被采样者换装10套分别拍摄)，力求在单个人体身上取得尽可能多的二维照片样本；采取降维分析技术将多个空间编号点归约为多维度主元，将人体体型模型转变为一个多维度空间向量，多维度主元是变换后的空间基坐标，没有实际的物理意义，以解决对于多维度空间向量的三维空间点直接作为模型使用，计算代价难以承受的问题；计算机计算和模拟分析样本的多维度主元，建立人体数学模型；(3)利用深度学习技术学习二维平面照片到三维人体模型的映射采用深度卷积网络对二维平面照片进行图像处理，所述深度卷积网络对二维平面照片进行图像处理的步骤分别为：1)图像预处理，包括但不限于对齐分辨率和色彩处理；2)人像抠取，去除各种拍照背景，只留下人体部分，这是为了减轻CNN网络(深度卷积网络)的学习负担，无需每个像素都参与深度学习，形成输入样本集合，并将形成的输入样本集合输出设置为多维度空间向量，送入深度卷积网络进行学习，收敛得到一个判决网络，完成一张二维平面照片到三维人体模型的映射工作；(4)空间曲面走线本文档来自技高网...

【技术保护点】
1.基于计算机视觉智能技术的人体三维建模及测量方法，其特征在于，具体包括下列步骤：/n(1)人体体型建模/n人体体型采取固定点云的建模表示方法，所述固定点云的建模表示方法从人体的固定空间点表示出发，将人体看作多个固定位置的点的集合，把人体曲面抽象为多个空间编号点，通过相邻三角法连接成为一个曲面，实现人体体型建模，对于需要量体的指标，预先定义表征该指标的人体曲面上点序列，把各种不同体型的人体的测量路径固定下来；/n(2)将样本表示为人体数学模型/n采集实际样本，控制样本性别、年龄、体重、高矮及胖瘦的分布，在人体体型建模的基础上将样本与模型对应，使用人体扫描仪对采集的每个样本取得净体点云数据，并对每个样本进行拍照采样，采取降维分析技术将多个空间编号点归约为多维度主元，将人体体型模型转变为一个多维度空间向量，多维度主元是变换后的空间基坐标，计算机计算和模拟分析样本的多维度主元，建立人体数学模型；/n(3)利用深度学习技术学习二维平面照片到三维人体模型的映射/n采用深度卷积网络对二维平面照片进行图像处理，所述深度卷积网络对二维平面照片进行图像处理的步骤分别为：1)图像预处理，包括但不限于对齐分辨率和色彩处理；2)人像抠取，去除各种拍照背景，仅留下人体部分，形成输入样本集合，并将形成的输入样本集合输出设置为多维度空间向量，送入深度卷积网络进行学习，收敛得到一个判决网络，完成一张二维平面照片到三维人体模型的映射工作；/n(4)空间曲面走线到量体尺寸/n利用坐标变换，将步骤(3)得到的多维空间向量恢复为多个点的原始点云估计，得到二维平面照片所含人体的三维估计曲面，然后，在三维估计曲面上将量体所需的参数计算出来，所述参数包括：/n1)领围：由前颈点、颈侧点、以及第七颈椎点用软尺围量一周；/n2)肩宽：从左侧肩点经第七颈椎点测量到右侧肩点；/n3)上臂围：在上臂最丰满处水平围量一周；/n4)胸围：以乳点为测点，用软尺水平围量一周；/n5)中腹围：以腰部最凹处，肘关节与腰部的重合点为测点，软尺围量一周；/n6)裤腰围：围绕被测者平时扎腰带的上沿测量一周；/n7)臀围：臀部最丰满处水平测量一周；/n8)大腿围：围绕大腿根部最丰满处水平测量一周；/n9)腕围：围绕手腕水平贴量一周；/n10)裤长：由裤腰围向下垂直测量至踝骨中间位置；/n11)袖长：测量自肩点经肘点至尺骨下端。/n...

【技术特征摘要】
1.基于计算机视觉智能技术的人体三维建模及测量方法，其特征在于，具体包括下列步骤：
(1)人体体型建模
人体体型采取固定点云的建模表示方法，所述固定点云的建模表示方法从人体的固定空间点表示出发，将人体看作多个固定位置的点的集合，把人体曲面抽象为多个空间编号点，通过相邻三角法连接成为一个曲面，实现人体体型建模，对于需要量体的指标，预先定义表征该指标的人体曲面上点序列，把各种不同体型的人体的测量路径固定下来；
(2)将样本表示为人体数学模型
采集实际样本，控制样本性别、年龄、体重、高矮及胖瘦的分布，在人体体型建模的基础上将样本与模型对应，使用人体扫描仪对采集的每个样本取得净体点云数据，并对每个样本进行拍照采样，采取降维分析技术将多个空间编号点归约为多维度主元，将人体体型模型转变为一个多维度空间向量，多维度主元是变换后的空间基坐标，计算机计算和模拟分析样本的多维度主元，建立人体数学模型；
(3)利用深度学习技术学习二维平面照片到三维人体模型的映射
采用深度卷积网络对二维平面照片进行图像处理，所述深度卷积网络对二维平面照片进行图像处理的步骤分别为：1)图像预处理，包括但不限于对齐分辨率和色彩处理；2)人像抠取，去除各种拍照背景，仅留下人体部分，形成输入样本集合，并将形成的输入样本集合输出设置为多维度空间向量，送入深度卷积网络进行学习，收敛得到一个判决网络，完成一张二维平面照片到三维人体模型的映射工作；
(4)空间曲面走线到量体尺寸
利用坐标变换，将步骤(3)得到的多维空间向量恢复为多个点的原始点云估计，得到二维平面照片所含人体的三维估计曲面，然后，在三维估计曲面上...

【专利技术属性】
技术研发人员：许忠慧，
申请(专利权)人：许忠慧，
类型：发明
国别省市：上海;31