一种用于虚拟试衣的成像方法技术

本发明专利技术涉及一种用于虚拟试衣的成像方法，包括：一利用量衣规则的标注信息建立人体AI模型并对模型基于Mask‑RCNN训练。二：根据量衣规则的标注信息获取服装数据图片并将其存储入服装数据库。三根据量衣规则的标注信息获取顾客人体数据图片。四数据分析和人衣匹配；将步骤三中获取的顾客人体数据图片带入步骤一中的人体AI模型进行训练；从而AI模型输出的人体区域位置和关键点即标注信息，并估计出该顾客人体各区域的尺寸。根据估计出的顾客人体各区域的尺寸信息检索合适尺寸的服装并进行拟合；将服装与人体拟合成功的结果通过图像引擎进行展示。本方法试衣效率提高；不仅能展示体型与所试衣服的效果，还可以真实的展示该衣服与肤色，头型，气质是否搭配。

An imaging method for virtual fitting

The invention relates to an imaging method for a virtual fitting, which comprises: a human body AI model is established by using the annotation information of the garment measuring rules and the model is trained based on Mask_RCNN. Two: according to the label information of clothing rules, get the picture of clothing data and store it into the clothing database. Three get the picture of customer's body data according to the label information of the clothing rules. Four data analysis and human clothes matching; take the customer's human body data pictures acquired in step 3 into the human body AI model in step 1 to train; thus the human body region position and key points of the AI model output are labeled information, and estimate the size of each region of the customer's human body. According to the estimated size of each region of the customer's human body, the clothing of the appropriate size is retrieved and fitted, and the results of the clothing and human body fitting are displayed by the image engine. The method can improve the dressing efficiency, not only show the effect of the body shape and the clothes tested, but also really show whether the clothes match the skin color, head shape and temperament.

【技术实现步骤摘要】
一种用于虚拟试衣的成像方法
本专利技术涉及虚拟试衣领域，具体涉及一种用于虚拟试衣的成像方法。
技术介绍
电子商务成为了一种趋势，现在各行各业都在向电子商务发展。服装是人民生活的必须品，对衣服的审美、对是否符合购买者的个性，穿在自己身上是否合适等问题在网购与现实生活中都需要解决，如果这些问题没有有效的处理方法将会对网购造成一定的损失。现在有很多网购者在网购平台上面选择好以后，等衣服到手后却发现并不是自己想象中的效果，从而导致退货对卖家的不信任与购物平台的不信任。现有技术中已经存在的三维建模仿真是通过用户事先输入身高、体重，再进行体型特点选择，展现一个仿真的人体模型来看试衣效果，没有硬件设备做数据来源支撑，试衣基本上是一个和自己身材类似虚拟模特在试衣，和自己真人的效果相差太大。现有技术中中还存在通过平面镜AR成像实现虚拟试衣。相比虚拟建模，这种方式可以很好的解决试衣真实度的问题，但试衣效果只是平面二维的，不能360°看到穿衣的效果。因此需要一种能够准确，全方位的展现试衣效果的虚拟试衣方法。
技术实现思路
1、所要解决的技术问题：本专利技术提供一种虚拟试衣方法，利用在顾客端采集顾客的人体图片信息与在厂商端采集服装的图片信息，通过图像处理和机器学习技术，立体地展示出顾客试衣的效果。2、技术方案：一种用于虚拟试衣的成像方法，包括以下步骤：步骤一：利用标注信息建立人体AI模型；其中标注信息为根据量衣规则需要标注的人体各区域与关键点；输入各种人体身材的人体标注信息的数据进行基于Mask-RCNN训练，获得对应身材的人体AI模型。步骤二：获取服装数据图片并将其存储入服装数据库；通过图片采集装置获取同一件衣服的各方位图像，并将各方位图像进行预处理，并识别该服装中的标注信息的数据；将预处理后的服装数据图片与手动输入的服装的信息存储入服装数据库。步骤三：获取顾客人体数据图片；用户摆出预设的常用试衣姿态，从而获得人体各方位图像；将获得的图像进行预处理获得顾客人体数据图片。步骤四：数据分析和人衣匹配；将步骤三中获取的顾客人体数据图片带入步骤一中的人体AI模型进行训练；从而AI模型输出的人体区域位置和关键点即标注信息，并计算出该顾客人体各区域的尺寸。根据计算出的顾客人体各区域的尺寸信息检索合适尺寸的服装，并通过Texturemapping将服装关键点和人体关键点进行拟合；如果人体尺寸超出服装的区域预设的范围，有弹性的服装在对应的关键点位置进行变形匹配。将服装与人体拟合成功的结果通过图像引擎进行展示，其中展示的效果图片还包括除人体的脸、头、手臂以及未被衣服覆盖的其他部位。进一步地，还包括步骤五：根据用户对展示效果的反馈；如果人体区域位置和关键点的大小估算不准确，将该顾客的图片数据输入人体AI模型，即使用该数据进一步训练模型，增加训练集。进一步地，所述标注信息为根据量衣规则的需要标注图像中人体各区域，包括颈部、肩部、胸部、腹部、臀部、胯部、裆部、四肢区域，以及各区域的关键点。进一步地，所述步骤二中对获取的服装的图片进行的预处理的具体过程为：S21在特定的采集场所，采集场所的各个方位的静态背景图，利用PinholeCameramodel标定场所的空间尺寸和相对位置。S22接收各个方位的服装图像，并根据标定场所的空间尺寸和相对位置调整图片的大小；并且调整图像中服装的双肩位置保持在预定水平高度；图像加载后，利用Meanfilter实现前后景图片分离；其中前景图片为服装的各个方位的图片，后景为背景图片。S23将S22得到的图片进行基于脉冲耦合神经网络（PCNN），结合双复树小波（DTCWT）和拉普拉斯分量绝对和（SML）处理，将步骤S22中前景数据与预设的背景合成具有Alpha通道信息的图片格式；即得到服装数据图片。S24管理员输入该服装的标签；标签的内容包括该服装对应的尺寸、风格信息；将标签与服装数据图片进行关联后存储入服装数据库。进一步地，所述步骤三获取顾客人体数据图片的具体过程包括：S31：在特定的采集场所，采集场所的各个方位的静态背景图，利用PinholeCameramodel标定场所的空间尺寸和相对位置。S32：接收各个方位的顾客图像，并根据标定场所的空间尺寸和相对位置调整图片的大小；顾客图像加载后，利用Meanfilter实现前后景图片分离；其中前景图片为顾客的各个方位的图片，后景为背景图片。S33：将S32得到的图片进行基于脉冲耦合神经网络（PCNN），结合双复树小波（DTCWT）和拉普拉斯分量绝对和（SML）处理，将步骤S32中前景数据与自定义背景合成具有Alpha通道信息的图片格式即为顾客人体数据图片。3、有益效果：本专利技术中先预设人体AI模型，将顾客的人体图片数据带入AI模型中训练出该顾客对应的人体AI模型，通过对应的人体AI模型选出适合该顾客体型可以穿的衣服。顾客可以根据衣服的标签选择自己喜欢的类型进行试衣，并通过立体图像的方式展示其试衣后的体型。展示的效果图中仅仅将顾客的体型进行了拟合，其他的部位还是真实的图片。本方法其试衣效率提高；顾客不仅能看到体型与所试衣服的效果，还可以真实的看出该衣服与肤色，头型，气质是否搭配。同时通过本方法进行虚拟试衣能够节约顾客试衣的时间，并且顾客可试衣款式和数量大大增加；而且实现一次量体，多次在家买衣。具体实施方式对本专利技术的实施方式进行具体的说明。本方法分为厂商端、顾客端与云端。厂商端利用服装数据采集装置将不同服装根据不同的大小进行全方位的采集图片。将采集的图片根据量衣规则分析出需要标注的人体各区域与关键点对应的衣服的数据。举例说明，根据量衣规则人体特征值中要采集胳膊的长短，即肩部到手腕的距离，在服装图片中对应该关键点的就是衣服的袖子上下端对应的坐标值。这些标注信息包括在该衣服的服装数据图片中。管理员手动输入该衣服的标签，并将标签与相应衣服的服装数据图片相关联存储到衣服数据库中。顾客端通常是采用试衣间的模式采集顾客的人体特征。本方法采集的方法是采用摄像头全方位的采集顾客不同姿势时的图片。并对图片进行处理，即将采集的图片根据量衣规则分析出需要标注的人体各区域与关键点。得出顾客人体数据图片，这些图片可以通过传输装置传输至用户的手机，用户就可以存储起来。当顾客想要试衣服的时候，直接在手机上就可以看出本人试衣的展示图。并且平台可以根据用户的试衣历史和成交记录，推荐用户喜爱的服装新品。云端的数据库不停的收集顾客的图片，并将人体数据图片带入人体AI模型进行训练机器学习，从而使人体AI模型越来越准确。当云端接收到顾客端发来的人体各方位图像时，云端对图片进行预处理后带入到人体AI模型，输出该顾客的顾客人体数据图片，并将该信息传输至用户的移动端或者预设的展示设备上。当云端接收到某一顾客需要试衣的请求时，云端调出该顾客对应的人体AI模型，并根据该模型选择适合该模型的服装。顾客可以根据需要选择服装的标签进行试衣。在这个过程中顾客图片信息中被替换掉的只是与衣服有关的人体部分。本发法包括以下具体步骤：一种用于虚拟试衣的成像方法，包括以下步骤：步骤一：利用标注信息建立人体AI模型；其中标注信息为根据量衣规则需要标注的人体各区域与关键点；输入各种人体身材的人体标注信息的数据进行基于Mask-RCNN训练，获得对应身材本文档来自技高网...

【技术保护点】
1.一种用于虚拟试衣的成像方法，包括以下步骤：步骤一：利用标注信息建立人体AI模型；其中标注信息为根据量衣规则需要标注的人体各区域与关键点；输入各种人体身材的人体标注信息的数据进行基于Mask‑RCNN训练，获得对应身材的人体AI模型；步骤二：获取服装数据图片并将其存储入服装数据库；通过图片采集装置获取同一件衣服的各方位图像，并将各方位图像进行预处理，并识别该服装中的标注信息的数据；将预处理后的服装数据图片与手动输入的服装的信息存储入服装数据库；步骤三：获取顾客人体数据图片；用户摆出预设的常用试衣姿态，从而获得人体各方位图像；将获得的图像进行预处理获得顾客人体数据图片；步骤四：数据分析和人衣匹配；将步骤三中获取的顾客人体数据图片带入步骤一中的人体AI模型进行训练；从而AI模型输出的人体区域位置和关键点即标注信息，并计算出该顾客人体各区域的尺寸；根据计算出的顾客人体各区域的尺寸信息检索合适尺寸的服装，并通过Texture mapping将服装关键点和人体关键点进行拟合；如果人体尺寸超出服装的区域预设的范围，有弹性的服装在对应的关键点位置进行变形匹配；将服装与人体拟合成功的结果通过图像引擎进行展示，其中展示的效果图片还包括除人体的脸、头、手臂以及未被衣服覆盖的其他部位。...

【技术特征摘要】
1.一种用于虚拟试衣的成像方法，包括以下步骤：步骤一：利用标注信息建立人体AI模型；其中标注信息为根据量衣规则需要标注的人体各区域与关键点；输入各种人体身材的人体标注信息的数据进行基于Mask-RCNN训练，获得对应身材的人体AI模型；步骤二：获取服装数据图片并将其存储入服装数据库；通过图片采集装置获取同一件衣服的各方位图像，并将各方位图像进行预处理，并识别该服装中的标注信息的数据；将预处理后的服装数据图片与手动输入的服装的信息存储入服装数据库；步骤三：获取顾客人体数据图片；用户摆出预设的常用试衣姿态，从而获得人体各方位图像；将获得的图像进行预处理获得顾客人体数据图片；步骤四：数据分析和人衣匹配；将步骤三中获取的顾客人体数据图片带入步骤一中的人体AI模型进行训练；从而AI模型输出的人体区域位置和关键点即标注信息，并计算出该顾客人体各区域的尺寸；根据计算出的顾客人体各区域的尺寸信息检索合适尺寸的服装，并通过Texturemapping将服装关键点和人体关键点进行拟合；如果人体尺寸超出服装的区域预设的范围，有弹性的服装在对应的关键点位置进行变形匹配；将服装与人体拟合成功的结果通过图像引擎进行展示，其中展示的效果图片还包括除人体的脸、头、手臂以及未被衣服覆盖的其他部位。2.根据权利要求1所述的一种用于虚拟试衣的成像方法，其特征在于：还包括步骤五：根据用户对展示效果的反馈；如果人体区域位置和关键点的大小估算不准确，将该顾客的图片数据输入人体AI模型，即使用该数据进一步训练模型，增加训练集。3.根据权利要求1所述的一种用于虚拟试衣的成像方法，其特征在于：所述标注信息为根据量衣规则的需要标注图像中人体各区域，包括颈部、肩部、胸部、腹部、臀部、胯部、裆部、四肢区域，以及各区域...

【专利技术属性】
技术研发人员：成瑜，
申请(专利权)人：南京衣谷互联网科技有限公司，
类型：发明
国别省市：江苏,32