虚拟物拟合方法及虚拟物拟合服务系统技术方案

本发明专利技术提供一种虚拟物拟合方法和虚拟物拟合服务系统。该虚拟物拟合方法，包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中。

【技术实现步骤摘要】
虚拟物拟合方法及虚拟物拟合服务系统本申请是申请日为2013年12月13日、申请号为201310686790.9、专利技术名称为“利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统”的专利技术专利申请的分案申请。
本专利技术涉及一种虚拟物拟合方法及虚拟物拟合服务系统，特别是，涉及一种方法及系统，利用反映用户的外观特征和骨骼结构的3D人体模型，使用户不直接试戴所需物，也可通过虚拟物拟合来判断整体面貌(look)。
技术介绍
最近，随着深度传感器的出现，用户的图形信息和关节的动作信息可通过低廉的费用较容易地获得。因此，通过应用深度传感器，多种服务中所使用的用户界面中发生了改变。特别是，随着用户界面的改变，新的用户参与型服务登场。该参与型服务中的一个便是用户不直接试穿衣服或饰品等物品，且可虚拟佩戴的虚拟物拟合服务。现有的虚拟物拟合服务为单纯地接收深度传感器中所提供的用户的动作，控制被操纵(rigging)或换肤(skinning)的数码形象，并提供将操纵的物品动漫的服务。该服务与用户的体形无关，因此，向用户提供的服务具有缺乏真实感的问题。此外，现有技术中，开发了通过3D全身扫描机来扫描用户的外观，从而制作适合于用户体形的匹配型物品的服务。但是，该服务中所使用的3D全身扫描机价格较高，在扫描过程中，用户的动作被限制，具有不能较好地反映实时变动的用户动作的问题。因此，就算用户虚拟地试穿衣服或饰品等，也需要一种可实时地进行处理的解决方案，并需要一种可反映用户的动作来提供更具真实感的直观服务。
技术实现思路
技术课题本专利技术提供一种方法和系统，用户不是实际佩戴所需物品而是通过虚拟地拟合，从而容易地掌握该物品是否适合于用户。本专利技术提供一种方法和系统，将虚拟物拟合至反映用户外观身体特征的用户数码形象，从而用户不直接佩戴物品也确认整体面貌，并可容易地判断虚拟物是否适合于自己。本专利技术提供一种方法和系统，将用户的动作反映至虚拟物被拟合的用户数码形象中，可提供实际用户佩戴该虚拟物的活动的真实感效果。本专利技术提供一种方法和系统，将具虚拟物的购买信息和数字信息的识别标记叠加至用户数码形象的捕获画面中，使用户可容易地购买该虚拟物，且便于更有效地来修改该虚拟物。技术方案根据本专利技术的一个实施例的虚拟物拟合方法，包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中，且所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定向于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。根据本专利技术的一个实施例的虚拟物拟合方法，包括以下步骤：基于用户输入的设定信息来加载3D标准数码形象；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户；以及将实时变化的用户的动作应用至所述虚拟物被拟合的用户数码形象中，所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定向于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。根据本专利技术的一个实施例的虚拟物拟合方法，包括以下步骤：从用户接收对于虚拟物的选择；根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象；感应所述用户的实时动作从而应用至用户数码形象中；将根据所述用户的实时动作变化的照明效果应用至用户数码形象中；将所述动作和照明效果被应用的用户数码形象反馈给用户；以及将实时变化的用户的动作应用至应用所述照明效果的用户数码形象中，所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定位于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。根据本专利技术的一个实施例的虚拟物拟合方法，包括以下步骤：向位于虚拟物拟合服务的体验区域的用户提供用于选择虚拟物的界面；显示所述用户选择的虚拟物被拟合的用户数码形象；当所述用户选择显示的用户数码形象时，生成与虚拟物的购买信息或数字信息相关的识别标记；以及将所述生成的识别标记叠加至用户数码形象的捕获画面中来进行提供，所述显示的用户数码形象，通过对输入于深度传感器的动作信息进行动作重定向，应用实时变化的用户动作，所述显示的用户数码形象，通过将所计算的用户的肩膀的上下差分逆反映于重定向结果，控制关节的动作信息抵消差分误差。根据本专利技术的一个实施例的虚拟物拟合服务系统，包括：显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；虚拟物拟合装置，根据所述用户的动作和身体尺寸，将3D标准数码形象转换成用户数码形象，并将虚拟物拟合至所述用户数码形象中，且，所述虚拟物的拟合装置，通过将输入于深度传感器的动作信息动作重定向于所述用户数码形象，将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中，将所计算的用户的肩膀的上下差分逆反映于重定向结果，控制关节的动作信息抵消差分误差，其中，所述虚拟物拟合装置，将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。根据本专利技术的一个实施例的虚拟物拟合服务系统，包括：显示器，用来显示用户的体验图像，向用户提供虚拟物的拟合服务；彩色图像拍摄装置，用来实时地捕获所述用户，收集用户的彩色图像；深度图像拍摄装置，用来检测所述用户的动作和身体尺寸；虚拟物拟合装置，根据所述用户输入的设定信息，加载3D标准数码形象，并利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象，并将所述用户选择的虚拟物拟合至用户数码形象中，通过将被输入于所述深度图像拍摄装置的动作信息动作重定向于所述用户数码形象，将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中，通过将所计算的用户的肩膀的上下差分逆反映于重定向结果，控制关节的动作信息抵消差分误差，其中，所述虚拟物拟合装置，将所述虚拟物被拟合的用户数码形象与彩色图像合成，来反馈给所述显示器。根据本专利技术的一个实施例的利用显示器、彩色图像拍摄装置、和深度图像拍摄装置的虚拟物拟合服务系统，所述虚拟物拟合服务系统包括：虚拟物拟合装置，从用户接收对于虚拟物的选择，并根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象，所述虚拟物拟合装置，通过将输入于所述深度图像拍摄装置的动作信息动作重定向于所述用户数码形象，将虚拟物拟合至所述用户数码形象中，通过将所计算的用户的肩膀的上下差分逆反映于重定向结果本文档来自技高网...

【技术保护点】
1.一种虚拟物拟合方法，包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中，且所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定向于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。

【技术特征摘要】
2012.12.14 KR 10-2012-0146536;2013.10.22 KR 10-2011.一种虚拟物拟合方法，包括以下步骤：判断用户是否位于体验区域；当所述用户位于体验区域时，加载对应于用户所输入的设定信息的3D标准数码形象；获取具有预先设定的姿势的用户的深度图像；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；以及将实时变化的用户的动作应用至虚拟物被拟合的用户数码形象中，且所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定向于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。2.如权利要求1所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，包括以下步骤：从所述用户的深度图像将3D图形块复原；利用所述3D图形块，来改变3D标准数码形象的关节长度信息；以及利用所述3D图形块，来改变3D标准数码形象的体积信息。3.如权利要求2所述的虚拟物拟合方法，其中，将所述3D图形块复原的步骤，包括以下步骤：利用所述深度图像的当前像素和相邻像素的深度信息，表示成3D网格；以及根据所述深度信息和几何信息来决定构成网格的顶点的3D位置。4.如权利要求2所述的虚拟物拟合方法，其中，改变所述3D标准数码形象的关节长度信息的步骤，包括以下步骤：利用所述3D图形块来推定用户的关节结构；以及从所述推定的关节结构提取用户的关节长度信息，应用至3D标准数码形象的关节长度信息中。5.如权利要求2所述的虚拟物拟合方法，其中，改变所述3D标准数码形象的体积信息的步骤，包括以下步骤：从经所述3D图形块推定出的用户的关节结构，生成相对于关节行进方向的垂直剖面；以及利用复原的所述3D图形块和剖面之间的交叉点，来调整3D标准数码形象的体积信息。6.如权利要求1所述的虚拟物拟合方法，其中，将所述用户选择的虚拟物拟合至用户数码形象的步骤，包括以下步骤：决定所述3D标准数码形象和用户数码形象各自网格之间的移动变位；以及将所述决定的移动变位应用至虚拟物的顶点。7.如权利要求1所述的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，是基于构成所述用户数码形象的关节结构的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。8.如权利要求1所述的虚拟物拟合方法，其中，所述应用至虚拟物被拟合的用户数码形象中的步骤，是根据所述用户数码形象的动作，将照明效果渲染至虚拟物。9.如权利要求1所述的虚拟物拟合方法，进一步包括以下步骤：将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户。10.一种虚拟物拟合方法，包括以下步骤：基于用户输入的设定信息来加载3D标准数码形象；利用所述用户的深度图像，将3D标准数码形象改变成反映用户的外观身体特征的用户数码形象；将所述用户选择的虚拟物拟合至用户数码形象；将用户的彩色图像合成至所述虚拟物被拟合的用户数码形象，来反馈给用户；以及将实时变化的用户的动作应用至所述虚拟物被拟合的用户数码形象中，所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定向于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。11.如权利要求10所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成反映用户的外观身体特征的用户数码形象的步骤，是基于所述用户的外观身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。12.一种虚拟物拟合方法，包括以下步骤：从用户接收对于虚拟物的选择；根据所述用户的身体特征，将所述选择的虚拟物被拟合的3D标准数码形象改变成用户数码形象；感应所述用户的实时动作从而应用至用户数码形象中；将根据所述用户的实时动作变化的照明效果应用至用户数码形象中；将所述动作和照明效果被应用的用户数码形象反馈给用户；以及将实时变化的用户的动作应用至应用所述照明效果的用户数码形象中，所述应用的步骤，包括以下步骤：将输入于深度传感器的动作信息动作重定位于所述用户数码影像中；计算用户的肩膀的上下差分；将所计算的肩膀的上下差分逆反映于所述重定向结果；以及以逆反映结果为基础，控制关节的动作信息抵消差分误差。13.如权利要求12所述的虚拟物拟合方法，其中，将所述3D标准数码形象改变成用户数码形象的步骤，是基于所述用户的身体特征，来改变所述3D标准数码形象的关节长度信息和体积信息。14.如权利要求12所述的虚拟物拟合方法，其中，感应所述用户的实时动作从而应用至用户数码形象中的步骤，是基于构成所述用户数码形象的关节结构的关节的三自由度旋转和三自由度移动，来将用户数码形象的动作重定向。15.如权利要求12所述的...

【专利技术属性】
技术研发人员：金浩原，李承旭，金杞南，崔珍晟，具本琪，曹圭星，金兑俊，孙圣烈，金度亨，
申请(专利权)人：韩国电子通信研究院，
类型：发明
国别省市：韩国,KR