图像处理方法、个性化人体显示方法及其图像处理系统技术方案

提供一种图像处理方法、个性化人体显示方法及其图像处理系统。一种用于产生个性化人体模型的图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。

【技术实现步骤摘要】
【专利摘要】提供一种图像处理方法、个性化人体显示方法及其图像处理系统。一种用于产生个性化人体模型的图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。【专利说明】图像处理方法、个性化人体显示方法及其图像处理系统
本申请涉及一种3D人体模型个性化技术，尤其涉及一种从包括人体对象的3D场 景的深度图构建所述人体对象的人性化模型的图像处理方法、一种个性化人体显示方法以 及使用所述方法的系统。
技术介绍
人体模型的个性化（personal human model)是一种新的人机交互技术，这种技术 可以使得用户在增强现实（AR)中获得更加逼真的用户体验。在增强现实的场景中，系统构 建一个虚拟的物理世界让使用者置身其中，而使用者可以突破自己所处的空间和时间限制 获得系统提供的任意体验，让使用者感受到身临其境的感觉。随着增强现实应用的不断推 广，许多应用模式都需要获得用户精确的体型数据，用于实现场景中更加精细的交互体验。 而人体模型的个性化使得使用者在虚拟场景中获得更加逼真的感觉，让虚拟场景中的用户 与现实中的用户具有一样的体型、动作甚至表情，每个虚拟场景中的行为动作都能实现与 现实中的动作近乎一致的交互结果，更好地推广增强现实的应用范围。 人体模型的个性化在增强现实中是非常具有推广需求的，如球类的运动、格斗类 游戏等，都需要获取用户的体格数据来形成对应的交互信息。而在虚拟试衣的应用模式中， 人体模型的个性化显得尤为必须。虚拟试衣是使用了增强现实来实现的一种新的服饰消费 者的购买体验方式，它既可以保留线上购买的方便快捷特点，又能实现线下购买亲身试穿 的完美商品体验。它通过一个利用增强现实实现的虚拟试衣场景来把3D的服饰加载到用 户身上，并通过体感操作形式来实现交互。而用户个性化体型数据能使得虚拟的服饰更加 合身，以获得更好的视觉效果和穿着体验。 在增强现实中，个性化的人体模型可以使得用户获得更加精细准确的交互体验， 使得在虚拟场景中的模型与用户自身具有相同的体型体格等三维数据，如身高、臂长、胸围 等。如何在现实场景中估计出这些数据并在虚拟场景中换算成相应合理的模型数据是个性 化人体模型的主要问题。 在用户体型数据获取中，专利W02012123346通过要求用户摆出特定的姿势，从而 拍出相应的人体二维轮廓图，在轮廓图中定义不同部位的估计数据，利用这些数据来表示 人体的不同体型。专利US20110298897则通过一个立体的摄像头阵列来扫描出一个三维度 量数据，从而完整获取人体的整个体型。 而在虚拟场景的模型构建中，专利W02012123346和US20110298897都是通过预存 多个具有标准体型的人体模型来实现相应用户的模型个性化。将获取的用户体型数据与预 存储的所有人体模型的体型数据进行比较，提取出最近似的模型作为用户模型，实现个性 化定制。专利US20030101105则避开了用户体型获取的过程，在其描述的试衣系统中，当用 户选取了相应的服饰时，系统将选取一个最适合此服饰的体型来用作用户模型，从而实现 不同服饰的人体模型个性化。 首先将现实场景中用户的体型数据化，然后将虚拟场景中的人体模型参数化，并 建立两组数据的一种一一对应关系，这是实现一个完整的人体模型个性化过程的主要方 法。 在人体模型的个性化过程中，上述的多种方法都具有相应的局限性。专利 W02012123346通过人体的二维轮廓图来获取体型数据，这要求用户能摆出特定的姿势， 这附加的要求对交互体验的复杂性有所增加，而专利US20110298897采用立体摄像头阵 列来获取数据是一种非常繁琐复杂的方法。在虚拟模型构建中，专利W02012123346和 US20110298897都使用预存的特定模型，这种方法并没有实现完全的用户个性化，因为系统 存储的模型是有限的。 专利US20030101105则是针对特定的虚拟试衣系统的应用而实现的个性化模型， 该个性化过程并没有依据人的体型来实现，方法并不具备通用性。
技术实现思路
本专利技术的目的在于提供一种产生3D个性化人体模型的图像处理方法以及系统， 通过从包含人体对象的深度图提取人体对象的各个身体部位,并且对所述各个身体部位进 行个性化缩放来产生3D个性化人体模型。 本专利技术的目的在于提供一种增强现实中的个性化人体显示方法以及系统，通过从 包含人体对象的深度图提取人体对象的各个身体部位，并且对所述各个身体部位进行个性 化缩放来产生3D个性化人体模型，将增强现实的虚拟场景和虚拟物体与所述个性化人体 模型进行结合并展现，从而在增强现实场景中逼真地显示人体对象。 根据本专利技术的一方面，提供一种用于产生个性化人体模型的图像处理方法，所述 图像处理方法包括：A)获取包含人体对象的3D场景的深度图；B)从获取的深度图提取人 体对象的人体轮廓以及包括各个身体部位点的骨架模型；C)针对每个身体部位，根据获取 的深度图执行以下个性化处理：C-1)通过从深度图中所述身体部位的各个点的位置信息 (X，y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半 径和长度；C-2)将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何 体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相 应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第 一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的 半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间； C-3)通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放 缩比例；D)根据在步骤C)计算的各个身体部位的第一圆柱体的半径和长度以及其在各个 维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性 化人体模型。 优选地，在步骤C-1)中，还计算表示所述第一圆柱体与标准圆柱体偏差的约束参 数，其中，值为〇的约束参数表示符合标准圆柱体。 优选地，在步骤c-3)中，通过分别将第一截断几何体和第二截断几何体投影到某 个共同度量单位的空间中的投影平面生成第一截断面和第二截断面，分别估计第一截断面 和第二截断面在所述平面上的长度，并且根据分别估计的长度的值来计算所述身体部位在 所述投影平面各维度上的放缩比例。 优选地，步骤D)还包括：对产生的个性化人体模型中出现不连续效果的两个相邻 身体部位，通过对每个所述身体部位的放缩比例分别加权来计算所述相邻身体部位的统一 放缩比例，并且按照所述统一放缩比例来对所述两个相邻身体部位进行放缩。 根据本专利技术的另一方面，提供一种用于产生个性化人体模型的图像处理系统，包 括：深度传感器，用本文档来自技高网...

【技术保护点】
一种用于产生个性化人体模型的图像处理方法，所述图像处理方法包括：A）获取包含人体对象的3D场景的深度图；B）从获取的深度图提取人体对象的人体轮廓以及包括各个身体部位点的骨架模型；C）针对每个身体部位，根据获取的深度图执行以下个性化处理：C‑1）通过从深度图中所述身体部位的各个点的位置信息(x,y)和深度信息d拟合出所述身体部位的第一圆柱体的曲面来计算所述第一圆柱体的半径和长度；C‑2）将第一特征球体置于所述身体部位的第一圆柱体中以产生第一截断几何体，并且将第二特征球体置于相应性别的3D标准人体模型中相应部位的第二圆柱体的相应位置以产生第二截断几何体，其中，通过第一圆柱体的长度乘以预定的比例系数求得第一特征球体的半径，通过第二圆柱体的长度乘以所述预定的比例系数求得第二特征球体的半径，选取的比例系数使每个特征球体的半径在其放置的圆柱体的截面半径和长度之间；C‑3）通过比较第一截断几何体和第二截断几何体来计算所述身体部位在各个维度上的放缩比例；D）根据在步骤C）计算的各个身体部位的第一圆柱体的半径和长度以及其在各个维度上的放缩比例对所述3D标准人体模型执行个性化定制，以产生所述人体对象的个性化人体模型。...

【技术特征摘要】

【专利技术属性】
技术研发人员：毛文涛，郭荣伟，文永秀，赵程昱，金智渊，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11