交互式人脸三维建模方法及装置制造方法及图纸

本申请公开了一种交互式人脸三维建模方法及装置。该方法包括使用深度摄像头捕获人脸深度图，并实时计算用户头部转动姿态；发出交互指令引导用户调整头部转动角度并生成局部三维模型；以及实时渲染累积建立的所述局部三维模型。本申请解决了便携性较差的技术问题。基于与用户的交互在智能手机上能实时反馈出当前建模的结果，包括对用户头部偏转角度的跟踪和累积的三维模型的叠加渲染效果，都有助于引导用户完成扫描过程。本申请的装置具有可移动性强、成本低、快速实时的优点。

【技术实现步骤摘要】
交互式人脸三维建模方法及装置
本申请涉及三维建模
，具体而言，涉及一种交互式人脸三维建模方法及装置。
技术介绍
三维建模是物体的多边形表示，通常用计算机或者其它视频设备进行显示。申请人发现，现有的传统三维建模技术中，大部分都是需要用到大型激光扫描设备，便携性和成本都较高，不适用于普通消费者。针对相关技术中便携性较差的问题，目前尚未提出有效的解决方案。申请内容本申请的主要目的在于提供一种用于交互式人脸三维建模方法及装置，以解决便携性较差的问题。为了实现上述目的，根据本申请的一个方面，提供了一种用于交互的图像处理方法。根据本申请的用于交互式人脸三维建模方法包括使用深度摄像头捕获人脸深度图，并实时计算用户头部转动姿态；发出交互指令引导用户调整头部转动角度并生成局部三维模型；以及实时渲染累积建立的所述局部三维模型。进一步地，实时计算用户头部转动角度之前还包括如下的任一一种多种预操作：判断彩色图像中是否存在人脸；判断人脸框是否落在取景框内部；判断用户脸部到深度摄像头之间的距离是否满足条件；判断用户头部是否端正。进一步地，向用户发出交互指令引导用户调整头部转动角度并生成局部三维模型包括：在用户头部转动角度达到预设预设角度时，播放语音提示用户向左转头部、向右转头部或者转回到正脸；在用户头部转动过程中，不断地捕获不同角度的深度图，根据实时计算得到的用户头部姿态，将深度图融合到当前已累积建立好的局部三维模型中。进一步地，实时渲染累积建立的所述局部三维模型还包括：实时地渲染当前累积建立好的局部三维模型数据；获取所述局部三维模型数据的平面渲染图像；将所述平面渲染图像叠加绘制到当前深度摄像头捕获到彩色图像上。为了实现上述目的，根据本申请的另一方面，提供了一种用于交互的图像处理装置。根据本申请的用于交互的图像处理装置包括：跟踪模块，用于实时计算用户头部转动角度；交互模块，向用户发出交互指令引导用户调整头部转动姿态并生成局部三维模型；以及渲染模块，用于实时渲染累积建立的所述局部三维模型。进一步地，所述跟踪模块包括：配准单元，将深度摄像头捕获到的最新深度图与当前累积建立好的局部三维模型配准，计算出用户当前头部姿态，从姿态中提取用户当前头部角度。进一步地，所述交互模块包括：交互提示单元，用于在用户头部转动姿态达到预设角度时，播放语音提示用户向左转头部、向右转头部或者转回到正脸，在用户头部转动过程中不断捕获不同角度的深度图，根据跟踪模块实时计算得到头部姿态，将深度图融合到当前累积建立好的局部三维模型中。进一步地，所述渲染模块包括：实时渲染单元，用于实时地渲染当前累积建立好的局部三维模型数据；获取单元，用于得到所述局部三维模型数据的平面渲染图像；叠加单元，用于将所述平面渲染图像叠加绘制到当前深度摄像头捕获到彩色图像上。根据本申请的另一方面，提供了一种用于交互的图像处理装置，包括：深度摄像头和智能终端，通过在所述智能终端预先安装图像处理应用程序，所述深度摄像头前置安装于所述智能终端，所述装置用于在用户面向所述深度摄像头向左右转头时通过所述图像处理应用程序调深度摄像头用当前图像帧中的深度图和彩色图像；所述装置还用于实时跟踪用户转头动作的姿态、实时渲染累积建立的局部三维模型，所述图像处理应用程序在预设角度提示用户向左右转头或转回到正脸。在本申请实施例中，采用深度摄像头实时跟踪用户头部转动姿态的方式，通过交互指令调整所述用户头部转动姿态并生成局部三维模型，达到了实时渲染累积建立的所述局部三维模型的目的，从而实现了通过人机交互快速、实时扫描人脸图像三维建模的技术效果，进而解决了便携性较差的技术问题。附图说明构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的交互式人脸三维建模方法示意图；图2是根据本申请实施例的交互式人脸三维建模装置示意图；图3是根据本申请一优选实施例的交互式人脸三维建模装置示意图；图4是根据本申请实施例的外置深度摄像头+独立计算设备+独立显示设备的结构之一示意图；图5是根据本申请实施例的智能手机+外置深度摄像头的结构之一示意图；图6是根据本申请实施例的内部集成深度摄像头的智能手机的结构之一示意图；图7是根据本申请实施例的使用外置深度摄像头安装在智能手机上示意图；图8是根据本申请实施例的前置摄像头中集成了深度传感器的智能手机示意图；图9(a)是根据本申请实施例的扫描时主界面示意图；图9(b)是根据本申请实施例的扫描前用户头部姿态不满足要求，开始按钮会被禁用示意图；图10是根据本申请实施例的手持手机自拍示意图；图11是根据本申请实施例的手机固定，配合转椅等类似旋转平台进行建模示意图；图12是根据本申请实施例的实时反馈示意图；图13是根据本申请实施例的扫描前预览时的流程示意图；图14是根据本申请实施例的扫描时的处理流程示意图。具体实施方式为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本申请中的ToF，飞行时间(英文全称：TimeofFlight)是一种用于测量景深数据的传感本文档来自技高网...

【技术保护点】
1.一种交互式人脸三维建模方法，其特征在于，包括：使用深度摄像头捕获人脸深度图，并实时计算用户头部转动姿态；发出交互指令引导用户调整头部转动角度并生成局部三维模型；以及实时渲染累积建立的所述局部三维模型。

【技术特征摘要】
1.一种交互式人脸三维建模方法，其特征在于，包括：使用深度摄像头捕获人脸深度图，并实时计算用户头部转动姿态；发出交互指令引导用户调整头部转动角度并生成局部三维模型；以及实时渲染累积建立的所述局部三维模型。2.根据权利要求1所述的交互式人脸三维建模方法，其特征在于，根据深度摄像头采集的人脸深度图实时计算用户头部转动角度之前还包括如下的任一一种多种预操作：判断彩色图像中是否存在人脸；判断人脸框是否落在取景框内部；判断用户脸部到深度摄像头之间的距离是否满足条件；判断用户头部是否端正。3.根据权利要求1所述的交互式人脸三维建模方法，其特征在于，接收用户根据所述交互指令调整的头部转动角度并生成局部三维模型包括：将实时计算得到的用户头部偏转角度与预设角度比较；如果达到预设角度，则播放语音提示用户向左转头部、向右转头部或者转回到正脸；其中，在用户转动头部过程中：根据实时地捕获不同角度的深度图计算得到的用户头部运动姿态，并根据用户头部运动姿态将深度图融合到累积建立的局部三维模型中。4.根据权利要求1所述的交互式人脸三维建模方法，其特征在于，实时渲染累积建立的所述局部三维模型还包括：实时地渲染当前累积建立好的局部三维模型数据；获取所述局部三维模型数据的平面渲染图像；将所述平面渲染图像叠加绘制到当前深度摄像头捕获到彩色图像上。5.一种交互式人脸三维建模装置，其特征在于，包括：跟踪模块，用于根据深度摄像头实时计算用户头部转动角度；交互模块，用于根据所述用户头部转动角度向用户发出交互指令，向用户发出交互指令引...

【专利技术属性】
技术研发人员：郑从威，
申请(专利权)人：广州智美科技有限公司，
类型：发明
国别省市：广东,44