一种基于时序变化光场的轻量级动态人脸采集装置制造方法及图纸

一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；相机阵列与光场围绕正面人脸分布，俯视呈现的形状近似半圆，在垂直方向为多层分布。相机阵列、LED光源与控制模块连接，可以同步控制相机拍摄与光源开关，在人脸动态采集过程中，形成时序变化的光场。本发明专利技术还提供一种基于时序变化光场的轻量级动态人脸采集装置的采集方法。本发明专利技术通过多层LED光场阵列，设计了一套对皮肤漫反射分量均匀，对高光分量有差异的光照模式，实现对动态场景友好的时序变化光场，确保几何和人脸物理材质动态提取的效果。本装置以相对低的硬件成本做到高质量人脸几何和材质的重建。的重建。的重建。

【技术实现步骤摘要】
一种基于时序变化光场的轻量级动态人脸采集装置


[0001]本专利技术涉及室内摄影装置领域，尤其涉及一种基于时序变化光场的轻量级动态人脸采集装置及方法。

技术介绍

[0002]在AR(增强显示)、VR(虚拟现实)、元宇宙、虚拟拍摄等领域都对人体的三维重建有大量需求，人脸尤其是重点。目前常用的方法是使用多视角相机拍摄，利用相机阵列来实现人脸的三维信息采集。除了三维信息之外，人脸的皮肤外观信息也是采集的对象。人脸的皮肤外观按照反射属性的不同分为漫反射和高光两种，漫反射代表人脸的肤色，属于低频信号；高光则体现人脸毛孔级别的细节，属于高频信号。如果只需要获取皮肤的漫反射数据，采集装置一般使用光源均匀、明亮的拍摄环境。如果要采集高频的高光数据，采集装置需要用时序变化的光源对人脸进行拍摄，这类装置的代表是以球面梯度偏振光为代表的Light Stage系列。Light Stage需要搭建一个球形采集装置，其上分布数百个光源，拍摄人脸在4种不同模式的光照下的影响，再以光度立体技术提取人脸物理反射材质。然而扩展到动态领域，Light Stage装置因不同光照模式之间差异较大，不利于动态场景的时序关联。
[0003]因此，本领域的技术人员致力于开发一种轻量级的人脸采集，要求以尽量少的光照模式以适应动态场景，同时光照效果尽量均匀照亮人脸。降低硬件成本、搭建和维护难度。

技术实现思路

[0004]为克服上述问题，本专利技术提供一种基于时序变化光场的轻量级动态人脸采集装置，配有与相机同步的可变光场，设计对应的光照模式，做到：a.为了不影响动态的时序关联，光照要求尽量均匀；b.为了适配动态场景人脸的几何在不断变化的情况，还原材质所需的光照模式要尽量少。
[0005]本专利技术的第一个方面提供一种基于时序变化光场的轻量级动态人脸采集装置，包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；
[0006]所述相机阵列围绕正面人脸设置，相机阵列包括多行多列呈阵列排布的多个记录人脸不同角度的相机；相机阵列上的每行相机俯视呈呈半圆形阵列式分布，以确保相机覆盖人脸左右耳之间的范围；相机阵列上的多行相机沿垂直方向间隔分布，以完整覆盖人脸脖子、下巴到额头的范围；
[0007]所述时序可控的光场阵列围绕人脸设置，光场阵列包括沿垂直方向间隔设置的三层LED面光源，从上至下依次称为上层LED面光源、中间层LED面光源和下层LED面光源；所述中间层LED面光源高度近似拍摄人脸的中心高度，上层LED面光源和下层LED面光源分别对准人脸的两个侧面和正面，上层LED面光源和下层LED面光源的高度与中间层LED面光源保持一定距离差；
[0008]所述相机阵列和光场阵列分别与控制模块电连接连接，控制模块同步控制相机阵
列和光场阵列，使得光场阵列的面光源支持至少与相机阵列的视频拍摄帧率达到一致的频率。
[0009]进一步，所述相机阵列包括四行沿垂直方向间隔分布的相机。
[0010]进一步，所述光场阵列与人脸的距离以及水平分布范围与相机阵列相同。
[0011]进一步，所述光场阵列包括光照模式一、光照模式二和光照模式三，光照模式一、光照模式二和光照模式三所提供的照明存在差异。
[0012]进一步，所述光照模式一、光照模式二和光照模式三在相机阵列拍摄时交替出现，以改变人脸高光的分布作为提取皮肤高光物理渲染材质的数据基础。
[0013]进一步，还包括用于支撑相机的支架、以及将相机固定在支架上的固定装置。
[0014]进一步，所述相机阵列中的相机数目、相对人脸位姿可调整。
[0015]进一步，所述光源阵列中的光源数目、相对位姿可调整。
[0016]本专利技术的第二个方面提供一种基于时序变化光场的轻量级动态人脸采集装置的人脸采集方法，包括以下步骤：
[0017]步骤一：调整人物姿态，确保头部在相机阵列中完全不出框；
[0018]步骤二：点击拍摄，相机阵列和光场同步开启；LED面光源以相同的频率开启或关闭或变换强度，该时序变化的光场持续直到拍摄结束。
[0019]进一步，所述步骤二中，时序变化的光场，通过LED面光源以相同的频率开启或关闭或变换强度，组成三种光照模式，具体包括：
[0020](1)光照模式一：所有LED面光源都开启，实现人脸的均匀光照。
[0021](2)光照模式二：中间层LED面光源开启，上层LED面光源和下层LED面光源在水平方向上交替开启或关闭，整体亮度与光照模式一一致。
[0022](3)光照模式三：中间层LED光源开启，上层LED面光源和下层LED面光源状态与光照模式二相反，整体亮度与光照模式一一致。
[0023]所述三种光照模式在拍摄过程中轮流交替出现，频率至少与相机视频拍摄帧率一致。
[0024]本专利技术的有益效果是：所需相机数量和光源数量较其他解决方案要少，是一种轻量级的解决方案；设计的光照模式可以做到不影响时序上的均匀光照，而仅仅对代表细节、高频信号的高光分量产生影响，做到以往需要大型昂贵的Light Stage设备才能完成的效果；同时仅需三个光照模式就能实现高光分类的提取，时间间隔少，适合人脸动态场景。
附图说明
[0025]图1是本专利技术实施方式之一的俯视图，共16个相机，15个光源。
[0026]图2是图1所示实施方式之一的正视图。
[0027]图3是图1的所示的相机排列拍摄的人头模型示意图。
[0028]图4是本专利技术实施方法之二的俯视图，共15个相机，8个光源。
[0029]图5是图4所示实施方式之二的正视图。
[0030]图6是图4所示的相机排列拍摄的人头模型示意图。
[0031]图7是本专利技术光场阵列的光照模式一，框中的灯为点亮状态
[0032]图8是本专利技术光场阵列的光照模式二的实施方式之一，框中的灯为点亮状态。
[0033]图9是是本专利技术光场阵列的光照模式三的实施方式之一，框中的灯为点亮状态。
[0034]图10是本专利技术光场阵列的光照模式一、二、三的实施方式之二，三个方框组成的三组光源组间独立，组内依次开合。
[0035]附图标记说明：1、相机；2、光源。
具体实施方式
[0036]下面将结合附图对本专利技术专利的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]在本专利技术的描述中，需要说明的是，如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，如出现术语“第一”、“第二”、“第三”仅用于描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；所述相机阵列围绕正面人脸设置，相机阵列包括多行多列呈阵列排布的多个记录人脸不同角度的相机；相机阵列上的每行相机俯视呈呈半圆形阵列式分布，以确保相机覆盖人脸左右耳之间的范围；相机阵列上的多行相机沿垂直方向间隔分布，以完整覆盖人脸脖子、下巴到额头的范围；所述时序可控的光场阵列围绕人脸设置，光场阵列包括沿垂直方向间隔设置的三层LED面光源，从上至下依次称为上层LED面光源、中间层LED面光源和下层LED面光源；所述中间层LED面光源高度近似拍摄人脸的中心高度，上层LED面光源和下层LED面光源分别对准人脸的两个侧面和正面，上层LED面光源和下层LED面光源的高度与中间层LED面光源保持一定距离差；所述相机阵列和光场阵列分别与控制模块电连接连接，控制模块同步控制相机阵列和光场阵列，使得光场阵列的面光源支持至少与相机阵列的视频拍摄帧率达到一致的频率。2.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述相机阵列包括四行沿垂直方向间隔分布的相机。3.如权利要求2所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光场阵列与人脸的距离以及水平分布范围与相机阵列相同。4.如权利要求1所述的一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：所述光场阵列包括光照模式一、光照模式二和光照模式三，光照模式一、光照模式二和光照模式三所提供的照明存在差异。5.如权利要求4所述的一种基于时序变化光场的轻量级动态人脸采集...

【专利技术属性】
技术研发人员：王习之，黄治，李萌坚，耿卫东，
申请(专利权)人：之江实验室，
类型：发明
国别省市：