一种基于多光谱视频的面部光谱反射率复原方法技术

基于多光谱视频的面部光谱反射率复原方法属于医学图像处理领域，针对肤色颜色判断过程中出现的同色异谱现象提出。该方法利用同步控制电路控制光源组合的切换及相机快门的触发，实现在不同光源谱的光照下，面部多光谱信息的采集。基于光谱反射率的有限维理论，面部光谱反射率可采用有限维正交光谱基的线性模型表示。该方法针对面部肤色在颜色空间的分布相对集中的特点，确定最佳光源组合及面部光谱反射率正交基。在确定光源功率谱和正交光谱基的情况下，可根据成像模型，由多光谱视频各点的数值序列计算该点的正交光谱基系数，从而完成面部各点光谱反射率的复原。该方法为中医辨证施治提供更精确的诊断信息，有利于提高中医面诊的客观性。

【技术实现步骤摘要】

本专利技术涉及一种基于多光谱视频的面部光谱反射率复原方法，可以实现对面部的多光谱信息采集及近似光谱反射率复原，进而得到面部光谱反射率视频。
技术介绍
近年来，面诊的客观化研究受到了普遍重视，并取得了一些成果。颜色信息的采集与描述是其中的最关键内容。一些单位采用颜色测量仪器采集面部颜色，如色差计等。但这类仪器通常仅可采集局部色度值或光谱反射率，无法得到面部整体颜色分布情况。而采用数字成像的方式，虽然可以获得人脸面部颜色的整体分布，但仅能用RGB三通道值表示颜色。物体通过反射照明光谱在人眼中产生颜色感觉，因此物体表面的光谱反射率是其颜色的本质(由在可见光谱范围380nm——780nm反射系数组成)。而由RGB空间描述的颜色仅能满足一定环境下与人眼的视觉匹配。相比连续的面部光谱反射率数据，RGB三原色组合所包含的信息量较少，会出现RGB值相同而面部光谱反射率不同的情况，因此在此数据基础上对面部颜色属性进行的分析与判断不够准确和全面。综上所述，在中医面诊的客观化研究领域，获得面部光谱反射率的描述及其整体分布有客观必要性。
技术实现思路
本专利技术针对基于仪器的方法及数字成像的方法的局限性，提出了一种基于多光谱视频的面部光谱反射率复原方法。本专利技术可以实现对面部多光谱信息的采集及近似光谱反射率复原，进而得到面部光谱反射率视频。本专利技术由高速摄像机和图像采集卡完成在变光源下对面部多光谱视频的采集。变光源系统由两个复合光源组成，两个复合光源可通过多色LED组合切换提供不同的光源光谱组合。同步控制电路产生两组信号，控制光源组合的切换和摄像机的同步拍摄。本专利技术采用基于模型的光谱反射率复原技术对面部进行光谱反射率复原。该技术是一种通过确定模型基函数的数目和对应基系数实现物体表面光谱反射率复原的方法。其基本原理是物体表面的光谱反射率可用一个线性模型近似。在确定光源功率谱和光谱基函数的情况下，可根据成像模型，由多光谱视频各点的数值序列计算该点的光谱基系数，从而完成物体表面各点光谱反射率的近似复原。本专利技术针对面部肤色，确定最佳光源组合，确定肤色光谱基函数。在此基础上采用基于模型的光谱反射率复原技术实现对面部进行光谱反射率复原。1.搭建基于多光谱视频的面部光谱反射率复原信息采集装置本装置包括一个矩形箱体，一个颌托，一个升降台，一个脸型遮光罩，一个相机遮光罩，一个变光源系统(2个复合光源，2个底座组成)，一个图像采集系统(由一个高速摄像机、一个图像采集卡组成)，一个同步控制系统，一个光源功率谱采集系统(光谱辐射度计)及一个图像处理系统(计算机)。为避免环境光照的影响，相机遮光罩，脸型遮光罩和矩形箱体共同组成了封闭的采集环境，阻挡了外界光线进入拍摄箱体。矩形箱体上开两个孔，一个是用于安装图像采集装置的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱体两端的中心处。为保证可以拍摄到整个面部，受试面部伸进孔的大小为30CM×25CM。在摄像孔的外面安装有相机遮光罩，受试面部伸进孔的外面安装有脸型遮光罩。在脸型遮光罩的外面有一颌托，用于支撑受试者下颌。两个相同的复合光源通过两个底座固定在摄像孔的两侧。为减少镜面反射影响，两侧复合光源照明的方向与拍摄方向成45°角。两个复合光源由多色LED组成，且排布相同，通过多色LED组合的切换得到不同照明光谱。此外，箱体可以从一侧箱体打开，用于对箱体内部的光源等部件进行检修。人体面部自然状态下与水平面近似垂直，尺寸大约为20×15厘米。根据面部的这一特点，调节摄像机焦距、光圈，达到最清晰的拍摄效果。对于要拍摄的人体面部会有各种原因的移动，为了捕捉到相对静止的面部图像，利用高速摄像机和图像采集卡进行图像采集。高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对相机快门进行触发。图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计算机做处理、存储和传输。图像采集卡配备一个外部信号连接排线，可接入外部信号以触发相机快门，与高速摄像系统配合得到多光谱视频。高速摄像机通过数据传输线与图像采集卡相连。基于单片机的同步控制电路完成光源组合的切换和相机拍摄的同步。在确定的拍摄频率f下(如60FPS)，通过同步控制电路产生两组信号，一组是周期为t＝1/f秒的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光源组合的切换，另一组是和此信号周期相同相位不同的TTL信号，用下降沿触发相机快门。为保证在光源点亮的情况下对面部进行拍摄，对两组信号的时序进行了调整。首先将光源熄灭并将相机触发信号置为高电平，然后点亮需要点亮的光源组合。在光源组合开始点亮之后0.5×t秒，给摄像机一个触发信号，即将相机触发信号置为低电平，摄像机拍摄一帧图像。再过0.25×t秒将光源组合熄灭，并将相机触发信号置为高电平。再过0.25×t秒再次点亮需要点亮的光源组合，进入下一次循环，进行下一帧图像的拍摄。至此完成面部多光谱信息的同步采集。2.最佳光源组合的确定(1)获得高速摄像机每个颜色通道的光谱响应。用高速摄像机拍摄GretagMacbeth标准色板的一帧图片。相机m通道在某个像素点的测量值为Im。根据成像原理，测量值Im满足以下关系：Im＝∫s(λ)cm(λ)p(λ)dλ  (1)其中p(λ)为光源的光源功率谱，cm(λ)为相机各颜色通道光谱响应，s(λ)为物体表面的光谱反射率。标准色板的光谱反射率为s(λ)已知，用光谱辐射度计测得光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出相机各颜色通道的光谱响应cm(λ)。(2)将可见光波段的光谱分为b段，同时设置b种颜色的光源。通过从b种颜色的光源选择组合来提供a个光源组合。由高速相机的拍摄频率f来确定所需要光源组合的数目，其中表示取整符号。拍摄频率f至少为60FPS，则a≥2。因为相机各颜色通道的光谱响应波段不同，只选择一种颜色光源或选择相邻谱段的光源进行组合，会导致其他谱段反射率信息的丢失。因此选择不相邻谱段的组合，构成每个光源组合的光源颜色数目为2。因此对于a个光源组合，则需要b＝2a个谱段光源。再设置一个全光谱光源，全光谱光源不参与谱段的分配，只与a个光源组合中的一个组合，用以增强该组光源功率。由于本系统针对的对象是面部肤色，从GretagMacbeth标准色板的肤色色块的反射率可知，肤色块在380—500nm波段的光谱反本文档来自技高网...

【技术保护点】
一种基于多光谱视频的面部光谱反射率复原方法，其特征在于：1).搭建基于多光谱视频的面部光谱反射率复原信息采集装置本装置包括一个矩形箱体，一个颌托，一个升降台，一个脸型遮光罩，一个相机遮光罩，一个变光源系统，变光源系统包括2个复合光源和2个底座组成，一个图像采集系统，一个图像采集系统由一个高速摄像机和一个图像采集卡组成，一个同步控制系统，一个光源功率谱采集系统及一个图像处理系统；为避免环境光照的影响，相机遮光罩，脸型遮光罩和矩形箱体共同组成了封闭的采集环境，阻挡了外界光线进入拍摄箱体；矩形箱体上开两个孔，一个是用于安装图像采集装置的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱体两端的中心处；在摄像孔的外面安装有相机遮光罩，受试面部伸进孔的外面安装有脸型遮光罩；在脸型遮光罩的外面有一颌托，用于支撑受试者下颌；两个相同的复合光源通过两个底座固定在摄像孔的两侧；为减少镜面反射影响，两侧复合光源照明的方向与拍摄方向成45°角；两个复合光源由多色LED组成，且排布相同，通过多色LED组合的切换得到不同照明光谱；高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对相机快门进行触发；图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计算机做处理、存储和传输；图像采集卡配备一个外部信号连接排线，接入外部信号以触发相机快门，与高速摄像系统配合得到多光谱视频；高速摄像机通过数据传输线与图像采集卡相连；基于单片机的同步控制电路完成光源组合的切换和相机拍摄的同步；在确定的拍摄频率f下，通过同步控制电路产生两组信号，一组是周期为t＝1/f秒的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光源组合的切换，另一组是和此信号周期相同相位不同的TTL信号，用下降沿触发相机快门；为保证在光源点亮的情况下对面部进行拍摄，对两组信号的时序进行了调整；首先将光源熄灭并将相机触发信号置为高电平，然后点亮需要点亮的光源组合；在光源组合开始点亮之后0.5×t秒，给摄像机一个触发信号，即将相机触发信号置为低电平，摄像机拍摄一帧图像；再过0.25×t秒将光源组合熄灭，并将相机触发信号置为高电平；再过0.25×t秒再次点亮需要点亮的光源组合，进入下一次循环，进行下一帧图像的拍摄；至此完成面部多光谱信息的同步采集；2).最佳光源组合的确定(1)获得高速摄像机每个颜色通道的光谱响应；用高速摄像机拍摄GretagMacbeth标准色板的一帧图片；相机m通道在某个像素点的测量值为Im；根据成像原理，测量值Im满足以下关系：Im＝∫s(λ)cm(λ)p(λ)dλ  (1)其中p(λ)为光源的光源功率谱，cm(λ)为相机各颜色通道光谱响应，s(λ)为物体表面的光谱反射率；标准色板的光谱反射率为s(λ)已知，用光谱辐射度计测得光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出相机各颜色通道的光谱响应cm(λ)；(2)将可见光波段的光谱分为b段，同时设置b种颜色的光源；通过从b种颜色的光源选择组合来提供a个光源组合；由高速相机的拍摄频率f来确定所需要光源组合的数目，其中表示取整符号；拍摄频率f至少为60FPS，则a≥2；对于a个光源组合，则需要b＝2a个谱段光源；再设置一个全光谱光源，全光谱光源不参与谱段的分配，只与a个光源组合中的一个组合，用以增强该组光源功率；全光谱光源与光源组合中提供380—500nm波段光源的组合进行组合，至此完成最佳光源组合的确定；3).面部光谱基函数的确定面部的光谱反射率可近似为一个线性模型；这个模型由一组正交光谱基函数组成，这组正交光谱基函数用bk(λ)表示；模型写为：SF(λ)=Σk=1Ksσkbk(λ)---(2)]]>其中sF(λ)表示面部的光谱反射率，而Ks为构成面部光谱反射率基函数的数目，sk为与面部光谱基函数bk(λ)对应的基系数；对面部光谱基函数进行确定的步骤如下：(1)面部肤色样本采集；用光谱辐射度计测量正常面色及赤、白、黄、青、黑五种面色的光谱反射率；正常面色及赤、白、黄、青、黑五种面色的样本数目之和W，W个面色的光谱反射率构成一个样本集；(2)计算面部光谱的基函数序列；这个样本集的协方差矩阵为Σ：Σ=1WΣWi=1(xi-μ)(xi-μ)T=1WXXT]]>X＝[x1‑μ，x2‑μ，…，xi‑μ，…，xW‑μ]xi为第i个样本向量，W为样本数目，其中1≤i≤W；μ为样本集的平均向量，通过对样本集求解平均向量得到；对X进行奇异分解得到正交矩阵U和V，使得：X=UW12VT,]]>U和V分别为XXT和XTX的特征向量矩阵；求解XXT的特征值，构成特征值矩阵R：R＝diag[λ1,λ2,…,λl...

【技术特征摘要】
1.一种基于多光谱视频的面部光谱反射率复原方法，其特征在于：
1).搭建基于多光谱视频的面部光谱反射率复原信息采集装置
本装置包括一个矩形箱体，一个颌托，一个升降台，一个脸型遮光罩，一个
相机遮光罩，一个变光源系统，变光源系统包括2个复合光源和2个底座组成，
一个图像采集系统，一个图像采集系统由一个高速摄像机和一个图像采集卡组
成，一个同步控制系统，一个光源功率谱采集系统及一个图像处理系统；为避免
环境光照的影响，相机遮光罩，脸型遮光罩和矩形箱体共同组成了封闭的采集环
境，阻挡了外界光线进入拍摄箱体；矩形箱体上开两个孔，一个是用于安装图像
采集装置的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱体两端的中心
处；在摄像孔的外面安装有相机遮光罩，受试面部伸进孔的外面安装有脸型遮光
罩；在脸型遮光罩的外面有一颌托，用于支撑受试者下颌；两个相同的复合光源
通过两个底座固定在摄像孔的两侧；为减少镜面反射影响，两侧复合光源照明的
方向与拍摄方向成45°角；两个复合光源由多色LED组成，且排布相同，通过
多色LED组合的切换得到不同照明光谱；
高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对相机快
门进行触发；图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换
成数字信号送入计算机，供计算机做处理、存储和传输；图像采集卡配备一个外
部信号连接排线，接入外部信号以触发相机快门，与高速摄像系统配合得到多光
谱视频；高速摄像机通过数据传输线与图像采集卡相连；
基于单片机的同步控制电路完成光源组合的切换和相机拍摄的同步；在确定
的拍摄频率f下，通过同步控制电路产生两组信号，一组是周期为t＝1/f秒
的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光
源组合的切换，另一组是和此信号周期相同相位不同的TTL信号，用下降沿触
发相机快门；为保证在光源点亮的情况下对面部进行拍摄，对两组信号的时序进
行了调整；首先将光源熄灭并将相机触发信号置为高电平，然后点亮需要点亮的
光源组合；在光源组合开始点亮之后0.5×t秒，给摄像机一个触发信号，即将
相机触发信号置为低电平，摄像机拍摄一帧图像；再过0.25×t秒将光源组合熄
灭，并将相机触发信号置为高电平；再过0.25×t秒再次点亮需要点亮的光源组
合，进入下一次循环，进行下一帧图像的拍摄；至此完成面部多光谱信息的同步
采集；
2).最佳光源组合的确定
(1)获得高速摄像机每个颜色通道的光谱响应；用高速摄像机拍摄
GretagMacbeth标准色板的一帧图片；相机m通道在某个像素点的测量值为Im；
根据成像原理，测量值Im满足以下关系：
Im＝∫s(λ)cm(λ)p(λ)dλ  (1)
其中p(λ)为光源的光源功率谱，cm(λ)为相机各颜色通道光谱响应，
s(λ)为物体表面的光谱反射率；标准色板的光谱反射率为s(λ)已知，用光
谱辐射度计测得光源的光源功率谱p(λ)，再利用(1)式所满足的关系计算出
相机各颜色通道的光谱响应cm(λ)；
(2)将可见光波段的光谱分为b段，同时设置b种颜色的光源；通过从b
种颜色的光源选择组合来提供a个光源组合；由高速相机的拍摄频率f来确定
所需要光源组合的数目，其中表示取整符号；拍摄频率
f至少为60FPS，则a≥2；对于a个光源组合，则需要b＝2a个谱段光源；
再设置一个全光谱光源，全...

【专利技术属性】
技术研发人员：蔡轶珩，王立娜，林沙沙，张新峰，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11