【技术实现步骤摘要】
一种基于单目摄像机的光照估计方法
本专利技术涉及计算机图形学、人工智能领域，具体涉及一种基于单目摄像机的光照估计方法。
技术介绍
现有用于光照估计的技术，主要有两大类。一类是借助鱼眼相机、深度相机等外部硬件设备来获取额外的场景信息，从而估计真实场景的光照条件。这类光照估计技术需要借助外部硬件设备，无疑会增加光照估计的成本，而且手机等移动设备需要考虑便携性，几乎不可能配置这些硬件设备。另一类是在场景中放置一些已知反射特性的规则物体并对其拍摄，根据图像中规则物体的光照效果估计出光照信息；这些规则物体称为光照探针。这类采用光照探针的估计方法，需要放置规则几何体到镜头中，那么拍摄出来的图像必定会包含这些几何体，这种方法会破坏真实场景的原始图像信息，故称为侵入式。增强现实(AugmentedReality，简称AR)技术如今广泛应用于手机等移动设备中，AR技术需要我们将虚拟物体无缝嵌入(绘制)到真实场景中，要绘制出逼真的效果就需要给虚拟物体渲染恰当的光照效果。当前主流的增强现实技术只实现了对给定摄像头图像中环境光强度的粗略估计(如Google公司的ARCore平台)，无法估...
【技术保护点】
1.一种基于单目摄像机的光照估计方法，其特征在于，包括以下步骤：第一步、单目摄像机采集RGB图像，作为深度估计的输入；第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真...
【技术特征摘要】
1.一种基于单目摄像机的光照估计方法，其特征在于，包括以下步骤：第一步、单目摄像机采集RGB图像，作为深度估计的输入；第二步、构建用于单目摄像机深度估计的卷积神经网络，对卷积神经网络进行训练；将RGB图像输入到训练好的卷积神经网络进行深度估计，得到深度预测值，输出深度预测图；第三步、将深度预测值进行上采样，使得深度预测图的尺寸与RGB图像相匹配，将上采样后的深度预测值作为光照估计的输入；第四步、将单目摄像机采集的RGB图像转换到CIELab颜色空间下，其中的亮度通道信息作为光照估计的输入；利用CIELab颜色空间下的亮度通道信息、深度估计到的深度预测值进行光照估计，将得到真实场景各方向光源信息的球谐函数系数。2.根据权利要求1所述的光照估计方法，其特征在于，第二步所述卷积神经网络包括网络前端的卷积层和全连接层，深度估计的具体步骤如下：S21、网络前端的卷积层用于提取图像中不同种类的特征信息，全连接层用于包含整张图像的视野，并输出深度预测值；S22、对于预测深度y和真实深度y*，定义尺度不变均方误差：其中：通过对比输出像素点i、j的关系来表示误差，并令di＝logyi-logy*为像素点i预测值和真实值的差别，有以下等价定义：损失函数：S24、使用随机梯度下降法调整卷积神经网络参数使得损失函数达到最优。3.根据权利要求2所述的光照估计方法，其特征在于，卷积神经网络中，每个卷积层的后面还增加池化层。4.根据权利要求1所述的光照估计方法，其特征在于，第三步包括如下步骤：S31、沿着深度预测图的边缘产生半径为r的区域，标志区域内的像素点为不可作为深度参考的像素点，从而产生一个与深度预测图相同尺寸的模板图像M；S32、对深度预测图进行上采样使得深度预测图与原始图像的尺寸一致；S33、将深度估计处理过程中产生的及所输出的对数域的深度预测值，转换为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。