本申请涉及一种光场深度估计方法、装置、计算机设备和存储介质。所述方法包括：根据微透镜阵列的中心标定结果，遍历微透镜阵列中所有微透镜的中心坐标，并且建立微透镜的索引编号，根据微透镜阵列中所述微透镜的中心坐标，建立kdtree数据结构，采用KNN算法遍历kdtree，建立临时元组数据结构保存微透镜临近域中微透镜信息，然后通过微透镜信息进行两次配准，分别为粗配准和精配准，从而根据配准结果，构建深度估计模型，求解深度估计模型，得到光场深度信息。采用本方法能够提升光场深度计算的速度，并有效降低深度估计结果的随机误差。并有效降低深度估计结果的随机误差。并有效降低深度估计结果的随机误差。
【技术实现步骤摘要】
光场深度估计方法、装置、计算机设备和存储介质
[0001]本申请涉及光场深度估计
，特别是涉及一种光场深度估计方法、装置、计算机设备和存储介质。
技术介绍
[0002]光场相机技术是一种通过联合优化光学系统和信号处理以实现特定功能的新兴研究领域。它并不是光学成像和数字图像处理的简单补充，而是前端物理域的光学调控与后端数字域的有机结合。光场相机通过对照明、成像系统进行光学编码与数学建模，以计算重构的方式获取多维度的图像与信息。在诸多光场相机模型中，聚焦型光场相机模型是目前性能最为优越的光场相机模型，一般称为光场相机2.0。聚焦型光场相机与普通相机的区别在于其在相机靶面前的特定位置安装了微透镜阵列。当微透镜阵列位于主透镜焦面时，聚焦型光场相机便退化为传统光场相机，即光场相机1.0。光场相机2.0模型中，光线从空间物点出发经主透镜汇聚后通过微透镜中心与靶面相交得到靶面成像像，该图像称为光场数据图像。光场数据图像是由许多个微透镜子孔径图像按照微透镜阵列的排布方式排布在相机靶面上形成的，因此光场数据图像并不是人眼习惯的聚焦图像。从光路结构上看，光场相机2.0模型就是微透镜阵列对主透镜的一次成像点进行二次成像。因此物点的二次成像点在不同微透镜子孔径图像中的成像位置存在差异，也即不同微透镜之间存在视差。利用该视差即可以估计出物点的像方深度，这个像方深度称为虚深度或深度。在光场相机模型中，虚深度表示一次成像点与微透镜阵列面距离的归一化值。光场相机2.0在计算聚焦成像前，需要首先计算物点的虚深度值并生成全视场的深度图像，这个过程称为深度估计。基于深度估计结果，可通过特定算法得到视场中任一物点的二次成像点在光场数据图像上实际坐标，进而通过像素叠加得到聚焦图像。因此一般来讲，光场数据图像解码的核心是深度估计解码。
[0003]深度估计过程是一个十分复杂的计算过程，不仅需要精确得知微透镜中心坐标、尺寸以及类型（根据焦距分类），还需要图特征点配准、虚深度值解算、深度图坐标定位等算法以估计物点的深度值及物点的图像坐标。考虑到实施过程的复杂性，实时的全视场深度估计是十分困难的。目前，德国Raytrix公司已经基于多焦距微透镜阵列的光场相机2.0模型推出了Raytrix系列光场相机，该相机模型又称之为光场相机2.5。光场相机2.5在光路结构上与光场相机2.0完全一样，只是微透镜阵列采用了3种不同焦距的微光透镜按一定规律进行排布，从而使探测景深得到进一步扩展。但是由于深度估计算法的时间复杂度和空间复杂度过高，Raytrix相机需要配备极高性能显卡的计算机才能使用，并且其帧率较低，难以做到实时处理。另外，Raytrix光场相机的深度估计方法是根据特定的路径由近到远搜索微透镜并寻找微透镜下的配准特征点的，其深度估计结果基于两个相距最远的配准点所属微透镜的视差得到。但从多目视觉原理上讲，采用两个微透镜之间的视差进行深度深度估计的随机误差要远大于采用多个微透镜进行深度估计的结果。这也使得Raytrix在进行三维测量时的实际精度仍然差强人意。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种光场深度估计方法、装置、计算机设备和存储介质。
[0005]一种光场深度估计方法，所述方法包括：根据微透镜阵列的中心标定结果，遍历所述微透镜阵列中所有微透镜的中心坐标，并且建立所述微透镜的索引编号；根据所述微透镜阵列中所述微透镜的中心坐标，建立kdtree数据结构；采用KNN算法遍历kdtree，建立临时元组数据结构保存微透镜临近域中微透镜信息，从所述临时元组中第一个微透镜的子孔径图像中确定初始特征点，以及根据所述子孔径图像对应的微透镜在所述临时元组数据结构中检索临近域；根据所述初始特征点采用相位相关法在所述临近域微透镜子图像中进行粗配准，得到所述临近域的子图像中的粗配准点；对所述初始特征点的邻居矩阵与所述粗配准点的邻居矩阵进行上采样，将两个上采样后的邻居矩阵进行相位相干计算，得到精确配准点；根据所述精确配准点的坐标信息，以及精确配准点到对应微透镜中心的偏移量，构建深度估计模型，求解所述深度估计模型，得到光场深度信息。
[0006]在其中一个实施例中，所述临时元组数据结构为{微透镜索引，微透镜中心坐标，微透镜中心距离初始微透镜的距离}。
[0007]在其中一个实施例中，还包括：以所述初始特征点为中心，截取预设大小的第一特征点矩阵，以及以所述配准点为中心，截取所述第一特征点矩阵大小的第一配准点矩阵；计算所述第一特征点矩阵和所述第一配准点矩阵的相关系数，以及计算所述配准点与特征点基线的距离信息；当所述相关系数以及所述距离信息满足阈值范围时，判断粗校准完成。
[0008]在其中一个实施例中，所述第一特征点矩阵和所述第一配准点矩阵均为5
×
5矩阵。
[0009]在其中一个实施例中，还包括：以所述初始特征点，截取预设大小的第二特征点矩阵，以及以所述粗配准点为中心，截取所述第二特征点矩阵大小的第二配准点矩阵；将所述第二特征点矩阵和所述第二配准点矩阵进行预设倍数的上采样，得到拓展特征点矩阵和拓展配准点矩阵；将所述拓展特征点矩阵和拓展配准点矩阵进行相位相干计算，得到亚像素精度的精确配准点，直至完成所述临近域中所有精确配准点的匹配。
[0010]在其中一个实施例中，还包括：所述第二特征点矩阵和第二配准点矩阵均为3
×
3矩阵。
[0011]在其中一个实施例中，还包括：根据所述精确配准点的坐标信息，以及精确配准点到对应微透镜中心的偏移信息，构建深度估计模型为：其中，与分别为物点的精确配准点相对于所属微透镜中心在X方向和Y方向上的偏移量，与是精确配准点所属微透镜中心的X坐标与Y坐标，与是物点的在X方
向与Y方向的图像坐标，表示深度信息；求解所述深度估计模型的步骤，包括：将所述深度估计模型变化为齐次方程组为：其中，，与分别为精确配准点相对于各自所属微透镜中心X方向和Y方向的偏移量组成的偏移量向量，和分别为精确配准点所属微透镜中心X坐标和Y坐标组成的微透镜中心坐标向量；采用SVD分解求解所述齐次方程组，得到光场深度值v以及物点的图像坐标。
[0012]一种光场深度估计装置，所述装置包括：数据结构构件模块，用于根据微透镜阵列的中心标定结果，遍历所述微透镜阵列中所有微透镜的中心坐标，并且建立所述微透镜的索引编号；根据所述微透镜阵列中所述微透镜的中心坐标，建立kdtree数据结构；配准模块，用于采用KNN算法遍历kdtree，建立临时元组数据结构保存微透镜临近域中微透镜信息，从所述临时元组中第一个微透镜的子孔径图像中确定初始特征点，以及根据所述子孔径图像对应的微透镜在所述临时元组数据结构中检索临近域；根据所述初始特征点采用相位相关法在所述临近域微透镜子图像中进行粗配准，得到所述临近域的子图像中的粗配准点；对所述初始特征点的邻居矩阵与所述粗配准点的邻居矩阵进行上采样，将两个上采样后的邻居矩阵进行相位相干计算，得到精确配准点；求解模块，用于根据所述精确配准点的坐标信息，以及精确配准点到对应本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种光场深度估计方法，其特征在于，所述方法包括：根据微透镜阵列的中心标定结果，遍历所述微透镜阵列中所有微透镜的中心坐标，并且建立所述微透镜的索引编号；根据所述微透镜阵列中所述微透镜的中心坐标，建立kdtree数据结构；采用KNN算法遍历kdtree，建立临时元组数据结构保存微透镜临近域中微透镜信息，从所述临时元组中第一个微透镜的子孔径图像中确定初始特征点，以及根据所述子孔径图像对应的微透镜在所述临时元组数据结构中检索临近域；根据所述初始特征点采用相位相关法在所述临近域微透镜子图像中进行粗配准，得到所述临近域的子图像中的粗配准点；对所述初始特征点的邻居矩阵与所述粗配准点的邻居矩阵进行上采样，将两个上采样后的邻居矩阵进行相位相干计算，得到精确配准点；根据所述精确配准点的坐标信息，以及精确配准点到对应微透镜中心的偏移量，构建深度估计模型，求解所述深度估计模型，得到光场深度信息。2.根据权利要求1所述的方法，其特征在于，所述临时元组数据结构为{微透镜索引，微透镜中心坐标，微透镜中心距离初始微透镜中心的距离}。3.根据权利要求1所述的方法，其特征在于，在根据所述初始特征点采用相位相关法在所述临近域微透镜子图像中进行粗配准之后，还包括：以所述初始特征点为中心，截取预设大小的第一特征点矩阵，以及以所述粗配准点为中心，截取所述第一特征点矩阵大小一致的第一配准点矩阵；计算所述第一特征点矩阵和所述第一配准点矩阵的相关系数，以及计算所述粗配准点与特征点基线的距离信息；当所述相关系数以及所述距离信息满足阈值范围时，判断粗校准完成。4.根据权利要求3所述的方法，其特征在于，所述第一特征点矩阵和所述第一配准点矩阵均为5
×
5矩阵。5.根据权利要求1所述的方法，其特征在于，对所述初始特征点的邻居矩阵与所述粗配准点的邻居矩阵进行上采样，将两个上采样后的邻居矩阵进行相位相干计算，得到精确配准点，包括：以所述初始特征点，截取预设大小的第二特征点矩阵，以及以所述粗配准点为中心，截取所述第二特征点矩阵大小的第二配准点矩阵；将所述第二特征点矩阵和所述第二配准点矩阵进行预设倍数的上采样，得到拓展特征点矩阵和拓展配准点矩阵；将所述拓展特征点矩阵和拓展配准点矩阵进行相位相干计算，得到亚像素精度的精确配准点，直至完成所述临近域中所有精确配准点的匹配。6.根据权利...
【专利技术属性】
技术研发人员：王彦，韩凯，崔文达，来文昌，梦琪，雷国忠，陈俊侣，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。