【技术实现步骤摘要】
一种AR设备的光源估计方法和装置
本申请涉及图像处理技术，特别涉及一种AR设备的光源估计方法和装置。
技术介绍
现有光源估计技术分为两大类：1.通过图片的亮度和颜色计算出虚拟物体整体亮度和色温；这种方法可以提供高质量的环境反射效果，但无法预测光源方向，所以渲染出的虚拟物体的影子方向是错误的(如图1所示)；2.通过机器学习预测出环境贴图和光源方向；这种方法可以提供高质量的环境反射效果，但是光源方向的预测精度低，尤其当光源处于视角范围之外的场景(如图2所示)。由上述可见，现有的光源估计方法无法解决视角外光源位置精确预测的问题。目前针对AR场景下的光源位置预测主要分为以下两个方面：1.通过多传感器标定和融合，加上图像的区域纹理分析来预测出光源位置，此方法对设备的数量和布局要求较高；2.通过使用镜面反射球配合光线追踪来预测出光源位置，此方法对于参照物的特点要求较高。
技术实现思路
本申请提供一种AR设备的光源估计方法和装置，能够提高光源位置预测的准确性。为实...
【技术保护点】
1.一种AR设备的光源估计方法，其特征在于，在单光源或只有一个主光源的场景下存在多个物体，所述方法包括：/n采集间距大于设定距离的两帧图像；/n对所述两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；/n获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；/n将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；/n根据物体及其对应阴影的位置关系，确定光源位置。/n
【技术特征摘要】
1.一种AR设备的光源估计方法，其特征在于，在单光源或只有一个主光源的场景下存在多个物体，所述方法包括：
采集间距大于设定距离的两帧图像；
对所述两帧图像进行阴影检测，提取阴影的像素特征点，并确定阴影的点云信息，区分不同阴影的点云；
获取所述多个物体的点云信息，并通过所述点云信息区分不同物体的点云；
将所述不同阴影的点云和所述不同物体的点云进行匹配，确定各个不同物体对应的阴影；
根据物体及其对应阴影的位置关系，确定光源位置。
2.根据权利要求1所述的方法，其特征在于，所述根据物体及其对应阴影的位置关系确定光源位置包括：
对于每个物体，从该物体对应阴影的边缘点中距离相应物体最远的点向该物体的最高点发射射线；将至少两条射线的交汇处或者一条射线与光照估计模型预测的光源方向的交汇处确定为光源位置。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述两帧图像进行阴影检测包括：
将每一帧图像转换为灰度图片，通过机器学习的方法或者图像学的方法得到所述灰度图片中的阴影。
4.根据权利要求1或2所述的方法，其特征在于，所述确定阴影的点云信息包括：
将阴影的像素特征点映射回帧图像，并用唯一描述子来表示每个特征点；
对于所述两帧图像，通过所述描述子的匹配，确定所述两帧图像中阴影像素特征点的映射关系，并根据空间映射，得到所述阴影像素特征点在3D空间中的位置作为所述阴影的点云信息。
5.根据权利要求4所述的方法，其特征在于，所述根据空间映射得到所述阴影像素特征点在3D空间中的位置包括：
根据采集所述两帧图像时的采集设备位姿Pose1、Pose2和对应阴影像素特征点的像素坐标p1、p2，通过三角测量确定所述阴影像素特征点在3D空间中的位置。
6.根据权利要求1或2所述的方法，其特征在于，所述通过所述点云信息区分不同物体的点云包括：
通过聚类将所有点云中属于单个物体的点云划分为一类，属于不同物体的点云划分为不同类。
7.根据权利要求1或2所述的方法，其特征在于，所述将所述不同阴影的点云和所述不同物体的点云进行匹配确定各个不同物体对应的阴影包括：
对每一个物体选择其中心底部的点作为物体参考点Pi，为每一个阴影选择中心点Si作为阴影参考点，在M个物体参考点和N个阴影参考点中选择满足的物体参考点Pi和阴影参考点Si的组合，将相应物体参考点所在的物体与阴影参考点所在的阴影作为匹配的物体和阴影；其中，所述i为物体参考点和阴影参考点组合的索引。
8.一种AR设备的光源估计装置，其特征在于，在单光源或只有一个主光源的场景下存在多个物体，所述装置包括：图像采集单元、阴...
【专利技术属性】
技术研发人员：郝冬宁，沈国桃，朱晓莉，黄强，吴龙海，陈洁，
申请(专利权)人：三星电子中国研发中心，三星电子株式会社，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。