光源估计方法、装置和系统制造方法及图纸

本申请提供一种光源估计方法、装置和系统，属于机器视觉技术领域。针对基于单张图像估计的光源信息准确度低的问题，本申请通过动态视觉传感器，或其他高时间分辨率的视觉传感器，来采集处于静止状态的目标物体反射的光强变化信息，根据光强变化信息估计光源的信息。与基于单张图像估计光源的信息相比，可以大幅度提高得到的光源信息的准确度。度提高得到的光源信息的准确度。度提高得到的光源信息的准确度。

【技术实现步骤摘要】
光源估计方法、装置和系统
[0001]本申请要求在2021年06月18日提交中国专利局、申请号为202110679232.4、申请名称为“一种光源估计方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请涉及机器视觉
，尤其涉及一种光源估计方法、装置和系统。

技术介绍

[0003]在向对真实环境进行拍摄得到的图像中插入虚拟对象等应用场景中，为了使虚拟对象更加贴合真实环境，通常需要确定真实环境中的光源信息，根据确定的光源信息对虚拟对象进行渲染。
[0004]目前，采用对单张图像进行分析，估计光源信息的方法，往往使得到的光源信息的准确度很低，致使插入图像中的虚拟对象的真实感较差。

技术实现思路

[0005]本申请实施例提供一种光源估计方法、装置和系统，用以提高估计的光源信息的准确度。
[0006]第一方面，本申请实施例提供一种光源估计方法，通过视觉传感器获取目标物体反射的光强变化信息，根据光强变化信息估计光源的信息。其中，目标物体处于静止状态，光源的信息可以包括光源的位置信息或光源的强度信息，或者，光源的信息可以包括光源的位置信息和光源的强度信息。视觉传感器可以包括动态视觉传感器或其他高时间分辨率的视觉传感器。
[0007]本专利技术实施例提供的光源估计方法中，即使目标物体处于静止状态，目标物体反射的光强变化信息，可以用于表征在光源的亮度变化过程中，目标物体表面的亮度变化情况。例如，在光源出现的瞬间，光源亮度上升过程中，目标物体表面的亮度会持续发生变化。本专利技术实施例提供的光源估计方法中，通过高时间分辨率的视觉传感器，可以采集到目标物体表面的亮度变化情况，得到目标物体反射的光强变化信息。根据该光强变化信息估计光源的信息，与基于光源出现后采集的单张图像估计光源的信息相比，可以大幅度提高得到的光源信息的准确度。
[0008]在一种可选的实施例中，在根据光强变化信息估计光源的信息之后，可以根据光源的信息，向针对目标物体所属的场景采集的场景图像中添加虚拟对象。其中，场景图像可以是在光源的亮度不再发生变化之后采集的，场景图像中可以包括目标物体，也可以不包括目标物体。采集场景图像的视觉传感器，与采集目标物体的光强变化信息的视觉传感器可以是同一个视觉传感器，也可以不是同一个视觉传感器。如果采集场景图像的视觉传感器，与采集目标物体的光强变化信息的视觉传感器不是同一个视觉传感器，则两个视觉传感器的拍摄角度相同或相近。
[0009]本申请实施例根据得到的准确度较高的光源的信息，向场景图像中添加虚拟对象，可以使虚拟对象更加贴合真实的场景，产生的视觉效果更真实。
[0010]在一种可选的实施例中，在通过视觉传感器获取目标物体反射的光强变化信息之后，可以根据光强变化信息以及光源的亮度变化曲线，估计光源的信息。其中，光源的亮度变化曲线是根据光源的类型预先设置的。在现实中，由于光源材质、响应时间等因素，光源亮起的过程是持续一段时间的，这段时间可以用亮度上升时间来描述。光源在亮度上升时间内的亮度变化曲线是与光源的类型相关的，不同类型的光源，其光源材质、响应时间等不同，因此光源的亮度变化曲线也不同。可以针对不同类型的光源预先建立亮度变化曲线，例如，针对白炽灯、日光灯、发光二极管等各种类型的光源，分别建立相应的亮度变化曲线。参照预先建立的光源的亮度变化曲线，进行光源信息的估计，可以快速且准确地得到光源的信息。
[0011]在一种可选的实施例中，光源的位置信息可以包括光源的方向信息和距离信息。在估计光源的信息时，可以根据光强变化信息，估计光源的方向信息；根据光强变化信息以及光源的亮度变化曲线，估计光源的距离信息或强度信息，或者，根据光强变化信息以及光源的亮度变化曲线，估计光源的距离信息和强度信息。在估计光源的方向信息时，可以基于光源的亮度变化曲线，也可以不基于光源的亮度变化曲线。
[0012]在一种可选的实施例中，光源的位置信息可以包括光源的方向信息和距离信息。在估计光源的信息时，可以根据光强变化信息和光源的亮度变化曲线，估计光源的方向信息；通过神经网络模型对光强变化信息进行处理，得到光源的距离信息和/或强度信息。例如，在一种实施例中，可以通过神经网络模型对光强变化信息进行处理，得到光源的距离信息，神经网络模型是以样本亮度数据为输入，以样本亮度数据对应的光源距离为输出进行训练得到的。在另一种实施例中，可以通过神经网络模型对光强变化信息进行处理，得到光源的强度信息，神经网络模型是以样本亮度数据为输入，以样本亮度数据对应的光源强度为输出进行训练得到的，其中，光源强度为亮度变化曲线中的光强参数。在另一种实施例中，可以通过神经网络模型对光强变化信息进行处理，得到光源的距离信息和强度信息，神经网络模型是以样本亮度数据为输入，以样本亮度数据对应的光源距离和光源强度为输出进行训练得到的。
[0013]在具体实施例中，可以先根据光强变化信息和光源的亮度变化曲线，估计光源的方向信息，再通过神经网络模型对光强变化信息进行处理，得到光源的距离信息和/或强度信息；也可以先通过神经网络模型对光强变化信息进行处理，得到光源的距离信息和/或强度信息，再根据光强变化信息和光源的亮度变化曲线，估计光源的方向信息。
[0014]在一种可选的实施例中，光源的位置信息可以包括光源的方向信息和距离信息。在估计光源的信息时，可以根据光强变化信息和光源的亮度变化曲线，估计光源的方向信息；然后根据光源的方向信息、光强变化信息以及光源的亮度变化曲线，估计光源的距离信息或强度信息，或者，根据光源的方向信息、光强变化信息以及光源的亮度变化曲线，估计光源的距离信息和强度信息。
[0015]通过上述任意一种方法，均可以较准确地估计光源的信息。
[0016]可选地，在根据光源的方向信息、光强变化信息以及光源的亮度变化曲线，估计光源的距离信息和强度信息时，可以接收用户输入的初始光源距离和初始光源强度。根据光
源的方向信息、初始光源距离和初始光源强度，确定待匹配亮度变化模型。例如，可以从预先设置的亮度变化曲线中，获取初始光源强度的亮度变化曲线，根据光源的方向信息、初始光源强度的亮度变化曲线和初始光源距离，确定待匹配亮度变化模型。根据目标物体反射的光强变化信息和待匹配亮度变化模型，确定光强变化信息的亮度变化幅度与待匹配亮度变化模型的亮度变化幅度之间的差异。根据得到的差异，通过梯度下降方法，对待匹配亮度变化模型对应的光源距离和光源强度进行更新，得到新的待匹配亮度变化模型。按照上述步骤，确定光强变化信息的亮度变化幅度与新的待匹配亮度变化模型的亮度变化幅度之间的差异。重复执行上述迭代过程，使各个迭代过程得到的差异逐渐减小，直至差异小于设定的期望值或者迭代次数达到预定值为止。根据最后一次迭代过程的待匹配亮度变化模型对应的光源距离和光源强度，估计光源的距离信息和强度信息。
[0017]通过上述的迭代过程，估计光源的距离信息和强度信息，可以在很大程度上减小计算量，节约计算资源，且能快速得到光源的距离信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光源估计方法，其特征在于，所述方法包括：通过视觉传感器获取目标物体反射的光强变化信息，其中，所述目标物体处于静止状态；根据所述光强变化信息估计光源的信息，其中，所述光源的信息包括所述光源的位置信息和/或光源的强度信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述光强变化信息估计光源的信息之后，所述方法还包括：根据所述光源的信息，向针对所述目标物体所属的场景采集的场景图像中添加虚拟对象。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述光强变化信息估计光源的信息，包括：根据所述光强变化信息以及所述光源的亮度变化曲线，估计所述光源的信息，其中，所述光源的亮度变化曲线是根据所述光源的类型预先设置的。4.根据权利要求3所述的方法，其特征在于，所述光源的位置信息包括所述光源的方向信息和距离信息；所述根据所述光强变化信息以及所述光源的亮度变化曲线估计所述光源的信息，包括：根据所述光强变化信息，估计所述光源的方向信息；根据所述光强变化信息以及所述光源的亮度变化曲线，估计所述光源的距离信息和/或强度信息。5.根据权利要求3所述的方法，其特征在于，所述光源的位置信息包括所述光源的方向信息和距离信息；所述根据所述光强变化信息以及所述光源的亮度变化曲线估计所述光源的信息，包括：根据所述光强变化信息以及所述光源的亮度变化曲线，估计所述光源的方向信息；通过神经网络模型对所述光强变化信息进行处理，得到所述光源的距离信息和/或强度信息；其中，所述神经网络模型是以样本亮度数据为输入，以所述样本亮度数据对应的光源距离和/或光源强度为输出进行训练得到的。6.根据权利要求3所述的方法，其特征在于，所述光源的位置信息包括所述光源的方向...

【专利技术属性】
技术研发人员：潘纲，陈泽昊，蒋磊，程捷，郑乾，唐华锦，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：