一种对焦装置、方法及相关设备制造方法及图纸

本发明专利技术实施例公开了一种对焦装置、方法及相关设备，其中的对焦装置，包括处理器、以及耦合于CPU的NPU和ISP；ISP用于生成第一图像；NPU用于获取第一图像中的第一感兴趣区域ROI集合，第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；CPU用于：获取第一图像中第二ROI集合，第二ROI集合包括一个或多个第二ROI，每个第二ROI为运动区域；基于第一ROI集合和第二ROI集合确定第一图像中的目标ROI；根据目标ROI的特征信息识别目标ROI在第二图像中的位置信息和大小信息并进行对焦，第一图像在时域上位于第二图像之前。采用本申请，可以提升对焦的精准度。

【技术实现步骤摘要】
【国外来华专利技术】一种对焦装置、方法及相关设备
本申请涉及图像处理
，尤其涉及一种对焦装置、方法及相关设备。
技术介绍
智能手机相机拍照技术正朝着单反方向发展，目前很多智能手机相机在拍照能力方面已经超越了传统的卡片相机。高质量的拍照依赖高精度的对焦技术，在静态场景的拍摄中，现有的对焦技术一般都是将对焦点放在画面中心位置，这种对焦方法可以满足大部分消费者的需求，但是当拍摄目标不在视场中心时，这时候的中心对焦往往会导致拍摄目标模糊。在拍摄动态场景时，尤其当目标快速运动时，这种固定的中心对焦无法满足需求，因此急需发展高精度的运动追焦技术。
技术实现思路
本专利技术实施例提供一种对焦装置、方法及相关设备，以提升对焦精准度。第一方面，本专利技术实施例提供了一种对焦装置，包括处理器、以及耦合于所述处理器的神经网络处理器和图像信号处理器；所述图像信号处理器，用于生成第一图像；所述神经网络处理器，用于获取所述第一图像中的第一感兴趣区域ROI集合，所述第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；所述处理器，用于：获取所述第一图像中第二ROI集合，所述第二ROI集合包括一个或多个第二ROI，每个第二ROI为运动区域；基于所述第一ROI集合和所述第二ROI集合确定所述第一图像中的目标ROI；确定所述目标ROI的特征信息；根据所述目标ROI的特征信息，识别所述目标ROI在所述图像信号处理器生成的第二图像中的位置信息和大小信息，所述第一图像在时域上位于所述第二图像之前；以及根据所述位置信息和大小信息进行对焦。<br>本专利技术实施例，通过对焦装置中的ISP生成的图像帧，利用NPU进行AI物体检测得到一个或者多个候选的拍摄对象，以及利用处理器进行运动物体检测得到一个或者多个候选的运动区域，并综合检测到的拍摄对象以及运动区域确定最终要对焦的目标ROI，并基于该目标ROI的特征信息进行后续的跟踪对焦。即利用AI目标检测和运动目标检测，自动综合识别出视场FOV中的目标ROI，然后采用目标ROI跟踪算法精确计算目标ROI的实时运动轨迹和大小，最后通过自动对焦AF算法依据目标ROI的实时运动轨迹，做运动追焦。全程不需要用户手动干预选择且跟踪对焦精准，极大的提升了拍摄的体验和效果。在一种可能的实现方式中，所述处理器具体用于：从所述第一ROI集合中的一个或者多个第一ROI中确定有效第一ROI，所述有效第一ROI在所述第一图像的第一预设区域内；从所述第二ROI集合中的一个或者多个第二ROI中确定有效第二ROI，所述有效第二ROI在所述第一图像的第二预设区域内；在所述有效第一ROI与所述有效第二ROI的交并比IoU大于或者等于预设阈值的情况下，将所述有效第一ROI确定为目标ROI。本专利技术实施例，通过对第一ROI集合和第二ROI集合进行筛选，以提升目标ROI的识别精准度。且当有效第一ROI和有效第二ROI之间的重叠区域较大时，则表明此时拍摄对象和运动区域的检测均较大可能包含有该有效第一区域，因此可以将有效第一区域作为目标ROI。在一种可能的实现方式中，所述处理器，还具体用于：在所述有效第一ROI与所述有效第二ROI的交并比小于预设阈值的情况下，将所述有效第二ROI与所述有效第一ROI中距离所述第一图像中心点更近的ROI确定为目标ROI。本专利技术实施例，当有效第一ROI和有效第二ROI之间的重叠区域较小时，则可能表明此时的检测有误、或者目标ROI发生漂移，因此可以选择其中距离中心点更近的ROI作为目标ROI。在一种可能的实现方式中，所述有效第一ROI在所述第一图像的第一预设区域内的一个或者多个第一ROI中具有最高评估分值；和/或所述有效第二ROI在所述第一图像的第二预设区域内的一个或者多个第二ROI中具有最高评估分值；其中，每个ROI的评估分值满足如下至少一项：与该ROI的面积成正比，与该ROI距所述第一图像的中心点的距离成反比，与该ROI所属的物体类别的优先级成正比。本专利技术实施例，当处理器通过预设区域进行筛选后，仍然可能存在多个ROI时，此时，可以通过ROI的面积、离第一图像的中心点的距离以及拍摄对象所属的类别的优先级高低进行判断，从中选出跟踪对焦可能性更高的ROI。在一种可能的实现方式中，所述处理器还用于：基于所述目标ROI在历史图像中的位置和大小所对应的特征信息更新所述目标ROI的特征信息。在一种可能的实现方式中，所述目标ROI的特征信息是根据所述目标ROI对应的第一图像的特征信息和至少一个第三图像的特征信息确定的，所述至少一个第三图像在时域上位于第一图像和第二图像之间。本专利技术实施例，处理器不仅要确定目标ROI的初始值，还需要基于目标ROI的运动跟踪情况实时的更新特征信息，以更加精准的跟踪对焦。在一种可能的实现方式中，所述处理器还用于：在第一预设时间段后，重新计算所述目标ROI；或者当所述目标ROI的跟踪置信度小于置信度阈值的情况下，重新计算所述目标ROI，其中，所述跟踪置信度用于指示所述目标ROI的跟踪精确度，所述跟踪置信度与跟踪精确度成正比。本专利技术实施例，处理器不仅要基于目标ROI的跟踪情况实时的更新特征信息，以更加精准的跟踪对焦，而且更新的特征信息还需要具有时效性，当较长一段时间之后，或者当前跟踪的目标ROI置信度低的时候，就需要考虑初始化相关参数，进行新一轮的目标ROI的确认及跟踪。在一种可能的实现方式中，所述特征信息包括方向梯度hog信息、颜色lab信息、卷积神经网络CNN信息中的一项或者多项。本专利技术实施例，提供多种特征信息提取方式，以满足不同图像或者不同场景下的特征信息提取要求。第二方面，本专利技术实施例提供了一种对焦方法，可包括：确定第一感兴趣区域ROI集合和第二ROI集合，所述第一ROI集合为从图像信号处理器生成的第一图像中获取的ROI集合，所述第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；所述第二ROI集合为从所述第一图像中获取的ROI集合，所述第二ROI集合包括一个或多个第二ROI，每个第二ROI为运动区域；基于所述第一ROI集合和所述第二ROI集合确定所述第一图像中的目标ROI；确定所述目标ROI的特征信息；根据所述目标ROI的特征信息，识别所述目标ROI在所述图像信号处理器生成的第二图像中的位置信息和大小信息，所述第一图像在时域上位于所述第二图像之前；根据所述位置信息和大小信息进行对焦。在一种可能的实现方式中，所述基于所述第一ROI集合和所述第二ROI集合确定所述第一图像中的目标ROI，包括：从所述第一ROI集合中的一个或者多个第一ROI中确定有效第一ROI，所述有效第一ROI在所述第一图像的第一预设区域内；从所述第二ROI集合中的一个或者多个第二ROI中确定有效第二ROI，所述有效第二ROI在所述第一图像的第二预设区域内；在所述有效第一ROI与所述有效第二ROI的交并比IoU大于或者等于预设阈值的情况下，将所述有效第一ROI确定为目标ROI。在一种可能的实现方式中，所述方法还包括：在所述有本文档来自技高网...

【技术保护点】
一种对焦装置，其特征在于，包括处理器、以及耦合于所述处理器的神经网络处理器和图像信号处理器；/n所述图像信号处理器，用于生成第一图像；/n所述神经网络处理器，用于获取所述第一图像中的第一感兴趣区域ROI集合，所述第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；/n所述处理器，用于：/n获取所述第一图像中第二ROI集合，所述第二ROI集合包括一个或多个第二ROI，每个第二ROI为运动区域；/n基于所述第一ROI集合和所述第二ROI集合确定所述第一图像中的目标ROI；/n确定所述目标ROI的特征信息；/n根据所述目标ROI的特征信息，识别所述目标ROI在所述图像信号处理器生成的第二图像中的位置信息和大小信息，所述第一图像在时域上位于所述第二图像之前；以及/n根据所述位置信息和大小信息进行对焦。/n

【技术特征摘要】
【国外来华专利技术】一种对焦装置，其特征在于，包括处理器、以及耦合于所述处理器的神经网络处理器和图像信号处理器；
所述图像信号处理器，用于生成第一图像；
所述神经网络处理器，用于获取所述第一图像中的第一感兴趣区域ROI集合，所述第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；
所述处理器，用于：
获取所述第一图像中第二ROI集合，所述第二ROI集合包括一个或多个第二ROI，每个第二ROI为运动区域；
基于所述第一ROI集合和所述第二ROI集合确定所述第一图像中的目标ROI；
确定所述目标ROI的特征信息；
根据所述目标ROI的特征信息，识别所述目标ROI在所述图像信号处理器生成的第二图像中的位置信息和大小信息，所述第一图像在时域上位于所述第二图像之前；以及
根据所述位置信息和大小信息进行对焦。


根据权利要求1所述的装置，其特征在于，所述处理器具体用于：
从所述第一ROI集合中的一个或者多个第一ROI中确定有效第一ROI，所述有效第一ROI在所述第一图像的第一预设区域内；
从所述第二ROI集合中的一个或者多个第二ROI中确定有效第二ROI，所述有效第二ROI在所述第一图像的第二预设区域内；
在所述有效第一ROI与所述有效第二ROI的交并比IoU大于或者等于预设阈值的情况下，将所述有效第一ROI确定为目标ROI。


根据权利要求2所述的装置，其特征在于，所述处理器，还具体用于：
在所述有效第一ROI与所述有效第二ROI的交并比小于预设阈值的情况下，将所述有效第二ROI与所述有效第一ROI中距离所述第一图像中心点更近的ROI确定为目标ROI。


根据权利要求2或3所述的装置，其特征在于，所述有效第一ROI在所述第一图像的预设区域内的一个或者多个第一ROI中具有最高评估分值；和/或所述有效第二ROI在所述第一图像的预设区域内的一个或者多个第二ROI中具有最高评估分值；其中，每个ROI的评估分值满足如下至少一项：与该ROI的面积成正比，与该ROI距所述第一图像的中心点的距离成反比，与该ROI所属的物体类别的优先级成正比。


根据权利要求1-4任意一项所述的装置，其特征在于，所述处理器还用于：基于所述目标ROI在历史图像中的位置和大小所对应的特征信息更新所述目标ROI的特征信息。


根据权利要求1-5任意一项所述的装置，其特征在于，所述处理器还用于：
在第一预设时间段后，重新计算所述目标ROI；或者
当所述目标ROI的跟踪置信度小于置信度阈值的情况下，重新计算所述目标ROI，其中，所述跟踪置信度用于指示所述目标ROI的跟踪精确度，所述跟踪置信度与跟踪精确度成正比。


根据权利要求1-6任意一项所述的装置，其特征在于，所述特征信息包括方向梯度hog信息、颜色lab信息、卷积神经网络CNN信息中的一项或者多项。


一种对焦方法，其特征在于，包括：
确定第一感兴趣区域ROI集合和第二ROI集合，所述第一ROI集合为从图像信号处理器生成的第一图像中获取的ROI集合，所述第一ROI集合包括一个或者多个第一ROI，每个第一ROI中包括一个拍摄对象；所述第二ROI集合为从所述第一图像中获取的ROI集合，所述第二ROI集合包括一个或多个...

【专利技术属性】
技术研发人员：马彦鹏，宋永福，杨琪，王军，陈聪，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44