一种目标跟踪方法及装置制造方法及图纸

本申请公开了一种目标跟踪方法及装置，获取摄像机在当前时刻对目标拍摄的图像，对图像进行分析，以确定目标在当前时刻的第一位置，以及，获取麦克风阵列确定的作为声源的目标在当前时刻的第二位置，进一步根据第一位置和第二位置，确定目标在当前时刻的修正位置，调整摄像机的拍摄控制参数，以使摄像机对准修正位置进行拍摄。本申请同时考虑通过拍摄图像所确定的第一位置以及通过麦克风阵列所确定的第二位置，据此确定的目标的修正位置更准确，进而调整摄像机的拍摄控制参数，使其对准修正位置进行拍摄，也即对目标跟踪时，摄像机对准目标进行拍摄，有效提高了目标的跟踪拍摄效果。

A Target Tracking Method and Device

【技术实现步骤摘要】
一种目标跟踪方法及装置
本申请涉及图像及计算机视觉领域，更具体地说，涉及一种目标跟踪方法及装置。
技术介绍
目标跟踪技术是图像计算机视觉领域的重要问题之一，其在安防监控、犯罪侦查、车辆导航、人机交互等方面都有广泛的应用。目标跟踪技术的优化与否，会影响对目标的跟踪效果，如在犯罪侦察场景下，办案工作人员需要根据监控系统拍摄的监控画面查找罪犯的逃跑轨迹，进而预测罪犯目前所处的位置，此时若监控系统未能全面的跟踪拍摄罪犯，将会直接影响办案工作人员抓捕罪犯的效率。在其他的一些场景中也有同样需求。例如，在会议记录过程，需要对说话人拍摄并录音，则需要准确的说话人跟踪及说话人切换；尤其是有演讲人移动的场景、或是远程视频会议等。
技术实现思路
有鉴于此，本申请提供了一种目标跟踪方法及装置，用于提高目标跟踪技术的跟踪效果。为了实现上述目的，现提出的方案如下：一种目标跟踪方法，包括：获取摄像机在当前时刻对目标拍摄的图像；对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置；获取麦克风阵列确定的第二位置，所述第二位置为作为声源的所述目标在所述当前时刻的位置；根据所述第一位置和所述第二位置，确定所述目标在所述当前时刻的修正位置；调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄。可选的，在对所述图像进行分析之前，该方法还包括：基于所述目标在所述图像中的位置，预测所述目标在所述当前时刻的下一时刻的位置是否满足设定的边界位置条件；所述对所述图像进行分析包括：若所述目标在所述当前时刻的下一时刻的位置满足设定的边界位置条件，则对所述图像进行分析。可选的，所述基于所述目标在所述图像中的位置，预测所述目标在所述当前时刻的下一时刻的位置是否满足设定的边界位置条件，包括：基于所述目标在所述图像中的位置，以及所述目标在所述当前时刻之前拍摄的图像中的位置，预测所述目标在所述下一时刻的位置；确定所述目标在所述下一时刻的位置是否满足设定的边界位置条件。可选的，所述对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置，包括：确定所述图像的深度信息；根据所述深度信息，确定所述目标在所述当前时刻的第一位置；其中，所述确定所述图像的深度信息，包括：将所述图像输入预置的图像深度信息预测模型，得到所述图像深度信息预测模型输出的所述图像的深度信息；所述图像深度信息预测模型为利用标注有深度信息的训练图像预训练得到。可选的，所述根据所述深度信息，确定所述目标在所述当前时刻的第一位置，包括：根据所述深度信息，确定所述目标到所述摄像机的镜头的距离；根据所述目标到所述摄像机的镜头的距离，确定所述摄像机的镜头的焦距信息；根据所述焦距信息、所述目标在所述图像中的位置信息和目标像素的深度信息，计算所述目标在预设坐标系下的位置信息，得到所述第一位置信息。可选的，所述修正位置处于世界坐标系下，所述调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄，包括：根据所述目标在世界坐标系下的修正位置，以及预置的世界坐标系与每一相机角度坐标系间的刚性变换矩阵列表，确定所述目标在每一相机角度坐标系下所处位置；选择所述目标所处位置位于镜头中间的相机角度坐标系，并根据摄像机当前时刻所处的相机角度坐标系，计算摄像机所需旋转的角度；根据所述目标到摄像机镜头的距离以及所述图像的大小，确定摄像机所需调整的焦距；按照所述摄像机所需旋转的角度及所需调整的焦距进行调整，以使所述摄像机对准所述修正位置的目标进行拍摄。可选的，所述根据所述第一位置和所述第二位置，确定所述目标当前时刻的修正位置，包括：将所述第一位置和所述第二位置变换至同一坐标系下；计算同一坐标系下，第一位置和第二位置的交集，作为所述目标当前时刻的修正位置。可选的，在所述获取当前时刻摄像机对目标拍摄的图像之前，该方法还包括：获取所述麦克风阵列初始检测到所述目标发声时，确定的所述目标的初始时刻的位置；调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述目标的初始时刻的位置，开始对所述目标进行跟踪拍摄。一种目标跟踪装置，包括：图像获取单元，用于获取摄像机在当前时刻对目标拍摄的图像；图像定位单元，用于对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置；麦克风阵列定位单元，用于获取麦克风阵列确定的第二位置，所述第二位置为作为声源的所述目标，在所述当前时刻的位置；修正位置确定单元，用于根据所述第一位置和所述第二位置，确定所述目标在所述当前时刻的修正位置；第一拍摄控制参数调整单元，用于调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄。可选的，还包括：边界位置条件判断单元，用于在对所述图像进行分析之前，基于所述目标在所述图像中的位置，预测所述目标在所述当前时刻的下一时刻的位置是否满足设定的边界位置条件；所述图像定位单元用于对所述图像进行分析包括：所述图像定位单元具体用于，若所述目标在所述当前时刻的下一时刻的位置满足设定的边界位置条件，则对所述图像进行分析。可选的，所述边界位置条件判断单元，包括：第一边界位置条件判断子单元，用于基于所述目标在所述图像中的位置，以及所述目标在所述当前时刻之前拍摄的图像中的位置，预测所述目标下一时刻的位置；第二边界位置条件判断子单元，用于确定所述目标在所述下一时刻的位置是否满足设定的边界位置条件。可选的，所述修正位置确定单元，包括：坐标系变换单元，用于将所述第一位置和所述第二位置变换至同一坐标系下；位置交集计算单元，用于计算同一坐标系下，第一位置和第二位置的交集，作为所述目标当前时刻的修正位置。可选的，还包括：初始位置确定单元，用于在所述获取当前时刻摄像机对目标拍摄的图像之前，获取所述麦克风阵列初始检测到所述目标发声时，确定的所述目标的初始时刻的位置；第三拍摄控制参数调整单元，用于调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述目标的初始时刻的位置，开始对所述目标进行跟踪拍摄。一种目标跟踪设备，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如上所述的目标跟踪方法的各个步骤。一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上所述的目标跟踪方法的各个步骤。从上述的技术方案可以看出，本申请实施例提供的目标跟踪方法，获取当前时刻摄像机对目标拍摄的图像，对于发声的该目标，获取麦克风对作为声源的目标所确定的其当前时刻的第二位置。本申请综合考虑麦克风阵列所确定的目标的第二位置，以及通过包含目标的图像所分析得到的目标的第一位置，确定目标当前时刻的修正位置，该修正位置更能准确反映目标当前所处的真实位置，进一步根据确定的修正位置，调整摄像机的拍摄控制参数，使摄像机可以对准修正位置进行拍摄，保证了对目标的跟踪拍摄。相比于现有技术，本申请同时考虑通过拍摄图像所确定的第一位置以及通过麦克风阵列所确定的第二位置，据此来确定目标的修正位置，得到的目标的修正位置更准确，进而调整摄像机的拍摄控制参数，使其对准修正位置进行拍摄，也即对目标跟踪时，摄像机对准目标进行拍摄，有效提高了目标的跟踪拍摄效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，包括：获取摄像机在当前时刻对目标拍摄的图像；对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置；获取麦克风阵列确定的第二位置，所述第二位置为作为声源的所述目标在所述当前时刻的位置；根据所述第一位置和所述第二位置，确定所述目标在所述当前时刻的修正位置；调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄。

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，包括：获取摄像机在当前时刻对目标拍摄的图像；对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置；获取麦克风阵列确定的第二位置，所述第二位置为作为声源的所述目标在所述当前时刻的位置；根据所述第一位置和所述第二位置，确定所述目标在所述当前时刻的修正位置；调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄。2.根据权利要求1所述的方法，其特征在于，在对所述图像进行分析之前，该方法还包括：基于所述目标在所述图像中的位置，预测所述目标在所述当前时刻的下一时刻的位置是否满足设定的边界位置条件；所述对所述图像进行分析包括：若所述目标在所述当前时刻的下一时刻的位置满足设定的边界位置条件，则对所述图像进行分析。3.根据权利要求2所述的方法，其特征在于，所述基于所述目标在所述图像中的位置，预测所述目标在所述当前时刻的下一时刻的位置是否满足设定的边界位置条件，包括：基于所述目标在所述图像中的位置，以及所述目标在所述当前时刻之前拍摄的图像中的位置，预测所述目标在所述下一时刻的位置；确定所述目标在所述下一时刻的位置是否满足设定的边界位置条件。4.根据权利要求1所述的方法，其特征在于，所述对所述图像进行分析，以确定所述目标在所述当前时刻的第一位置，包括：确定所述图像的深度信息；根据所述深度信息，确定所述目标在所述当前时刻的第一位置；其中，所述确定所述图像的深度信息，包括：将所述图像输入预置的图像深度信息预测模型，得到所述图像深度信息预测模型输出的所述图像的深度信息；所述图像深度信息预测模型为利用标注有深度信息的训练图像预训练得到。5.根据权利要求4所述的方法，其特征在于，所述根据所述深度信息，确定所述目标在所述当前时刻的第一位置，包括：根据所述深度信息，确定所述目标到所述摄像机的镜头的距离；根据所述目标到所述摄像机的镜头的距离，确定所述摄像机的镜头的焦距信息；根据所述焦距信息、所述目标在所述图像中的位置信息和目标像素的深度信息，计算所述目标在预设坐标系下的位置信息，得到所述第一位置信息。6.根据权利要求1或5所述的方法，其特征在于，所述修正位置处于世界坐标系下，所述调整所述摄像机的拍摄控制参数，以使所述摄像机对准所述修正位置进行拍摄，包括：根据所述目标在世界坐标系下的修正位置，以及预置的世界坐标系与每一相机角度坐标系间的刚性变换矩阵列表，确定所述目标在每一相机角度坐标系下所处位置；选择所述目标所处位置位于镜头中间的相机角度坐标系，并根据摄像机当前时刻所处的相机角度坐标系，计算摄像机所需旋转的角度；根据所述目标到摄像机镜头的距离以及所述图像的大小，确定摄像机所需调整的焦距；按照所述摄像机所需旋转的角度及所需调整的焦距进...

【专利技术属性】
技术研发人员：沙文，应竞舟，孟范明，田富海，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34