应用于全景图像的目标跟踪方法及全景相机技术

本发明专利技术公开了一种应用于全景图像的目标跟踪方法及全景相机，利用N个广角镜头每一时刻采集到N个广角图像时，将该时刻采集的N个广角图像拼接成全景视频中的一帧全景图像；选取拼接成的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成M个子图像；从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤：利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。本发明专利技术提供的应用于全景图像的目标跟踪方法及全景相机，能够有效提高目标跟踪的实时性和准确性。

【技术实现步骤摘要】
应用于全景图像的目标跟踪方法及全景相机
本专利技术涉及全景视频
，尤其涉及一种应用于全景图像的目标跟踪方法及全景相机。
技术介绍
全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，覆盖了360度场景范围，对于连续多帧的全景图像而言，目标物体会从立方体全景的一个面移动到相邻面。由于其具有动态背景，不适合使用背景差的方法进行动态物体的检测和跟踪，因此需要设计一种快速高效的立方体全景视频中的目标跟踪方法。现有技术在全景视频中跟踪物体的方法，通常根据用户观看的角度由全景视频图像投影成投影视图，并将其作为目标跟踪的输入图像。跟踪过程中建立目标物体的模型，并根据前后帧建立跟踪目标出现在不同区域的概率，以较大概率的位置作为目标的新位置；采用上述方法的前提是不会出现漏检，其所关注的方向一定包含需要跟踪的物体，而在出现漏检的情况下，其跟踪的准确性极低，从而导致出现现有方法存在全景图像中的目标跟踪准确性低的问题。而且采用上述方法，首先需要先获取全景视频图像再进行投影得到预设视场的投影图像，再进行前后帧跟踪目标出现在不同区域的概率，以概率的大小来确定跟踪目标的新位置，其计算步骤较多及计算量较大，因而促使全景视频的跟踪效率较低，导致出现全景图像中的目标跟踪的实时性较差的问题。
技术实现思路
本专利技术提供了一种应用于全景图像的目标跟踪方法及全景相机，能够有效提高目标跟踪的实时性和准确性。本申请第一方面提供了一种应用于全景图像的目标跟踪方法，包括：利用N个广角镜头每一时刻采集N个广角图像，以及在每一时刻采集到N个广角图像时，将该时刻采集的N个广角图像拼接成全景视频中的一帧全景图像，其中，N为不小于2的整数；选取拼接成的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成M个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，其中P为不小于1的整数；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。结合第一方面，在第一方面的第一种可能的实施方式中，每帧全景图像分成的M个子图像中每相邻两个子图像之间具有重叠区域。结合第一方面的第一种可能的实施方式中，在第一方面的第二种可能的实施方式中，所述从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，具体包括：根据预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标。结合第一方面的第二种可能的实施方式中，在第一方面的第三种可能的实施方式中，所述根据预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，具体包括：根据所述预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标；从所述P个跟踪目标中获取具有重叠区域的跟踪目标对集；从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述P个跟踪目标。结合第一方面的第三种可能的实施方式中，在第一方面的第四种可能的实施方式中，所述从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述P个跟踪目标，具体包括：获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述P个跟踪目标。结合第一方面，在第一方面的第五种可能的实施方式中，所述利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的M个子图像一一对应的M个跟踪器；根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述M个跟踪器中对应的跟踪器中进行跟踪。结合第一方面，在第一方面的第六种可能的实施方式中，所述利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的所有跟踪目标一一对应的Q个跟踪器，Q为不小于0的整数；将第i帧全景图像中的每个跟踪目标添加到所述Q个跟踪器中对应的跟踪器中进行跟踪。结合第一方面，在第一方面的第七种可能的实施方式中，在从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标之后，所述方法还包括以下步骤：以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的M个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。结合第一方面或第一方面的第七种可能的实施方式，在第一方面的第八种可能的实施方式中，在得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标之后，所述方法还包括：将第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中。结合第一方面或第一方面的第七种可能的实施方式，在第一方面的第九种可能的实施方式中，在得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤：检测第(i+1)帧全景图像中的M个子图像中的每个跟踪目标是否均跟踪成功；在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的M个子图像中的所有跟踪目标。结合第一方面的第八种可能的实施方式，在第一方面的第十种可能的实施方式中，在每个子图像与至少一个子图像存在重叠区域，且每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，所述方法还包括以下步骤：检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内；若检测到该跟踪失败的跟踪目标不位于两个子图像之间的重叠区域内，则丢弃该跟踪失败的跟踪目标；若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则获取与该跟踪失败的跟踪目标所在的子图像具有重叠区域的特定子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的所述特定子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的M个子图像中的所有跟踪目标。结合第一方面或第一方面的第七种可能的实施方本文档来自技高网...

【技术保护点】
一种应用于全景图像的目标跟踪方法，其特征在于，包括：利用N个广角镜头每一时刻采集N个广角图像，以及在每一时刻采集到N个广角图像时，将该时刻采集的N个广角图像拼接成全景视频中的一帧全景图像，其中，N为不小于2的整数；选取拼接成的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成M个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，其中P为不小于1的整数；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。

【技术特征摘要】
1.一种应用于全景图像的目标跟踪方法，其特征在于，包括：利用N个广角镜头每一时刻采集N个广角图像，以及在每一时刻采集到N个广角图像时，将该时刻采集的N个广角图像拼接成全景视频中的一帧全景图像，其中，N为不小于2的整数；选取拼接成的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成M个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，其中P为不小于1的整数；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。2.如权利要求1所述的方法，其特征在于，每帧全景图像分成的M个子图像中每相邻两个子图像之间具有重叠区域。3.如权利要求2所述的方法，其特征在于，所述从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，具体包括：根据预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标。4.如权利要求3所述的方法，其特征在于，所述根据预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标，具体包括：根据所述预设条件，从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标；从所述P个跟踪目标中获取具有重叠区域的跟踪目标对集；从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述P个跟踪目标。5.如权利要求4所述的方法，其特征在于，所述从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述P个跟踪目标，具体包括：获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述P个跟踪目标。6.如权利要求1所述的方法，其特征在于，所述利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的M个子图像一一对应的M个跟踪器；根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述M个跟踪器中对应的跟踪器中进行跟踪。7.如权利要求1所述的方法，其特征在于，所述利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的所有跟踪目标一一对应的Q个跟踪器，Q为不小于0的整数；将第i帧全景图像中的每个跟踪目标添加到所述Q个跟踪器中对应的跟踪器中进行跟踪。8.如权利要求1所述的方法，其特征在于，在从所述初始帧全景图像分成的M个子图像中选取P个跟踪目标之后，所述方法还包括以下步骤：以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的M个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；利用第i帧全景图像中的M个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标。9.如权利要求1或8所述的方法，其特征在于，在得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标之后，所述方法还包括：将第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中。10.如权利要求1或8所述的方法，其特征在于，在得到第(i+1)帧全景图像中的M个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤：检测第(i+1)帧全景图像中的M个子图像中的每个跟踪目标是否均跟踪成功；在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟...

【专利技术属性】
技术研发人员：黄敏，陈卓，
申请(专利权)人：成都观界创宇科技有限公司，
类型：发明
国别省市：四川,51