轨道算出装置、轨道算出方法、计算机可读取记录介质制造方法及图纸

本发明专利技术提供轨道算出装置、轨道算出方法、计算机可读取记录介质。在基于多个照相机取得同步而拍摄到的图像数据来算出运动物体的三维空间的位置的情况下，需要内置取得同步的功能的照相机、取得多个照相机的同步的系统等高功能的器材、系统。另外，要求预先高精度地确定照相机位置。能够使用由相互不同步的多个照相机拍摄到的图像数据，算出作为目标的运动物体在三维空间中的轨道，由此解决上述问题。另外，根据在各个照相机的图像数据中共同存在的位置坐标确定了的多个基准点，算出各个照相机位置，由此解决上述问题。

【技术实现步骤摘要】
轨道算出装置、轨道算出方法、计算机可读取记录介质
本专利技术涉及轨道算出装置、轨道算出方法、记录有轨道算出程序的计算机可读取记录介质。
技术介绍
作为使用由多个照相机拍摄到的二维的图像数据来算出运动物体的三维空间的位置的装置，已知有基于多个照相机取得同步而拍摄到的图像(以下称为立体图像)数据来算出运动物体的三维空间的位置的装置。例如日本特开平11-66319号公报、日本特开2005-235104号公报中记载的装置等。另外，也能够根据立体图像数据求出运动物体的连续的三维位置，由此算出运动物体的轨道。例如，日本特开2005-235104号公报等。
技术实现思路
然而，在日本特开平11-66319号公报、日本特开2005-235104号公报所记载的装置中，需要多个照相机取得同步地进行拍摄。因此，在实现时，需要内置取得同步的功能的照相机、对多个照相机取得同步的系统等高功能的器材、系统。进而，为了取得同步，需要用线缆等连接两个照相机，因此照相机的配置位置受到限制。另外，为了基于图像数据算出运动物体的三维空间的位置，需要进行拍摄的照相机在三维空间中的位置信息等，因此要求预先高精度地确定照相机位置。优选利用固定地设置于拍摄所使用的设备的、被测量出位置的照相机(例如，设置于体育场设备的固定照相机等)的图像，但在体育运动等事件中，利用未固定地设置照相机的设备、野外空间的情况很多。在这样的情况下，要求抑制照相机位置的测量、设置工程等的成本来设置照相机，因此，能够在提高照相机位置的自由度的同时，仅根据照相机的拍摄数据来算出运动物体的三维空间的位置成为问题。在本专利技术的实施例中，能够使用由相互不同步的多个照相机拍摄到的图像数据，算出作为目标的运动物体在三维空间中的轨道，由此解决上述问题。因此，不需要内置取得同步的功能的照相机、取得多个照相机的同步的系统等高功能的器材、系统。另外，在本专利技术的实施例中，根据在各个照相机的图像数据中共同存在的三维空间中的位置坐标确定了的多个基准点，算出各个照相机的三维空间的位置，由此解决上述问题。因此，能够在抑制照相机位置的测量、设置工程等的成本的同时，提高照相机位置的自由度。本专利技术的实施例的轨道算出装置使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，该轨道算出装置具备：二维位置算出部，其能够根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出作为目标的运动物体在图像帧中的二维位置；存在面算出部，其能够根据由第一照相机拍摄并由二维位置算出部算出的作为目标的运动物体的二维位置以及与第一照相机有关的三维空间中的位置坐标和姿势，算出将由第一照相机拍摄到的连续的图像帧中的作为目标的运动物体的三维位置与第一照相机的镜头的光学中心点连结而构成的三维平面，来作为存在面；三维轨道算出部，其基于根据由第二照相机拍摄并由二维位置算出部算出的作为目标的运动物体的二维位置以及与第二照相机有关的三维空间中的位置坐标和姿势，将由第二照相机拍摄到的图像帧中的作为目标的运动物体的三维位置和第二照相机的镜头的光学中心点连结而得的直线与存在面算出部算出的存在面相交的点，算出作为目标的运动物体在三维空间中的轨道。此外，在本说明书中，所谓照相机的姿势，是指算出作为目标的运动物体在三维空间中的轨道所需的表现照相机的状态的参数的组合。详细内容在后述的实施方式中进行说明。在本说明书中，只要是算出作为目标的运动物体在三维空间中的轨道所需的能够表现照相机的状态的参数的组合即可，并不限定于后述的实施方式中的参数的组合。另外，本专利技术的实施例的轨道算出装置具备：照相机信息算出部，其能够根据在图像帧内的图像数据中存在的三维空间中的坐标确定了的多个基准点，算出与拍摄到图像数据的照相机有关的三维空间中的位置坐标和姿势。进而，本专利技术的实施例的轨道算出装置中，照相机信息算出部从设置在不同位置的多个照相机中，选择光轴最接近垂直的两个照相机作为第一照相机和第二照相机。本专利技术的实施例的轨道算出装置的特征在于，照相机信息算出部选择光轴与作为目标的运动物体的运动方向最接近垂直的照相机作为第二照相机。由此，能够从设置在不同位置的多个照相机中选定进行精度更高的轨道计算的照相机。另外，在本专利技术的实施例的轨道算出方法中，使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，轨道算出方法具有：二维位置算出步骤，根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出作为目标的运动物体在图像帧中的二维位置；存在面算出步骤，根据由第一照相机拍摄并通过二维位置算出步骤算出的作为目标的运动物体的二维位置以及与第一照相机有关的三维空间中的位置坐标和姿势，算出将由第一照相机拍摄到的连续的图像帧中的作为目标的运动物体的三维位置与第一照相机的镜头的光学中心点连结而构成的三维平面，来作为存在面；三维轨道算出步骤，基于根据由第二照相机拍摄并通过二维位置算出步骤算出的作为目标的运动物体的二维位置以及与第二照相机有关的三维空间中的位置坐标和姿势，将由第二照相机拍摄到的图像帧中的作为目标的运动物体的三维位置和第二照相机的镜头的光学中心点连结而得的直线与通过存在面算出步骤算出的存在面相交的点，算出作为目标的运动物体在三维空间中的轨道。另外，在本专利技术的实施例的轨道算出方法中，具有：照相机信息算出步骤，根据在图像帧内的图像数据中存在的三维空间中的坐标确定了的多个基准点，算出与拍摄到图像数据的照相机有关的三维空间中的位置坐标和姿势。在本专利技术的实施例的轨道算出程序中，使计算机发挥功能，以使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，轨道算出程序使计算机执行如下步骤：二维位置算出步骤，根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出作为目标的运动物体在图像帧中的二维位置；存在面算出步骤，根据由第一照相机拍摄并通过二维位置算出步骤算出的作为目标的运动物体的二维位置以及与第一照相机有关的三维空间中的位置坐标和姿势，算出将由第一照相机拍摄到的连续的图像帧中的作为目标的运动物体的三维位置与第一照相机的镜头的光学中心点连结而构成的三维平面，来作为存在面；三维轨道算出步骤，基于根据由第二照相机拍摄并通过二维位置算出步骤算出的作为目标的运动物体的二维位置以及与第二照相机有关的三维空间中的位置坐标和姿势，将由第二照相机拍摄到的图像帧中的作为目标的运动物体的三维位置和第二照相机的镜头的光学中心点连结而得的直线与通过存在面算出步骤算出的存在面相交的点，算出作为目标的运动物体在三维空间中的轨道。另外，本专利技术的实施例的轨道算出程序使计算机执行照相机信息算出步骤，在照相机信息算出步骤中，根据在图像帧内的图像数据中存在的三维空间中的坐标确定了的多个基准点，算出与拍摄到图像数据的照相机有关的三维空间中的位置坐标和姿本文档来自技高网...

【技术保护点】
1.一种轨道算出装置，使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，其特征在于，/n所述轨道算出装置具备：/n二维位置算出部，其根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出所述作为目标的运动物体在所述图像帧中的二维位置；/n存在面算出部，其根据由第一照相机拍摄并由所述二维位置算出部算出的所述作为目标的运动物体的二维位置以及与所述第一照相机有关的所述三维空间中的位置坐标和姿势，算出将由所述第一照相机拍摄到的连续的图像帧中的所述作为目标的运动物体的三维位置与所述第一照相机的镜头的光学中心点连结而构成的三维平面，来作为存在面；/n三维轨道算出部，其基于根据由第二照相机拍摄并由所述二维位置算出部算出的所述作为目标的运动物体的二维位置以及与所述第二照相机有关的所述三维空间中的位置坐标和姿势，将由所述第二照相机拍摄到的图像帧中的所述作为目标的运动物体的三维位置和所述第二照相机的镜头的光学中心点连结而得的直线与所述存在面算出部算出的存在面相交的点，算出所述作为目标的运动物体在所述三维空间中的轨道。/n...

【技术特征摘要】
20191030 JP 2019-1971991.一种轨道算出装置，使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，其特征在于，
所述轨道算出装置具备：
二维位置算出部，其根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出所述作为目标的运动物体在所述图像帧中的二维位置；
存在面算出部，其根据由第一照相机拍摄并由所述二维位置算出部算出的所述作为目标的运动物体的二维位置以及与所述第一照相机有关的所述三维空间中的位置坐标和姿势，算出将由所述第一照相机拍摄到的连续的图像帧中的所述作为目标的运动物体的三维位置与所述第一照相机的镜头的光学中心点连结而构成的三维平面，来作为存在面；
三维轨道算出部，其基于根据由第二照相机拍摄并由所述二维位置算出部算出的所述作为目标的运动物体的二维位置以及与所述第二照相机有关的所述三维空间中的位置坐标和姿势，将由所述第二照相机拍摄到的图像帧中的所述作为目标的运动物体的三维位置和所述第二照相机的镜头的光学中心点连结而得的直线与所述存在面算出部算出的存在面相交的点，算出所述作为目标的运动物体在所述三维空间中的轨道。


2.根据权利要求1所述的轨道算出装置，其特征在于，
所述轨道算出装置具备：照相机信息算出部，其根据在图像帧内的图像数据中存在的所述三维空间中的坐标确定了的多个基准点，算出与拍摄到所述图像数据的照相机有关的所述三维空间中的位置坐标和姿势。


3.根据权利要求2所述的轨道算出装置，其特征在于，
所述照相机信息算出部从设置在不同位置的多个照相机中，选择光轴最接近垂直的两个照相机作为所述第一照相机和所述第二照相机。


4.根据权利要求2或3所述的轨道算出装置，其特征在于，
所述照相机信息算出部选择光轴与所述作为目标的运动物体的运动方向最接近垂直的照相机作为所述第二照相机。


5.一种轨道算出方法，使用从设置在不同位置的相互不同步的多个照相机中选择出的两个照相机的图像数据，算出拍摄到的作为目标的运动物体在三维空间中的轨道，其特征在于，
所述轨道算出方法具有：
二维位置算出步骤，根据由照相机拍摄到的图像帧内的图像数据来检测作为目标的运动物体，算出所述作为目标的运动物体在所述图像帧中的二维位置；
存在面算出步骤，根据由第一照相机拍摄并通过所述二维位置算出步骤算出的所述作为目标的运动物体的二维位置以及与所述第一照相机有关的所述三维空间中的位置...

【专利技术属性】
技术研发人员：林建一，南部俊辅，
申请(专利权)人：广赛布托有限公司，
类型：发明
国别省市：日本;JP