当前位置: 首页 > 专利查询>英特尔公司专利>正文

比赛状态检测和轨迹融合制造技术

技术编号:32261978 阅读:32 留言:0更新日期:2022-02-12 19:22
本文描述了用于比赛状态检测和轨迹融合的示例系统。该系统包括跟踪器,用于基于来自多个相机的图像获得球位置和选手位置,以及融合控制器,用于组合经由球位置检测到的多个轨迹以获得融合轨迹。该系统还包括被配置为对比赛模式进行建模的有限状态机,其中,经由作为有限状态机的输入的球位置、选手位置和融合轨迹来确定比赛状态。迹来确定比赛状态。迹来确定比赛状态。

【技术实现步骤摘要】
【国外来华专利技术】比赛状态检测和轨迹融合

技术介绍

[0001]多个相机被用于捕捉场景中的活动,并且使得终端用户能够观看场景并且在整个场景中进行完全360度的移动。例如,多个相机可用于捕捉体育比赛,并且终端用户可以在整个比赛场地上自由移动。终端用户也可以从虚拟相机观看比赛。
附图说明
[0002]图1包括比赛状态监视器和沉浸式观看模块;
[0003]图2是图示出比赛场地的框图;
[0004]图3是图示出将一个比赛回合解析为多个状态的框图;
[0005]图4是图示出带有美式橄榄球比赛中的进攻的状态和阶段的时间线的框图;
[0006]图5是比赛状态转变图;
[0007]图6A是多个轨迹的图示;
[0008]图6B是融合轨迹的图示;
[0009]图7是用于比赛状态检测的方法的过程流程图;
[0010]图8是多相机球定位方法的过程流程图的图示;
[0011]图9是图示出用于球位置融合的方法的过程流程图;
[0012]图10是用于结合球位置融合的比赛状态检测的方法的过程流程图;
[0013]图11是图示出比赛状态检测和轨迹融合的框图;并且
[0014]图12是示出存储用于比赛状态检测和轨迹融合的代码的计算机可读介质的框图。
[0015]相同的数字在本公开和附图各处始终被用于提及相似的组件和特征。100系列的数字指代最初出现于图1中的特征;200系列的数字指代最初出现于图2中的特征;等等依此类推。
具体实施方式
[0016]体育赛事和其他竞赛经常被广播,供终端用户娱乐。这些比赛可被以各种格式渲染。例如,比赛可以被渲染为二维视频或三维视频。可以使用定位在整个比赛场地周围的一个或多个高分辨率相机来捕捉比赛。多个相机可以捕捉包括比赛场地在内的整个三维体积空间。在实施例中,相机系统可以包括多个超高分辨率相机来进行体积捕捉。终端用户可以观看比赛的动作,并且在捕捉的体积中自由移动。此外,终端用户可以从虚拟相机观看比赛,该虚拟相机通过在三维体积空间中跟随球或特定选手来跟随场地内的动作。提供这样的沉浸式体验可能一部分是基于对球和选手的自动实时高准确度跟踪。此外,如本文描述的系统还自动跟踪球,并且在比赛进行期间实时检测高光时刻。通过这种方式,向终端用户实时提供沉浸式媒体体验。
[0017]本技术经由若干个模块来实现比赛状态检测。这些模块可以基于比赛状态被启用或禁用。就本文使用的而言,比赛状态可以指比赛的特定状态。比赛的状态可以对应于特定的比赛回合、比赛期间的特定中断时间、特殊打法、加时赛、比分、持球的球队、不持球的球
队、比赛时钟、比赛回合期间剩余的时间、或者这些的任何组合。通过这种机制,可以监视比赛状态,并且动态地配置计算模块来提供一种高效且节约(cast

saving)的系统。此外,本技术使得能够在比赛期间检测球,包括在球是可见的和不可见的时候。如果球是可见的,则使用直接物体检测算法。否则,可以基于持球选手的位置来检测球位置。可以从持球选手的位置推断球位置,并且根据融合算法将其与其他球位置相融合。
[0018]就本文使用的而言,比赛(game)可以指根据一组规则的某种形式的游戏。可以为休闲、娱乐或成就而打比赛。比赛可以有观看比赛的一群观众。观众可以被称为终端用户。比赛可以是竞争性的,并且被组织成使得对立的个人或团队竞争取胜。胜利是指第一个人或第一团队被承认为战胜了其他个人或团队。胜利也可能导致个人或团队达到或确保一项成就。经常,比赛是在某个场地、球场、竞技场内或者指定用于打比赛的其他一些区域上进行的。指定用于打比赛的区域通常包括标记、门柱、网等等,以促进比赛的进行。为了易于描述,使用足球来描述本技术。然而,根据本技术可以使用任何比赛。
[0019]图1是比赛状态检测的使用的框图。在实施例中,可以根据比赛状态来监视比赛的状态。基于比赛状态,各种模块可被用来在比赛内实现沉浸式媒体体验。在一些情况下,沉浸式媒体体验是实时提供的。或者,沉浸式媒体体验可以是对先前比赛的重放。在本文描述的沉浸式媒体体验中,终端用户可以在比赛场地内完全360度自由移动地跟随球和选手。
[0020]图1包括比赛状态监视器102和沉浸式观看模块104。比赛状态监视器可包括球和选手跟踪模块110和比赛状态检测模块112。比赛状态监视器102可以向沉浸式观看模块104提供诸如球位置、选手位置和比赛状态之类的信息。如图所示,来自球和选手跟踪模块110的信息可以被比赛状态检测模块112使用。如下所述,球的移动或选手的移动可能导致比赛进入多个状态中的一个状态。因此,可以基于球、选手的特定位置以及应用于球、选手的动作来确定比赛的状态。在块110处的球和选手跟踪中,可以通过首先调整图像的大小来检测球。然后,该图像可被分割成多个限界框和类别概率。单个卷积网络可以同时预测多个限界框和多个框的类别概率。每个限界框可以与一物体相关联。可以使用完整的图像来训练单个卷积网络。在一些情况下,训练图像可以是与特定体育运动相关联的图像。在实施例中,球是相对较小的。例如,当被渲染时,球在1k图像中可能是大约20个像素。从而,可以使用小的限界框来跟踪球。球和选手跟踪模块使用检测相对微小的球的深度卷积神经网络(convolutional neural network,CNN)技术。在实施例中,可以在多相机框架中基于你只用看一次(you only look once,YOLO)方案来检测球。
[0021]在块110,选手检测和跟踪可以根据各种模式基于选手在比赛场地内的布局而发生。选手检测和跟踪也可以根据各种模式基于选手在比赛场地内的移动而发生。每个选手检测模式为不同的目的而为不同的性能建模。例如,“快速”选手检测和跟踪模式使用简单但快速的模型来检测选手,而精细选手检测和跟踪模式使用复杂、准确的模型来检测帧中的选手。在比赛状态监视器102中,快速模式被用来快速找到选手,并且快速知道有多少选手在比赛场地内以及他们的布局。在一些情况下,如果比赛场地内的选手的数目不正确,则比赛可能处于中断状态。如果选手处于被识别为比赛布局的位置内,则比赛可能处于比赛开始状态。例如,在美式橄榄球中,列队成开球阵型可能表明状态是比赛的开始或下半场比赛的开始。列队成弃踢回攻阵型可能表明发生了易手。此外,两只球队沿着争球线列队表明进攻的开始。在实施例中,比赛状态可以由选手的特定阵型或套组来指示。
[0022]比赛状态监视器102可以向沉浸式观看模块104提供诸如球位置或轨迹、选手位置或轨迹和比赛状态之类的信息或者这些的任何组合。在实施例中,沉浸式观看模块104能够实现比赛的沉浸式体验。沉浸式观看模块104包括预先选手检测和跟踪模块120。预先选手检测和跟踪模块可以在考虑到帧中的遮挡和多个选手的情况下实现对选手的高度准确的检测和跟踪。球队分类模块122可用于将比赛场地内的每个选手指派到特定的球队。在实施例中,球队分类模块122使得每个球队的选手能够被分组在一起,以便进一步渲染或处理。轨迹优化模块124对比赛期间本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于比赛状态检测的系统,包括:跟踪器,用于基于来自多个相机的图像获得球位置和选手位置;融合控制器,用于组合经由所述球位置检测到的多个轨迹以获得融合轨迹;以及有限状态机,被配置用于对比赛模式进行建模,其中,经由作为所述有限状态机的输入的所述球位置、所述选手位置和所述融合轨迹来确定比赛状态,所述有限状态机包括:多个状态,其中所述多个状态中的每个状态是所述比赛期间的事件发生;以及多个阶段,其中每个阶段对应于从第一状态到第二状态发生的动作。2.如权利要求1所述的系统,其中,至少一个模块基于由所述有限状态机确定的所述比赛的状态而被禁用。3.如权利要求1所述的系统,包括多个转变条件,其中所述转变条件指示出所述多个阶段中的至少一个阶段的结束。4.如权利要求1所述的系统,其中,所述跟踪器在整个所述比赛期间经由直接球检测来获得所述球位置,并且所述跟踪器在持球选手持有球的情况下经由持球选手跟踪来获得所述球位置。5.如权利要求1所述的系统,其中,所述融合控制器用于基于与预测的球轨迹的比较来组合所述多个轨迹。6.如权利要求1所述的系统,其中,用于获得所述球位置的跟踪的类型是基于所述有限状态机的状态的。7.如权利要求1所述的系统,其中,响应于经由光学方案的准确球检测,所述跟踪器用于基于检测到的球的位置来跟踪所述球。8.如权利要求1所述的系统,其中,响应于在球检测期间对球的部分或完全遮挡,所述跟踪器用于基于由持球选手持有的球的推断位置来跟踪所述球。9.如权利要求1所述的系统,其中,所述选手位置是基于在每个相机视图中应用到所述选手的限界框来确定的。10.如权利要求1所述的系统,其中,所述多个状态是基于所述比赛的比赛规则的。11.一种用于比赛状态检测的方法,包括:基于来自多个相机的图像获得球位置和选手位置;组合经由所述球位置检测到的多个轨迹以获得融合轨迹;并且对比赛模式进行建模,其中,经由作为有限状态机的输入的所述球位置、所述选手位置和所述融合轨迹来确定比赛状态,所述有限状态机包括:多个状态,其中所述多个状态中的每个状态是所述比赛期间的事件发生;以及多个阶段,其中每个阶段对应于从第一状态到第二状态发生的动作。12.如权利要求11所述的方法,其中,至少一个模块基于由所述有限状态机确定的所述比赛的状...

【专利技术属性】
技术研发人员:童晓峰栗强李文龙林海华陆明
申请(专利权)人:英特尔公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利