基于深度学习的足球比赛行为识别方法、装置及终端设备制造方法及图纸

本发明专利技术属于计算机技术领域，尤其涉及一种基于深度学习的足球比赛行为识别方法、装置、计算机可读存储介质及终端设备。所述方法首先获取待识别的足球比赛视频，然后将所述足球比赛视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像，N为大于1的整数，最后使用预设的深度学习网络模型对所述输入图像进行处理，得到与所述足球比赛视频对应的行为识别结果。通过本发明专利技术实施例，使用Inception网络模型学习所述输入图像每一帧中的像素点之间的关系，使用三维ResNet网络模型学习所述输入图像各帧之间的关系，大大简化了行为识别的过程，减少了现有技术中多个复杂步骤叠加造成的精度损失，在减少耗费时长的同时，也提高了最终识别结果的精度。

Method, device and terminal device of soccer game behavior recognition based on deep learning

【技术实现步骤摘要】
基于深度学习的足球比赛行为识别方法、装置及终端设备
本专利技术属于计算机
，尤其涉及一种基于深度学习的足球比赛行为识别方法、装置、计算机可读存储介质及终端设备。
技术介绍
行为识别的目标是识别在现实生活中建立起来的人类共同行为。精确的行为识别具有挑战性，因为人类行为具有复杂性、高度多样化等特征。足球比赛视频中的运动员行为是一种有计划、高协同性的多运动员(智能体)的团队行为。现有技术中在进行足球比赛行为识别时，建模复杂，需要从运动员的运动轨迹中获得的位置和速度、变化的人数及行为之间的时空变化的集合等低层特征来建模，整个行为识别过程需要包括如下的步骤：1)对整个足球比赛视频中的运动目标进行分割；2)对球员进行跟踪和检测；3)对足球进行跟踪和检测；4)对球员和裁判进行分类；5)对足球比赛位置进行确定等，整个过程极为复杂，导致耗时极长。而且由于每个步骤中均会存在一定的精度偏差，多个复杂步骤叠加在一起，导致最终识别结果的精度较低。
技术实现思路
有鉴于此，本专利技术实施例提供了一种基于深度学习的足球比赛行为识别方法、装置、计算机可读存储介质及终端设备，以解决现有的足球比赛行为识别方法耗时极长本文档来自技高网...

【技术保护点】
1.一种基于深度学习的足球比赛行为识别方法，其特征在于，包括：获取待识别的足球比赛视频；将所述足球比赛视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像，N为大于1的整数；使用预设的深度学习网络模型对所述输入图像进行处理，得到与所述足球比赛视频对应的行为识别结果，其中，所述深度学习网络模型由Inception网络模型和三维ResNet网络模型级联组成，所述Inception网络模型用于学习所述输入图像每一帧中的像素点之间的关系，所述三维ResNet网络模型用于学习所述输入图像各帧之间的关系。

【技术特征摘要】
1.一种基于深度学习的足球比赛行为识别方法，其特征在于，包括：获取待识别的足球比赛视频；将所述足球比赛视频划分为N个视频段，并从各个视频段中分别抽取一帧图像作为输入图像，N为大于1的整数；使用预设的深度学习网络模型对所述输入图像进行处理，得到与所述足球比赛视频对应的行为识别结果，其中，所述深度学习网络模型由Inception网络模型和三维ResNet网络模型级联组成，所述Inception网络模型用于学习所述输入图像每一帧中的像素点之间的关系，所述三维ResNet网络模型用于学习所述输入图像各帧之间的关系。2.根据权利要求1所述的足球比赛行为识别方法，其特征在于，所述Inception网络模型由M个Inception模块级联组成，其中，第m个Inception模块的数据处理过程包括：根据下式获取第m个Inception模块的输入数据：其中，1≤m≤M，M为大于1的整数，InputImage为所述输入图像，OutputInceptionm-1为第m-1个Inception模块的输出数据，InputInceptionm为第m个Inception模块的输入数据；采用CN个不同尺度的卷积核分别对第m个Inception模块的输入数据进行卷积操作，提取出第m个Inception模块的输入数据在各个不同尺度下的特征数据，CN为大于1的整数；对第m个Inception模块的输入数据进行池化处理，提取出第m个Inception模块的输入数据的池化数据；将第m个Inception模块的输入数据的池化数据以及在各个不同尺度下的特征数据合并为第m个Inception模块的输出数据。3.根据权利要求1所述的足球比赛行为识别方法，其特征在于，所述三维ResNet网络模型由R个三维卷积模块级联组成，其中，第r个三维卷积模块的数据处理过程包括：根据下式获取第r个三维卷积模块的输入数据：其中，1≤r≤R，R为大于1的整数，InputResNet为所述三维ResNet网络模型的输入数据，也即所述Inception网络模型的输出数据，OutputConvr-1为第r-1个三维卷积模块的输出数据，InputConvr为第r个三维卷积模块的输入数据；对第r个三维卷积模块的输入数据进行空间卷积操作，提取出第r个三维卷积模块的输入数据的空间特征数据；对第r个三维卷积模块的输入数据的空间特征数据进行时间卷积操作，提取出第r个三维卷积模块的输入数据的时空特征数据。4.根据权利要求1所述的足球比赛行为识别方法，其特征在于，所述从各个视频段中分别抽取一帧图像作为输入图像包括：从所述足球比赛视频的第1个视频段中任意抽取一帧图像作为第1帧输入图像；分别计算所述足球比赛视频的第n个视频段中的各帧图像与第n-1帧输入图像之间的图像相似度，2≤n≤N；从第n个视频段中的各帧图像中选取与第n-1帧输入图像之间的图像相似度最小的一帧图像作为第n帧输入图像。5.根据权利要求1至4中任一项所述的足球比赛行为识别方法，其特征在于，所述深度学习网络模型的训练过程包括：从预设的数据库中获取训练样本集合，所述训练样本集合中包括各个训练样本，且每个训练样本均包括从一个足球比赛视频中抽取的样本输入图像以及与所述样本输入图像对应的行为类别；使用所述训练样本集合对所述深度学习网络模型进行训练，在训练过程中，将各个训练样本中的样本输入图像作为输入...

【专利技术属性】
技术研发人员：雷晨雨，李曼，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44