【技术实现步骤摘要】
本专利技术属于人工智能，尤其涉及一种基于裁判员手势行为的赛事视频关键片段提取和描述方法。
技术介绍
1、在当前的体育赛事直播领域，随着计算机视觉和人工智能技术的快速发展，对比赛实况进行精确、实时的智能解读已经成为提升观众体验和辅助裁判判罚的重要手段，因此，对体育赛事视频关键片段提取和描述是一项亟待突破的技术挑战。
2、公布号为cn115115987a的中国专利技术专利公开了一种基于视觉视频分析技术的乒乓球智能导播技术方法，该专利技术专利利用识别技术对主副机位图像中的运动员的动作进行识别，根据识别结果实现体育赛事自动切换画面导播的功能，公布号为cn106507129a的中国专利技术专利公开了一种视频智能回放方法及设备，该专利技术专利实现回放有运动目标的视频，可针对有运动目标的场景进行选择性播放。但都是针对如柔术、中国式摔跤等运动员双方交互性强的体育赛事，对运动员本身的识别与分析以及对运动器材的状态识别会因为运动员接触动作动态变化且瞬息万变的赛场环境难以实现准确的识别，无法通过对运动员和运动器材识别进行视频关键片段的抽取，而且目前的方法多用于根据运动员关键动作进行信道切换导播，缺乏对于赛况的分析与描述。
技术实现思路
1、本专利技术的目的在于克服现有行为识别技术无法处理交互性强的体育赛事视频关键片段提取，以及抽取的体育赛事视频关键片段没有详细的赛况描述等缺点，提出了一种基于裁判员手势行为分析的体育赛事视频关键片段提取和描述方法。
2、为实现上述目的，本专利技术提
3、将视频文件或直播的视频流进行视频流的抽帧处理与缓存处理，获得帧图像；
4、通过自定义训练的检测模型对所述帧图像进行裁判员的检测，获得裁判员检测框；
5、对所述裁判员检测框内的区域进行人体骨骼关键点提取，并对裁判员的人体骨骼关键点间的“点--线--角”关系进行自定义规则的计算与逻辑判断，判断人体骨骼关键点间的关系是否满足对裁判员规则动作的描述，若不满足，继续通过自定义训练的检测模型对所述帧图像进行裁判员的检测，直至人体骨骼关键点间的关系满足对裁判员规则动作的描述后，聚焦裁判员的手部区域获取更细粒度的视频描述信息并进行逻辑判断；
6、判断是否满足视频关键片段抽取与描述的条件，若不满足，继续通过自定义训练的检测模型对所述帧图像进行裁判员的检测；若满足，输出并描述视频关键片段。
7、优选地，将视频文件或直播的视频流进行视频流的缓存处理的过程包括，
8、使用随视频流播放方向的滑窗式固定长度的列表缓存与更新视频片段，随播放方向按照删除距离当前时刻最早的一帧，插入当前帧的方式更新缓存列表，对提取和描述的视频关键片段进行本地保存或后续用于加工处理。
9、优选地，对所述裁判员检测框内的区域进行人体骨骼关键点提取的过程包括，
10、基于所述裁判员检测框内的区域，调用人体骨骼关键点提取技术，提取人体骨骼的关键点，进行人体骨骼关键点的特征提取与不可见点的预测；
11、所述人体骨骼关键点至少包括头、肩、臂、手、膝、踝。
12、优选地，所述自定义规则根据具体体育赛事中对裁判员的约束规范进行定义，至少包括比赛中，裁判员举手代表着比赛运动员的红方或者蓝方其中对应的一方获得一定分数，则此时人体骨骼关键点间的“点--线--角”关系计算定义为手腕、手肘和同侧的肩角三点的空间高度。
13、优选地，对裁判员的人体骨骼关键点间的“点--线--角”关系进行自定义规则的逻辑判断，包括但不限于，
14、当手腕、手肘和同侧的肩角三点呈现手腕的y轴坐标值小于手肘的y轴坐标值，且二者均小于同侧肩角的y轴坐标值，表示裁判员举手的动作，代表可对视频关键片段进行相应的得分描述。
15、优选地，所述聚焦裁判员的手部区域获取更细粒度的视频描述信息并进行逻辑判断的过程包括，
16、基于转换公式转换以裁判员检测框和以帧图像为相对坐标系的人体骨骼关键点，对满足逻辑判断的关键帧，选择代表左手腕的关键点和代表右手腕的关键点，根据手部区域聚焦公式进行手部区域框选，聚焦获得裁判员的手部区域；
17、基于所述裁判员的手部区域，调用手部骨骼关键点提取网络提取手部骨骼关键点，由判断公式判断每根手指的弯曲情况，识别各手指组合成的手势，进而获取用于视频关键片段的更细粒度的视频描述信息。
18、优选地，所述转换公式的表达式为：
19、
20、其中，xkeypoint和ykeypoint是以裁判员检测框为相对坐标系的人体骨骼关键点坐标，xroi和yroi是裁判员检测框的左上角顶点坐标，xframe和yframe是以帧图像为相对坐标系的人体骨骼关键点。
21、优选地，所述手部区域聚焦公式的表达式为：
22、
23、其中，xmin、ymin、xmax、ymax分别表示聚焦的手部区域左上角顶点坐标和右下角的顶点坐标，xwrist、ywrist分别表示手腕关键点的坐标，公式中运算的整数代表帧图像中像元的个数，frame_width和frame_height分别代表当前帧图像的图像宽度和高度。
24、优选地，所述判断公式的表达式为：
25、angle＝arccos((a2+b2-c2)/2ab)×57
26、
27、其中，a代表由手心向外至手指指向方向的第一个关节的欧几里得空间距离，b代表由手心向外至手指指向方向的第二个关节的欧几里得空间距离，c代表由手心向外至手指指向方向的第一个关节起始点与第二个关节的终止点的欧几里得空间距离，angle的值是利用余弦函数计算由手心向外至手指指向方向的第一个关节与第二个关节的夹角，arccos((a2+b2-c2)/2ab)乘上57是将弧度制转换为角度制，设置夹角阈值为155，当夹角angle大于等于阈值时，该手指判断为伸直状态，当夹角angle小于等于阈值时，该手指判断为弯曲状态。
28、优选地，所述判断是否满足视频关键片段抽取与描述的条件的过程包括，
29、当固定手势连续出现5帧时，则视为稳定的裁判员手势识别输出，当满足固定手势连续出现5帧时，抽取和描述缓存的视频关键片段进行本地保存。
30、与现有技术相比，本专利技术具有如下优点和技术效果：
31、本专利技术从裁判员的手势行为及其蕴含的特定指令或判定信息，比如得分、暂停、犯规等关键事件进行关键片段的抽取，相比于根据运动员和运动器材的状态识别间接进行视频关键片段抽取，本专利技术的方法更具有有效性和泛化性，尤其是得分类体育赛事，能够实现更直接的信息获取，在运动员被遮挡等情况下也能实现准确的识别和视频关键片段抽取；
32、本专利技术针对裁判手势可能存在的隐蔽性问题，创新性地对裁判员的手部区域进行了精细化聚焦处理。能够在复杂的比赛中不仅识别出一般性的手势动作，还本文档来自技高网...
【技术保护点】
1.一种基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，包括：
2.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，将视频文件或直播的视频流进行视频流的缓存处理的过程包括，
3.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，对所述裁判员检测框内的区域进行人体骨骼关键点提取的过程包括，
4.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述自定义规则根据具体体育赛事中对裁判员的约束规范进行定义，至少包括比赛中，裁判员举手代表着比赛运动员的红方或者蓝方其中对应的一方获得一定分数，则此时人体骨骼关键点间的“点--线--角”关系计算定义为手腕、手肘和同侧的肩角三点的空间高度。
5.根据权利要求4所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，对裁判员的人体骨骼关键点间的“点--线--角”关系进行自定义规则的逻辑判断，包括但不限于，
6.根据权利要求1所述的基于裁判员手势行为的赛事视
7.根据权利要求6所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述转换公式的表达式为：
8.根据权利要求6所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述手部区域聚焦公式的表达式为：
9.根据权利要求6所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述判断公式的表达式为：
10.根据权利要求6所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述判断是否满足视频关键片段抽取与描述的条件的过程包括，
...【技术特征摘要】
1.一种基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，包括：
2.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，将视频文件或直播的视频流进行视频流的缓存处理的过程包括，
3.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，对所述裁判员检测框内的区域进行人体骨骼关键点提取的过程包括，
4.根据权利要求1所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，其特征在于，所述自定义规则根据具体体育赛事中对裁判员的约束规范进行定义，至少包括比赛中，裁判员举手代表着比赛运动员的红方或者蓝方其中对应的一方获得一定分数，则此时人体骨骼关键点间的“点--线--角”关系计算定义为手腕、手肘和同侧的肩角三点的空间高度。
5.根据权利要求4所述的基于裁判员手势行为的赛事视频关键片段提取和描述方法，...
【专利技术属性】
技术研发人员：徐冰心，潘卫国，徐成，代松银，李鸿天，
申请(专利权)人：刘宏哲，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。