一种基于人工智能的跑步智能计时系统及方法技术方案

本发明专利技术公开了一种基于人工智能的跑步计时系统及方法，该系统包括：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；并应用于由跑道区和成绩区所组成的跑步场馆中，在跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌，且在跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄，在成绩区布置有工控机、显示屏和喇叭。本发明专利技术能利用人工智能实现对跑步时间的智能计时，从而能减轻老师的现场参与度且成绩公平、相比人工计时更准确。更准确。更准确。

【技术实现步骤摘要】
一种基于人工智能的跑步智能计时系统及方法


[0001]本专利技术属于人工智能领域，具体的说是一种基于人工智能的跑步计时系统及方法。

技术介绍

[0002]心肺耐力是指机体维持长时间运动或工作而不过早出现疲劳的能力，它是衡量人的体质健康状况和劳动工作能力的基本生理指标之一。目前采用男子1000米跑，女子800米跑来监测学生心肺耐力水平。因此，一种针对跑步计时的方法就十分有意义。然而目前大多数针对跑步者成绩测试都是采用人工计时，既费时间，也没有更多的裁判。因此设计一种快速、省时、省人力、又准确还能防止学生作弊的智能跑步计时系统及方法具有重要意义。

技术实现思路

[0003]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于人工智能的跑步计时系统及方法，以期能利用人工智能实现对跑步时间的智能计时，并能对违规情况及时反馈，从而能减轻老师的现场参与度且成绩公平、省时省力、相比人工计时更准确。
[0004]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0005]本专利技术一种基于人工智能的跑步计时系统的特点是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；
[0006]所述工控机上设置有：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；
[0007]所述数据采集模块利用2m个摄像头采集所有跑步者的跑步视频，并相应发送到所述预处理模块；
[0008]所述预处理模块对所接收到的当前跑步视频进行剪切，并提取剪切视频的视频关键帧，再对所述视频关键帧进行裁剪，得到目标数据集；
[0009]所述人员检测模块对目标数据集进行人员检测处理，得到当前跑步视频中跑步者的人数；
[0010]所述轨迹检测模块对目标数据集进行轨迹追踪处理，得到当前跑步视频中跑步者的移动轨迹；
[0011]所述号码检测模块对目标数据集进行号码检测处理，得到当前跑步视频中跑步者对应的编号；
[0012]所述逻辑判断模块根据当前跑步视频中跑步者的人数及其移动轨迹判定跑步者是否有违规现象；当存在违规时，根据相应的移动轨迹得到所对应的跑步者的编号并发送给成绩输出模块；
[0013]所述计时模块在跑步开始时，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像的时间戳t0并开始计时；
[0014]所述过线检测模块检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后重新开始计时和检测；否则继续计时和检测；
[0015]初始化q
j
＝0，表示第j个跑步者跑完0圈；
[0016]当第j个跑步者通过终点处所在的摄像区域时，令q
j
+1赋值给q
j
，直到q
j
＝max时，获取达到阈值时的终点处的摄像区域中摄像头的终点图像视频并发送给工控机；其中，max为所设定圈数的阈值；
[0017]所述过线检测模块检测终点图像视频中第j个跑步者脚的位置，以判断是否超出终点直线，若超出终点直线，则表示第j个跑步者跑步结束，并记录第j个跑步者达到终点的时间戳t
j
后，将第j个跑步者的计时结果发送给所述成绩输出模块；否则，继续检测；
[0018]所述号码检测模块检测终点图像视频中第j个跑步者的号码牌，并将检测结果发送给所述成绩输出模块；
[0019]所述成绩输出模块将第j个跑步者的计时结果与第j个跑步者的号码牌配对后，将第j个跑步者的成绩输出到所述显示屏中进行显示，并通过所述喇叭进行成绩播报。
[0020]本专利技术所述的一种基于人工智能的跑步计时系统的特点也在于，所述人员检测模块采用MaskRCNN实例分割神经网络进行人员检测处理，所述MaskRCNN实例分割神经网络包括：用于特征提取的深度残差网络ResNeXt
‑
101和特征金字塔网络FPN、用于提取RoI的区域建议网络RPN和ROIAlign层、用于目标检测和语义分割的分类器网络；
[0021]所述区域建议网络RPN包括：c1个卷积核大小为k1×
s1的卷积层，步长大小均为s1，c2个卷积核大小为k2×
s2的卷积层，步长大小均为s2；
[0022]所述分类器网络包括三个分支：全卷积网络的Mask分支、包含f1个全连接层的边界框回归分支、包含f2个全连接层的softmax分支；
[0023]将目标数据集输入到Mask RCNN实例分割神经网络中，经过所述深度残差网络ResNeXt
‑
101和特征金字塔FPN的特征提取，得到图像特征图；
[0024]所述图像特征图输入到区域建议网络RPN中，并经过c1个卷积层的卷积处理，得到anchor类别，同时所述c2个卷积层对图像特征图进行卷积处理，得到边框精调结果；
[0025]所述anchor类别和边框精调结果经过ROIAlign层，得到ROIAlign层特征图，再利用双线性插值对ROIAlign层特征图进行处理，得到感兴趣区域对齐后的特征图；
[0026]所述感兴趣区域对齐后的特征图输入到分类器网络中，经过Mask分支的全卷积处理，得到预测掩膜图像；
[0027]所述边界框回归分支对所述感兴趣区域对齐后的特征图和预测掩膜图像进行边界框回归，得到边界框坐标；
[0028]所述softmax分支对感兴趣区域对齐后的特征图进行softmax分类，得到目标类别；
[0029]以所述边框坐标和目标类别作为分割后的目标检测结果，即为跑步者的人数。
[0030]所述轨迹检测模块采用Deep Sort算法进行轨迹追踪处理，所述Deep Sort算法包括YOLOv5目标检测算法、非极大值抑制NMS算法、卡尔曼滤波算法和匈牙利算法；
[0031]所述YOLOv5目标检测算法用于提取目标数据集的深度特征，从而得到运动目标的候选框；
[0032]所述非极大值抑制NMS算法用于去除所述运动目标的候选框中的重叠框，从而得到运动目标检测框；
[0033]所述卡尔曼滤波算法用于对所述运动目标检测框在跑步视频中下一帧的位置和状态进行预测，得到运动目标检测框下一时刻的状态参数；
[0034]所述匈牙利算法对前后两帧之间若干个运动目标检测框进行最优匹配，得到运动目标检测框在跑步视频中的移动轨迹。
[0035]所述号码检测模块采用3D卷积神经网络进行号码检测处理，所述3D卷积神经网络包含一个硬连线hardwired层、c3个卷积层，卷积核大小均为k3×
s3，步长均为s，c3‑
1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的跑步计时系统，其特征是应用于由跑道区和成绩区所组成的跑步场馆中；所述跑道区的跑道上的n个跑步者各穿戴不同颜色的号码牌，每个跑步者的前面和后面均穿戴有同一颜色的号码牌；所述跑道区依次划分为m个摄像区域，在每个摄像区域的跑道上布置有2个摄像头，其中一个摄像头沿跑步方向正向拍摄，另一个摄像头逆向拍摄；在所述成绩区布置有工控机、显示屏和喇叭；所述工控机上设置有：数据采集模块、预处理模块、人员检测模块、轨迹检测模块、逻辑判断模块、号码检测模块、过线检测模块、计时模块和成绩输出模块；所述数据采集模块利用2m个摄像头采集所有跑步者的跑步视频，并相应发送到所述预处理模块；所述预处理模块对所接收到的当前跑步视频进行剪切，并提取剪切视频的视频关键帧，再对所述视频关键帧进行裁剪，得到目标数据集；所述人员检测模块对目标数据集进行人员检测处理，得到当前跑步视频中跑步者的人数；所述轨迹检测模块对目标数据集进行轨迹追踪处理，得到当前跑步视频中跑步者的移动轨迹；所述号码检测模块对目标数据集进行号码检测处理，得到当前跑步视频中跑步者对应的编号；所述逻辑判断模块根据当前跑步视频中跑步者的人数及其移动轨迹判定跑步者是否有违规现象；当存在违规时，根据相应的移动轨迹得到所对应的跑步者的编号并发送给成绩输出模块；所述计时模块在跑步开始时，获取起点处所在的摄像区域中逆向拍摄的摄像头的第一帧图像的时间戳t0并开始计时；所述过线检测模块检测第一帧图像中n个跑步者脚的位置，以判断是否超出起点直线，若超出起点直线，则判断为抢跑并通过喇叭播报后重新开始计时和检测；否则继续计时和检测；初始化q
j
＝0，表示第j个跑步者跑完0圈；当第j个跑步者通过终点处所在的摄像区域时，令q
j
+1赋值给q
j
，直到q
j
＝max时，获取达到阈值时的终点处的摄像区域中摄像头的终点图像视频并发送给工控机；其中，max为所设定圈数的阈值；所述过线检测模块检测终点图像视频中第j个跑步者脚的位置，以判断是否超出终点直线，若超出终点直线，则表示第j个跑步者跑步结束，并记录第j个跑步者达到终点的时间戳t
j
后，将第j个跑步者的计时结果发送给所述成绩输出模块；否则，继续检测；所述号码检测模块检测终点图像视频中第j个跑步者的号码牌，并将检测结果发送给所述成绩输出模块；所述成绩输出模块将第j个跑步者的计时结果与第j个跑步者的号码牌配对后，将第j个跑步者的成绩输出到所述显示屏中进行显示，并通过所述喇叭进行成绩播报。2.根据权利要求1所述的一种基于人工智能的跑步计时系统，其特征是，所述人员检测模块采用Mask RCNN实例分割神经网络进行人员检测处理，所述Mask RCNN实例分割神经网络包括：用于特征提取的深度残差网络ResNeXt
‑
101和特征金字塔网络FPN、用于提取RoI的
区域建议网络RPN和ROI Align层、用于目标检测和语义分割的分类器网络；所述区域建议网络RPN包括：c1个卷积核大小为k1×
s1的卷积层，步长大小均为s1，c2个卷积核大小为k2×
s2的卷积层，步长大小均为s2；所述分类器网络包括三个分支：全卷积网络的Mask分支、包含f1个全连接层的边界框回归分支、包含f2个全连接层的softmax分支；将目标数据集输入到Mask RCNN实例分割神经网络中，经过所述深度残差网络ResNeXt
‑
101和特征金字塔FPN的特征提取，得到图像特征图；所述图像特征图输入到区域建议网络RPN中，并经过c1个卷积层的卷积处理，得到anchor类别，同时所述c2个卷积层对图像特征图进行卷积处理，得到边框精调结果；所述anchor类别和边框精调结果经过ROI Align层，得到ROI Align层特征图，再利用双线性插值对ROI Align层特征图进行处理，得到感兴趣区域对齐后的特征图；所述感兴趣区域对齐后的特征图输入到分类器网络中，经过Mask分支的全卷积处理，得到预测掩膜图像；所述边界框回归分支对所述感兴趣区域对齐后的特征图和预测掩膜图像进行边界框回归，得到边界框坐标；所述softmax分支对感兴趣区域对齐后的特征图进行softmax分类，得到目标类别；以所述边框坐标和目标类别作为分割后的目标检测结果，即为跑步者的人数。3.根据权利要求1所述的一种基于人工智能的跑步计时系统，其特征是，所述轨迹检测模块采用Deep Sort算法进行轨迹追踪处理，所述Deep Sort算法包括YOLOv5目标检测算法、非极大值抑制NMS算法、卡尔曼滤波算法和匈牙利算法；所述YOLOv5目标检测算法用于提取目标数据集的深度特征，从而得到运动目标的候选框；所述非极大值抑制NMS算法用于去除所述运动目标的候选框中的重叠框，从而得到运动目标检测框；所述卡尔曼滤波算法用于对所述运动目标检测框在跑步视频中下一帧的位置和状态进行预测，得到运动目标检测框下一时刻的状态参数；所述匈牙利算法对前后两帧之间若干个运动...

【专利技术属性】
技术研发人员：唐义平，汪斌，祖慈，杨盛世，李帷韬，
申请(专利权)人：安徽一视科技有限公司，
类型：发明
国别省市：