【技术实现步骤摘要】
本专利技术涉及视频图像分析领域，尤其涉及一种基于卷积神经网络的箭靶自动识别方法及系统。
技术介绍
1、射箭作为一项历史悠久的运动，在现代登上了大型国际赛事的舞台。射箭运动员的数量日渐庞大，射箭也逐渐从一个小众的运动项目发展为更大众的爱好。然而现如今，无论是大型国际赛事还是小型射箭场馆，在报靶方面，得分播报及统计仍停留在人工阶段，需要人通过小型望远镜观察几十米外靶子具体情况，这样的方法危险且低效。因而，将深度神经网络应用在箭靶图像的箭矢目标识别上，使传统运动与现代科技结合起来，是很有必要的。
技术实现思路
1、为了解决现有技术中远距离识别箭靶困难的问题，本专利技术提供了一种基于卷积神经网络的箭靶自动识别方法，其包括：
2、s1、获取箭靶的rgb视频图像，将各帧进行仿射变换以及图像截取，形成统一大小的原始rgb图像，从而得到rgb视频帧图像序列；
3、s2、对rgb视频帧图像序列通过比较相邻帧变化获取关键帧信息；
4、s3、对s2中所得的rgb视频帧图像序列中的关键帧进行目标检测，得到初检的视频帧箭矢坐标位置及角度信息；
5、s4、采用作差的方法，提取s2中的关键帧与前一帧非关键帧的差异，获得目标图片，并对目标图片进行处理，获得带有箭矢信息的二值图像；
6、s5、结合s3获得的箭矢坐标位置及角度信息及s4获得的带有箭矢信息的二值图像，确定箭矢目标的关键点位置。
7、本专利技术的进一步改进在于，步骤s1具体包括：p>
8、s11、使用网络摄像头捕获箭靶图像，通过流媒体技术获取其rtsp流，并使用图像队列捕获rgb视频图像；
9、s12、利用尺度不变特征转换，获取原始rgb图像与模板图像的匹配特征点，并获得其单应性矩阵，进行仿射变换，最后将图像截取处理为统一大小尺寸的原始rgb图像。
10、本专利技术的进一步改进在于，步骤s2中采用三帧帧间差法，由前中后三帧组成，前中和中后两帧分别两两组成图像帧对，通过算法判别后，对于组成这些帧对的图像帧进行更新。
11、本专利技术的进一步改进在于，步骤s3中采用的目标检测模型的构建包括以下步骤：
12、s301、采集射箭箭靶图像数据集，包括多种天气条件，多种拍摄角度，多种箭矢数量的箭靶图像组成，对图像中的箭矢目标进行人工标注，并划分训练集和测试集；
13、s302、根据射箭箭靶箭矢识别这一应用场景设计卷积神经网络模型；
14、s303、设定超参数，采用训练集对卷积神经网络模型进行训练，并采用测试集对其验证。
15、本专利技术的进一步改进在于，步骤s3具体包括：
16、s31、对提取到的关键帧rgb图像进行s×s的网格划分；
17、s32、对于每个网格，负责预测b个边界框。对于每个边界框，输出包括边界框的位置信息(x,y,w,h)，每个边界框是目标的置信度，每个边界框区域在箭矢类别上的概率，以及当预测框是箭矢目标时，检测框的倾斜角度，并计算各边界框含有目标的可能性大小pr(object)以及边界框的准确度，边界框的准确度采用预测框与实际框的交并比iou来表示；将边界框含有目标的可能性大小pr(object)乘以该边界框的iou得到该边界框的置信度c；
18、s33、根据s32中预测，可以得到s×s×b个目标窗口，然后根据阈值去除可能性比较低的目标窗口，最后使用非极大值抑制算法去除冗余窗口。
19、本专利技术的进一步改进在于，步骤s4具体包括：
20、s41、对于步骤s2中所述两个图像帧对，分别进行图像差减，并进行颜色空间转换，获得初始二值图。
21、s42、对于步骤s41所获得初始二值图，进行形态学处理，并利用霍夫变换进行直线检测和轮廓检测，获得处理后的包含箭矢信息的二值图。
22、本专利技术的进一步改进在于，步骤s5中，结合将处理好的rgb图像输入步骤s3的训练好的卷积神经网络，获得的初检的视频帧箭矢坐标位置及角度信息，以及步骤s4得到的所述的包含箭矢信息的二值图中箭矢位置信息，两者取均值得到最终的箭矢精确坐标。
23、本专利技术还提供一种基于卷积神经网络的箭靶自动识别系统，其采用上述的基于卷积神经网络的箭靶自动识别方法对箭靶进行检测。
24、本专利技术提供的装置具有以下技术效果：
25、1、本专利技术的目标识别网络模型高效，可以实现实时准确的视频目标确认和识别，运行速度大幅提升；使得本专利技术可运行于低功耗，低空间占用的移动端平台，符合射箭运动需要的室外部署，方便移动的需求；
26、2、本专利技术基于卷积神经网络的箭靶自动识别方法及系统模块化设计，通过对深度网络模型的通用模块化设计和建立一套模型分析连接机制，本专利技术可以适应户外射箭场景下的不同复杂环境的箭靶视频序列，可有效保证视频理解系统的鲁棒性与普适性。
27、以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
本文档来自技高网...【技术保护点】
1.一种基于卷积神经网络的箭靶自动识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S1具体包括：
3.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S2中采用三帧帧间差法，由前中后三帧组成，前中和中后两帧分别两两组成图像帧对，通过算法判别后，对于组成这些帧对的图像帧进行更新。
4.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S3中采用的目标检测模型的构建包括以下步骤：
5.根据权利要求4所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S3具体包括：
6.根据权利要求5所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S4具体包括：
7.根据权利要求6所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤S5中，结合将处理好的RGB图像输入步骤S3的训练好的卷积神经网络，获得的初检的视频帧箭矢坐标位置及角度信息，以及步骤S4得到的所述的包含箭矢信息的二值图
8.一种基于卷积神经网络的箭靶自动识别系统，其特征在于，采用权利要求1至7中任一所述的基于卷积神经网络的箭靶自动识别方法对箭靶进行检测。
...【技术特征摘要】
1.一种基于卷积神经网络的箭靶自动识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤s1具体包括：
3.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤s2中采用三帧帧间差法，由前中后三帧组成，前中和中后两帧分别两两组成图像帧对，通过算法判别后，对于组成这些帧对的图像帧进行更新。
4.根据权利要求1所述的一种基于卷积神经网络的箭靶自动识别方法，其特征在于，步骤s3中采用的目标检测模型的构建包括以下步骤：
5.根据权利要求4所述的一种基于卷积神经网络的箭靶自动...
【专利技术属性】
技术研发人员：王坤，林思伶，黄涛，陈诚，柳文希，陈海宝，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。