当前位置: 首页 > 专利查询>暨南大学专利>正文

基于YOLOV5算法的拾球机控制方法、装置及存储介质制造方法及图纸

技术编号:38592905 阅读:7 留言:0更新日期:2023-08-26 23:31
本申请涉及基于YOLOV5算法的拾球机控制方法、装置及存储介质,该方法包括:获取羽毛球训练过程中的视频,视频包括多帧视频图像帧;利用预训练的球体识别网络,在每帧视频图像帧中检测候选球体,确定候选球体对应的包围盒,球体识别网络是基于YOLOV5算法,采用预设的融合浅层特征作为YOLOV5算法的浅层特征所训练的神经网络,融合浅层特征是浅层特征和预设的深层特征进行融合所生成的;根据包围盒与对应视频图像帧的中线的距离信息,从候选球体筛选出目标球体;按预设的移动驱动模式,控制拾球机驶向与目标球体所处位置对应的实景场地位置,以风力吸取处于实景场地位置上的羽毛球。通过本申请,解决了对羽毛球进行识别的方案存在检测精准度及拾球效率低的问题。在检测精准度及拾球效率低的问题。在检测精准度及拾球效率低的问题。

【技术实现步骤摘要】
基于YOLOV5算法的拾球机控制方法、装置及存储介质


[0001]本申请涉及人工智能
,特别是基于YOLOV5算法的拾球机控制方法、装置及存储介质。

技术介绍

[0002]羽毛球作为世界的一大球类运动,很受人们的喜爱,越来越多的人加入了羽毛球训练的队伍中,然而,羽毛球需要重复拾球的特性,增加受训人员的无效体力消耗,浪费有效的训练时间。
[0003]拾球机领域中,习知的捡球机主要面向篮球、足球、乒乓球等规则球类,在拾球机领域中,尚缺少有效的对羽毛球这类不规则且易损球体进行拾取的拾球机,相关技术中的拾球机通过遥控/固定路线巡航等方式规划路线,拾取效率低、拾球时间长且场地适应性低;同时,相关技术中,采用人工智能或神经网络对羽毛球这类不规则且易损的球体进行识别的方案,因球体较小,且球体在使用中损伤程度变化较大,造成球体检测精准度低,拾球机的拾球效率低、使用效果不佳。
[0004]目前针对相关技术中对羽毛球进行识别的方案存在检测精准度及拾球效率低的问题,尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种基于YOLOV5算法的拾球机控制方法、装置及存储介质,以及电子装置,以至少解决相关技术中对羽毛球进行识别的方案存在检测精准度及拾球效率低的问题。
[0006]第一方面,本申请实施例提供了一种基于YOLOV5算法的拾球机控制方法,包括:获取羽毛球训练过程中的视频,其中,所述视频包括多帧视频图像帧;利用预训练的球体识别网络,在每帧所述视频图像帧中检测候选球体,并确定所述候选球体所对应的包围盒,其中,所述球体识别网络是基于YOLOV5算法,并采用预设的融合浅层特征作为所述YOLOV5算法的浅层特征所训练的神经网络,所述融合浅层特征是利用所述YOLOV5算法从样本图像提取的浅层特征和预设的深层特征进行融合所生成的,所述深层特征包括用于表征羽毛球组成特征的预设粗粒度的语义信息;根据所述包围盒与对应所述视频图像帧的中线的距离信息,从所述候选球体筛选出目标球体;按预设的移动驱动模式,控制拾球机驶向与所述目标球体所处位置对应的实景场地位置,并以风力吸取处于所述实景场地位置上的羽毛球。
[0007]第二方面,本申请实施例提供了一种基于YOLOV5的拾球机的控制装置,包括:
[0008]获取模块,用于获取羽毛球训练过程中的视频,其中,所述视频包括多帧视频图像帧;
[0009]识别模块,用于利用预训练的球体识别网络,在每帧所述视频图像帧中检测候选球体,并确定所述候选球体所对应的包围盒,其中,所述球体识别网络是基于YOLOV5算法,并采用预设的融合浅层特征作为所述YOLOV5算法的浅层特征所训练的神经网络,所述融合
浅层特征是利用所述YOLOV5算法从样本图像帧提取的浅层特征和预设的深层特征进行融合所生成的,所述深层特征包括用于表征羽毛球组成特征的预设粗粒度的语义信息;
[0010]筛选模块,用于根据所述包围盒与对应所述视频图像帧的中线的距离信息,从所述候选球体筛选出目标球体;
[0011]处理模块,用于按预设的移动驱动模式,控制拾球机驶向与所述目标球体所处位置对应的实景场地位置,并以风力吸取处于所述实景场地位置上的羽毛球。
[0012]第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于YOLOV5算法的拾球机控制方法的步骤。
[0013]第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的基于YOLOV5算法的拾球机控制方法的步骤。
[0014]相比于相关技术,本申请实施例提供的基于YOLOV5算法的拾球机控制方法、装置及存储介质,以及电子装置,通过获取羽毛球训练过程中的视频,所述视频包括多帧视频图像帧;利用预训练的球体识别网络,在每帧所述视频图像帧中检测候选球体,并确定所述候选球体所对应的包围盒,所述球体识别网络是基于YOLOV5算法,并采用预设的融合浅层特征作为所述YOLOV5算法的浅层特征所训练的神经网络,所述融合浅层特征是利用所述YOLOV5算法从样本图像提取的浅层特征和预设的深层特征进行融合所生成的,所述深层特征包括用于表征羽毛球组成特征的预设粗粒度的语义信息;根据所述包围盒与对应所述视频图像帧的中线的距离信息,从所述候选球体筛选出目标球体;按预设的移动驱动模式,控制拾球机驶向与所述目标球体所处位置对应的实景场地位置,并以风力吸取处于所述实景场地位置上的羽毛球;采用将具有表征羽毛球组成特征的预设粗粒度的语义信息的深层特征与浅层特征进行融合后,使融合后的浅层特征具有高像素和多语义,并以融合后的浅层特征训练球体识别网络,增强球体识别网络的鲁棒性和对小物体的检测能力,提高检测精准度,羽毛球识别的有效性和效率得到提高;同时,基于识别的球体的位置规划行驶路径,并按对应的移动驱动模式,快速驶向待拾取的羽毛球后,采用风力吸取进行拾球,提高拾球效率及降低在拾取羽毛球过程中对球体的损坏,解决了相关技术中对羽毛球进行识别的方案存在检测精准度及拾球效率低的问题,实现增强球体识别能力及检测的精准度、提高拾球效率的有益效果。
[0015]本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
[0017]图1是本申请实施例的基于YOLOV5算法的拾球机控制方法的终端的硬件结构框图;
[0018]图2是根据本申请实施例的基于YOLOV5算法的拾球机控制方法的流程图;
[0019]图3是本申请优选实施例的拾球机控制方法的流程图;
[0020]图4是根据本申请实施例的基于YOLOV5的拾球机的控制装置的结构框图。
具体实施方式
[0021]为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的
技术实现思路
的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
[0022]在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOV5算法的拾球机控制方法,其特征在于,包括:获取羽毛球训练过程中的视频,其中,所述视频包括多帧视频图像帧;利用预训练的球体识别网络,在每帧所述视频图像帧中检测候选球体,并确定所述候选球体所对应的包围盒,其中,所述球体识别网络是基于YOLOV5算法,并采用预设的融合浅层特征作为所述YOLOV5算法的浅层特征所训练的神经网络,所述融合浅层特征是利用所述YOLOV5算法从样本图像提取的浅层特征和预设的深层特征进行融合所生成的,所述深层特征包括用于表征羽毛球组成特征的预设粗粒度的语义信息;根据所述包围盒与对应所述视频图像帧的中线的距离信息,从所述候选球体筛选出目标球体;按预设的移动驱动模式,控制拾球机驶向与所述目标球体所处位置对应的实景场地位置,并以风力吸取处于所述实景场地位置上的羽毛球。2.根据权利要求1所述的方法,其特征在于,根据所述包围盒与对应所述视频图像帧的中线的距离信息,从所述候选球体筛选出目标球体,包括:确定每个所述候选球体的所述包围盒的质心到对应的所述视频图像帧的中线的直线距离;按距离由小到大的顺序,选取直线距离小于距离阈值的所述候选球体,得到所述目标球体。3.根据权利要求2所述的方法,其特征在于,按距离由小到大的顺序,选取直线距离小于距离阈值的所述候选球体,包括:从按距离由小到大的顺序排列的多个所述直线距离中,选取最小的所述直线距离所对应的所述候选球体,得到所述目标球体。4.根据权利要求2所述的方法,其特征在于,确定每个所述候选球体的所述包围盒的质心到对应的所述视频图像帧的中线的直线距离,包括:获取所述包围盒所对应的第一坐标数据,并根据所述第一坐标数据确定所述包围盒对应的第一质心坐标,其中,所述第一坐标数据用于表征所述包围盒的顶点坐标;根据预设的视窗参数,确定每帧所述视频图像帧的中线所对应的第二坐标数据,其中,所述视窗参数用于表征采集所述视频的监控设备所对应的视角大小;根据所述第一质心坐标和所述第二坐标数据,计算所述包围盒与所述包围盒所在的所述视频图像帧的所述中线的距离,得到对应的所述包围盒的质心到对应的所述视频图像帧的中线的直线距离。5.根据权利要求1所述的方法,其特征在于,所述移动驱动模式包括差速转向驱动函数,按预设的移动驱动模式,控制拾球机驶向与所述目标球体所处位置对应的实景场地位置,包括:确定所述目标球体所对应的目标包围盒,并根据获取的所述目标包围盒所对应的第二坐标数据,确定所述目标包围盒所对应的第二质心坐标,其中,所述第二坐标数据用于表征所述目标包围盒的顶点坐标;判断所述目标包围盒与所述目标包围盒所在的所述视频图像帧的中线的位置关系,并根据判断结果,从预设的多种所述差速转向驱动函数中,确定目标差速转向驱动函数;按根据所述目标差速转向驱动函数和所述第二质心坐标所确定的目标转速,控制所述拾球机进行位姿调整至对齐所述目标球体所处位置对应的实景场地位置,以及控制所述拾
球机驶向所述实景场地位置。6.根据权利要求1所述的方法,其特征在于,所述视频图像帧包括广角视频帧和长焦视频帧,利...

【专利技术属性】
技术研发人员:张鑫源何子炎张桦坚黄启睿蓝鑫贾镇纲刘晓翔林聪龚雪沅
申请(专利权)人:暨南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1