一种基于手势识别的仿生机器鱼交互控制方法及系统技术方案

本公开提供了一种基于手势识别的仿生机器鱼交互控制方法及系统，所述方案包括获取手势：由视觉传感器等获取手势序列图像；手势识别：经过肤色检测，分割出手势图像；提取手势特征，建立手势库，训练SVM模型进行手势识别；手势控制：对若干手势动作进行编码，作为仿生机器鱼的控制指令，当手势识别完成之后，驱动机器鱼按照预定动作运动。

【技术实现步骤摘要】
一种基于手势识别的仿生机器鱼交互控制方法及系统
本公开属于运动控制
，尤其涉及一种基于手势识别的仿生机器鱼交互控制方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。近年来，随着陆地资源匮乏日益严重，人们越来越多的关注到丰富的海洋资源。由于原有的水下检测、作业、运载装置难以满足复杂水下作业任务的需求，因此加速了水下机器人的研发工作。仿生机器鱼作为鱼类推进机理和机器人技术的结合点，为研制新型的水下航行器提供了一种新思路，具有重要的研究价值和应用前景。专利技术人发现，现有的仿生鱼通常多采用手动遥控设备或者语音设备进行控制，而仿生机器鱼往往会应用于娱乐应用场景中，单纯通过遥控设备无法给游客带来娱乐性的效果，且无法大量配备遥控设备；而语音控制对于环境嘈杂的娱乐环境显然也不适合；因此，在娱乐应用环境中，如何实现对仿生鱼有效控制，提高游客与仿生鱼之间的互动，是现有技术有待解决的问题。
技术实现思路
本公开为了解决上述问题，提供了一种基于手势识别的仿生机器鱼交互控制方法及系统，通过对获取的手势图像进行处理，通过手势识别实现嘈杂环境下机器鱼的运动控制。根据本公开实施例的第一个方面，提供了一种基于手势识别的仿生机器鱼交互控制方法，包括：获取人的手势图像，利用基于肤色的分割方法分割出手势区域；提取手势特征构建手势特征库，并利用手势特征库中的样本对SVM模型进行训练；将SVM模型的分类类别进行编码，并映射到不同的控制指令；利用训练好的SVM模型对实时采集的手势图像进行识别，根据识别类型控制仿生机器鱼的动作。进一步的，所述基于肤色的分割方法包括采用RGB颜色空间的阈值分割，再结合HSV空间肤色分布的聚类性，两者之间做与运算，实现肤色区域的提取；肤色的特征色调在RGB空间中，其RGB值符合R>G>B,为了提高分割方法的实时性，设置人类的肤色颜色空间HSV范围为：H(2，28)，S(50，200)。进一步的，所述基于肤色的分割方法还包括预先对采集到的手势图像进行二值化处理，获取肤色区域，根据原图像(x，y)处的H、S值和R、G、B值判断二值图(x，y)处的像素值；采用循环嵌套遍历图像的方式，判断原图像(x，y)处像素的对应分量是否满足条件，如果符合条件则零矩阵(x,y)处像素等于1；反之，则等于0。进一步的，所述手势特征的提取包括对肤色检测后的图像进行轮廓提取，获取轮廓点坐标，对轮廓点坐标进行傅里叶描述子的提取，建立手势特征库。根据本公开实施例的第二个方面，提供了一种基于手势识别的仿生机器鱼交互控制系统，包括：图像采集模块，其用于获取人的手势图像，利用基于肤色的分割方法分割出手势区域；模型训练模块，其用于提取手势特征构建手势特征库，并利用手势特征库中的样本对SVM模型进行训练；将SVM模型的分类类别进行编码，并映射到不同的控制指令；手势识别模块，其用于利用训练好的SVM模型对实时采集的手势图像进行识别，根据识别类型控制仿生机器鱼的动作。根据本公开实施例的第三个方面，提供了一种仿生机器鱼，包括仿生机器鱼本体、存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现上述的一种基于手势识别的仿生机器鱼交互控制方法。根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的一种基于手势识别的仿生机器鱼交互控制方法。与现有技术相比，本公开的有益效果是：(1)本公开所述方案利用手势识别控制解决人与机器鱼在场景应用中的交互问题，手势交互具有较强的抗干扰性，在噪声较大的场所，声音的传播会受到影响，但是基于手势的交流仍可以顺利进行，随着人工智能的发展，手势交互的发展也将得到巨大提高。(2)本公开所述方案利用椭圆肤色检测模型实现对手势的检测，能够避免受到光照的影响，采用傅里叶算子进行手势特征提取，能够更好的进行手势识别，并建立手势特征库，对SVM模型进行训练保存，依靠训练好的SVM模型进行手势识别，最后实现仿生机器鱼的控制。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本公开实施例一中所述的手势示意图；图2为本公开实施例一中所述的手势识别控制流程图；图3为本公开实施例二中所述的基于手势识别的仿生机器鱼交互控制系统的控制框架。具体实施方式下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一：本实施例的目的是提供一种基于手势识别的仿生机器鱼交互控制方法。一种基于手势识别的仿生机器鱼交互控制方法，包括：获取人的手势图像，利用基于肤色的分割方法分割出手势区域；提取手势特征构建手势特征库，并利用手势特征库中的样本对SVM模型进行训练；将SVM模型的分类类别进行编码，并映射到不同的控制指令；利用训练好的SVM模型对实时采集的手势图像进行识别，根据识别类型控制仿生机器鱼的动作。进一步的，通过携带装配有摄像头的仿生机器鱼获取手势图像，并将手势序列图像通过仿生机器鱼自身处理器进行处理，或以无线传输的方式上传至工作站进行处理分析，本实施例中采用以无线传输的方式上传至工作站进行处理分析。进一步的，所述基于肤色的分割方法通过对肤色颜色空间中的聚类特征，从背景图像中分割出肤色区域，用肤色特征来实现手势分割。进一步的，采用RGB颜色空间的阈值分割，再结合HSV空间肤色分布的聚类性，两者之间做与运算，实现肤色区域的提取；肤色的特征色调在RGB空间中，其RGB值符合R>G>B,人类的肤色颜色空间HSV范围为：H(2，28)，S(50，200)，据此实现手势分割，有利于系统实时性的提高。进一步的，对采集到的包含手势的图像进行二值化处理，获取肤色区域。根据原图像(x，y)处的H、S值和R、G、B值判断二值图(x，y)处的像素值。进一步的，采用循环嵌套遍历图像的方式，判断原图像(x，y)处像素的对应分量是否满足条件，如果符合条件则零矩阵(x,y)处像素等于1；反之，则等于0。此外，对于分割出的肤色图像会受到不同噪声的干扰，因此需要对图像进行预处理，加强图像的有用信息，滤除本文档来自技高网...

【技术保护点】
1.一种基于手势识别的仿生机器鱼交互控制方法，其特征在于，包括：/n获取人的手势图像，利用基于肤色的分割方法分割出手势区域；/n提取手势特征构建手势特征库，并利用手势特征库中的样本对SVM模型进行训练；/n将SVM模型的分类类别进行编码，并映射到不同的控制指令；/n利用训练好的SVM模型对实时采集的手势图像进行识别，根据识别类型控制仿生机器鱼的动作。/n

【技术特征摘要】
1.一种基于手势识别的仿生机器鱼交互控制方法，其特征在于，包括：
获取人的手势图像，利用基于肤色的分割方法分割出手势区域；
提取手势特征构建手势特征库，并利用手势特征库中的样本对SVM模型进行训练；
将SVM模型的分类类别进行编码，并映射到不同的控制指令；
利用训练好的SVM模型对实时采集的手势图像进行识别，根据识别类型控制仿生机器鱼的动作。


2.如权利要求1所述的一种基于手势识别的仿生机器鱼交互控制方法，其特征在于，所述基于肤色的分割方法包括采用RGB颜色空间的阈值分割，再结合HSV空间肤色分布的聚类性，两者之间做与运算，实现肤色区域的提取；肤色的特征色调在RGB空间中，其RGB值符合R>G>B,为了提高分割方法的实时性，设置人类的肤色颜色空间HSV范围为：H取值为大于2且小于28，S取值为大于50且小于200。


3.如权利要求1所述的一种基于手势识别的仿生机器鱼交互控制方法，其特征在于，所述基于肤色的分割方法还包括预先对采集到的手势图像进行二值化处理，获取肤色区域，根据原图像像素点处的H、S值和R、G、B值判断二值图的像素点处的像素值；采用循环嵌套遍历图像的方式，判断原图像像素点处像素的对应分量是否满足条件，如果符合条件则零矩阵对应位置处像素等于1；反之，则等于0。


4.如权利要求3所述的一种基于手势识别的仿生机器鱼交互控制方法，其特征在于，针对二值化后的手势图像还需要进行膨胀、腐蚀处理，用于去除手势图像边缘的毛刺和内部的空洞。


5.如权利要求1所述的一种基于...

【专利技术属性】
技术研发人员：汪明，常征，张宜阳，卫正，逯广浩，谢浩田，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：山东;37