【技术实现步骤摘要】
一种基于手势识别的交互式点读系统
本专利技术涉及手势识别、手指指尖检测、目标检测、文字检测、识别、手势分割，属于人工智能领域，具体涉及一种基于手势识别的交互式点读系统。
技术介绍
随着科学技术的不断发展，智能教育逐渐推广，例如文本点读笔、点读机等等已经取得了广泛的应用，目前常见的几种交互式的点读系统，依赖点读设备(例如点读机、点读笔)，这些系统利用点读设备直接提取所需文本，再对文本做必要的处理，从而实现点读功能；也有的系统利用在手指指尖佩戴一些特殊的感应材料，进而识别出手指指尖；也有的使用人工智能的方法迭代式的检测指尖位置，进而识别文本，例如申请号为201910837914.6的专利，则是使用人工智能的方法，搭建手指特征识别神经网络识别指尖，该方法仅仅识别指尖位置和指尖前方区域的文字；公告号为CN109325464A的中国专利，公开了一种基于人工智能的文字识别方法，专利技术了利用纯深度学习算法来实现手指点读，实现了快速的文本识别和查单词的流程，整个流程耗时不超过300ms，极大地改进了点读的效率。也有的通过手部关键点辅助实现...
【技术保护点】
1.一种基于手势识别的交互式点读系统，其特征在于，所述系统包括以下模块：摄像头、图像预处理模块、手势识别模块、图像识别模块、集成模块、翻译模块、语音模块，所述摄像头与图像预处理模块相连接，图像预处理模块与手势识别模块、图像识别模块相连接，手势识别模块与集成模块相连接，图像识别模块与集成模块相连接，集成模块与翻译模块相连接、翻译模块与语音模块相连接。/n所述摄像头用于实时采集图像；/n所述图像预处理模块用于对上述图像进行预处理；/n所述手势识别模块用于对预处理过的图像进行识别，该模块接收图像预处理模块的输入图像，用手势识别网络对图像作分割，对图像中的每个像素点进行分类，确定每...
【技术特征摘要】
1.一种基于手势识别的交互式点读系统，其特征在于，所述系统包括以下模块：摄像头、图像预处理模块、手势识别模块、图像识别模块、集成模块、翻译模块、语音模块，所述摄像头与图像预处理模块相连接，图像预处理模块与手势识别模块、图像识别模块相连接，手势识别模块与集成模块相连接，图像识别模块与集成模块相连接，集成模块与翻译模块相连接、翻译模块与语音模块相连接。
所述摄像头用于实时采集图像；
所述图像预处理模块用于对上述图像进行预处理；
所述手势识别模块用于对预处理过的图像进行识别，该模块接收图像预处理模块的输入图像，用手势识别网络对图像作分割，对图像中的每个像素点进行分类，确定每个像素点的类别，从而获取手部分割图，根据获取到的手部分割图，进行手势分类，实现手势识别，对于不同的手势进行不同的后续处理；
所述图像识别模块，用于对待识别的对象进行检测定位，该模块接收图像预处理模块输出的图像，利用图像识别算法检测图像中的对象返回图像中待识别对象的边界框与标签信息(含对象类别信息)，传入集成模块；
所述集成模块，接收手势识别模块与图像识别模块的输入，根据手势识别结果与图像识别结果进行匹配，完成手势识别结果与图像识别定位边界框的双向匹配过程，输出检测对象的标签信息，传入翻译模块完成后续处理，实现点读功能；
所述翻译模块：用于将检集成模块返回的标签信息翻译成不同的语言，以满足不同的需求；
所述语音模块：将翻译模块的结果进行朗读。
2.根据权利要求1所述的基于手势识别的交互式点读系统，其特征在于：所述图像预处理模块，用于将摄像头采集的图像作必要的预处理，包括：图像去噪、图像缩放，根据实验结果，去噪可以提升手势识别时分类的准确率；同时，对图像进行不同程度的缩放可以改变手势识别网络的训练、识别时间。
3.根据权利要求1所述基于手势识别的交互式点读系统，其特征在于：所述手势识别模块，用于实现手势识别，进而实现后续的处理，该模块接收图像预处理模块的输出图像，用手势...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。