【技术实现步骤摘要】
本专利技术涉及盲文学习，具体涉及一种基于卷积神经网络的盲文学习方法及装置。
技术介绍
1、在据世界卫生组织2010年对视障人数的统计结果显示，全球有不同视力受损情况的人数达到了2.85亿，而中国的盲人数量比例达到了世界总体盲人数量的21％，到2020年的时候，中国的盲人数量高达2700万，这是一个非常庞大的数据，并且还在逐年增长。要促进社会文明的发展进步，就要加大科学文化知识在盲人群体中的传播力度，以达到降低整体的文盲率；而现在我国的盲人受教育情况不太乐观，初等教育的普及率本就不高，到高等教育阶段就只占了1％,我国的盲文书籍平均下来大约150人才有一本，无法大范围普及。
2、由于视力受损，盲人只能通过听觉和触觉获取知识，其中，手指触摸阅读盲文点字是盲人最主要的学习方式，此方式无法将盲文与实际进行结合，导致视障儿童的学习兴趣不高且容易出现语义脱节的现象。
3、因此，如何激发视障儿童的对盲文的学习兴趣并提高学习效率成为当前
工作人员急需解决的问题。
技术实现思路
1、有鉴于此，有必要提供一种基于卷积神经网络的盲文学习方法及装置，以激发视障儿童的对盲文的学习兴趣并提高学习效率。
2、为了实现上述目的，本专利技术提供了一种基于卷积神经网络的盲文学习方法，包括：
3、响应于启动信号的识别，获取目标物体的图像数据；
4、基于预设的卷积神经网络模型对图像数据进行目标检测，获取图像识别数据；
5、对图像识别数据进行处理输
6、根据第一数据输出与目标物体对应的音频数据；
7、根据第二数据输出与目标物体对应的盲文序列数据，基于盲文序列数据输出盲文点阵。
8、在一种可能的实现方式中，预设的卷积神经网络模型为卷积神经网络模型。
9、在一种可能的实现方式中，yolo卷积神经网络模型的目标损失函数的计算公式为：
10、
11、
12、
13、loss＝lbox+lobj+lclass；
14、其中，lbox表示边界框回归函数，λclass表示预设权重，表示第i个网格的第j个锚框负责这个目标，表示第i个网格的第j个锚框不负责这个目标，pi(c)表示第i个网格的分类概率，lclass表示分类损失函数，lobj表示目标存在损失函数，(xi，yi)表示网格中心点位置真实坐标，表示网格中心点预测坐标，wi表示网格预测宽度，表示网格真实宽度，hi表示网格预测高度，表示网格真实高度，ci表示真实置信度，表示预测置信度，s2表示遍历所有的网格，b表示遍历所有的候选框，loss表示目标损失函数。在一种可能的实现方式中，基于预设的卷积神经网络模型对图像数据进行目标检测前还包括：
15、利用图传组件将图像数据传输至yolo卷积神经网络模型。
16、在一种可能的实现方式中，根据第一数据输出与目标物体对应的音频数据包括：
17、将第一数据转换为可供数模转换器识别的脉宽调制格式的初始音频数据；
18、对初始音频数据进行一级有源滤波处理，通过扬声器输出与目标物体对应的音频数据。
19、在一种可能的实现方式中，扬声器为球定形扬声器。
20、在一种可能的实现方式中，根据第二数据输出与目标物体对应的盲文点阵数据包括：
21、将第二数据作为源序列和目标序列进行输入；
22、利用预设神经网络模型对源序列和目标序列进行转换融合处理；
23、对经过转换融合处理后的源序列和目标序列进行归一化处理，得到盲文序列数据。
24、在一种可能的实现方式中，预设神经网络模型采用transformer模型，transformer模型包括多头注意力子层和前反馈神经网络子层。
25、在一种可能的实现方式中，基于盲文序列数据输出盲文点阵包括：
26、基于盲文序列数据控制盲文显示组件的阀门开关；
27、响应于阀门开关的开启，控制气体压力源输出气体带动对应的盲文显示块升起，从而输出盲文点阵。
28、为了实现上述目的，本专利技术还提供了一种基于卷积神经网络的盲文学习装置，包括：
29、图像数据获取模块，用于响应于启动信号的识别，获取目标物体的图像数据；
30、目标检测模块，用于基于预设的卷积神经网络模型对图像数据进行目标检测，获取图像识别数据；
31、数据处理模块，用于对图像识别数据进行处理输出可供音频组件识别的第一数据和可供点显组件识别的第二数据；
32、音频模块，用于根据第一数据输出与目标物体对应的音频数据；
33、盲文翻译模块，用于根据第二数据输出与目标物体对应的盲文序列数据，基于盲文序列数据输出盲文点阵。
34、采用上述实施例的有益效果为：响应于启动信号的识别，获取目标物体的图像数据；基于预设的卷积神经网络模型对图像数据进行目标检测，获取图像识别数据；对图像识别数据进行处理输出可供音频组件识别的第一数据和可供点显组件识别的第二数据；根据第一数据输出与目标物体对应的音频数据；根据第二数据输出与目标物体对应的盲文序列数据，基于盲文序列数据输出盲文点阵。本专利技术实现了盲文的多感官教学，在提高视障儿童的对盲文学习兴趣的同时避免盲文学习中出现语义脱节的问题。
本文档来自技高网...【技术保护点】
1.一种基于卷积神经网络的盲文学习方法，其特征在于，包括：
2.根据权利要求1所述的基于卷积神经网络的盲文学习方法，其特征在于，所述预设的卷积神经网络模型为YOLO卷积神经网络模型。
3.根据权利要求2所述的基于卷积神经网络的盲文学习方法，其特征在于，所述YOLO卷积神经网络模型的目标损失函数的计算公式为：
4.根据权利要求2所述的基于卷积神经网络的盲文学习方法，其特征在于，所述基于预设的卷积神经网络模型对所述图像数据进行目标检测前还包括：
5.根据权利要求1所述基于卷积神经网络的盲文学习方法，其特征在于，所述根据所述第一数据输出与所述目标物体对应的音频数据包括：
6.根据权利要求5所述的基于卷积神经网络的盲文学习方法，其特征在于，所述扬声器为球定形扬声器。
7.根据权利要求1所述的基于卷积神经网络的盲文学习方法，其特征在于，所述根据所述第二数据输出与所述目标物体对应的盲文点阵数据包括：
8.根据权利要求7所述的基于卷积神经网络的盲文学习方法，其特征在于，所述预设神经网络模型采用Transform
9.根据权利要求7所述的基于卷积神经网络的盲文学习方法，其特征在于，所述基于所述盲文序列数据输出盲文点阵包括：
10.一种基于卷积神经网络的盲文学习装置，其特征在于，包括：
...【技术特征摘要】
1.一种基于卷积神经网络的盲文学习方法，其特征在于，包括：
2.根据权利要求1所述的基于卷积神经网络的盲文学习方法，其特征在于，所述预设的卷积神经网络模型为yolo卷积神经网络模型。
3.根据权利要求2所述的基于卷积神经网络的盲文学习方法，其特征在于，所述yolo卷积神经网络模型的目标损失函数的计算公式为：
4.根据权利要求2所述的基于卷积神经网络的盲文学习方法，其特征在于，所述基于预设的卷积神经网络模型对所述图像数据进行目标检测前还包括：
5.根据权利要求1所述基于卷积神经网络的盲文学习方法，其特征在于，所述根据所述第一数据输出与所述目标物体对应的音频数据包括：
6....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。