视障用户实时辨识系统及方法技术方案

本发明专利技术实施例公开了一种视障用户实时辨识系统及方法，所述系统包括：辨识终端：将采集的视障用户面前的图像实时进行预处理，将预处理连续与数字化目标默认值进行对比，当相似度达到阈值时，以语音形式输出；服务器：将辨识终端上传的图像分配至服务终端，将服务终端上传的识别结果发送至对应的辨识终端；服务终端：接收终端上传的图像，再将志愿者人工识别结果发送至服务器；或实时为视障用户提供人工帮助。本发明专利技术既可智能辨识视障用户所拍摄的图像，又可将图像上传分配至相应的志愿者，志愿者再将识别信息发送至视障用户，能够实时地、全方位地协助视障用户辨别景物和对象。全方位地协助视障用户辨别景物和对象。全方位地协助视障用户辨别景物和对象。

【技术实现步骤摘要】
视障用户实时辨识系统及方法


[0001]本专利技术涉及视觉协助
，尤其涉及一种视障用户实时辨识系统及方法。

技术介绍

[0002]通常，视障人士需要通过盲文，广播，有声读物和某些只能为其读取特定信息的应用程序来接收其信息。在辨认图像方面，也有一些移动应用程序纯粹透过人工智能来辨认图像。但是人工智能在解决视觉问题上并不通用。人类可以轻松识别信件中的关键信息，而人工智能一般只会读出所有内容。又或者，我们将需要使用许多具有相同格式的图片来训练人工智能，以便能够以这种特定格式提取关键信息。这使到用人工智能来提供视力协助在实际使用上效果并不理想。另一个原因是人的互动对于解决复杂的问题至关重要。

技术实现思路

[0003]本专利技术实施例所要解决的技术问题在于，提供一种视障用户实时辨识系统及方法，以协助视障人士辨认图像。
[0004]为了解决上述技术问题，本专利技术实施例提出了一种视障用户实时辨识系统，包括：辨识终端：将采集的视障用户面前的图像实时进行预处理，将预处理结果连续与数字化目标默认值进行对比，当相似度达到阈值时，以语音形式输出；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器；服务器：将辨识终端上传的图像分配至服务终端，将服务终端上传的识别结果发送至对应的辨识终端；或通过网络实时连接辨识终端和服务终端；服务终端：对应的志愿者通过服务终端接收辨识终端上传的图像，再将志愿者人工识别结果发送至服务器；或与辨识终端连接，使志愿者与视障用户直接实时通讯，实时为视障用户提供人工帮助。
[0005]进一步地，辨识终端中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。
[0006]进一步地，辨识终端还包括文字识别模块：识别图像中的文字，并以语音的形式输出。
[0007]相应地，本专利技术实施例还提供了一种视障用户实时辨识方法，包括：步骤1：辨识终端将采集的视障用户面前的图像实时进行预处理，将预处理结果连续与数字化目标默认值进行对比，当相似度达到阈值时，以语音形式输出；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器；步骤2：服务器将辨识终端上传的图像分配至服务终端，将服务终端上传的识别结果发送至对应的辨识终端；或通过网络实时连接辨识终端和服务终端；步骤3：对应的志愿者通过服务终端接收辨识终端上传的图像，再将志愿者人工识别结果发送至服务器；或与辨识终端连接，使志愿者与视障用户直接实时通讯，实时为视障用户
提供人工帮助。
[0008]进一步地，步骤1中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。
[0009]进一步地，步骤1还包括：文字识别子步骤：识别图像中的文字，并以语音的形式输出。
[0010]本专利技术的有益效果为：本专利技术既可智能辨识视障用户所拍摄的图像，又可将图像上传分配至相应的志愿者，志愿者再将识别信息发送至视障用户，能够实时地、全方位地协助视障用户辨别景物和对象。
附图说明
[0011]图1是本专利技术实施例的视障用户实时辨识系统的结构示意图。
[0012]图2是本专利技术实施例的传输示意图。
[0013]图3是本专利技术实施例的视障用户实时辨识方法的流程示意图。
[0014]图4是本专利技术实施例采用的卷积神经网络模型的模型图。
[0015]图5是本专利技术实施例采用的卷积神经网络模型的结构图。
具体实施方式
[0016]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本专利技术作进一步详细说明。
[0017]本专利技术实施例中若有方向性指示（诸如上、下、左、右、前、后
……
）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0018]另外，在本专利技术中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
[0019]请参照图1，本专利技术实施例的视障用户实时辨识系统包括辨识终端、服务器及服务终端。
[0020]辨识终端：将采集的视障用户面前的图像实时进行预处理，将预处理结果连续与数字化目标默认值进行对比，当相似度达到阈值时，以语音形式输出；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器。例如人类(男/女性、老人/小童/预设的亲友)、家居物品(门/窗/枱/椅/电视/沙化/煲/杯 )、户外(车/巴士,楼梯/电梯)或较大的路标示等。本专利技术实施例的数据集可通过会不断更新和自我学习和修订以提高准确性。
[0021]服务器：将辨识终端上传的图像分配至服务终端，将服务终端上传的识别结果发送至对应的辨识终端；或通过网络实时连接辨识终端和服务终端。
[0022]服务终端：对应的志愿者通过服务终端接收辨识终端上传的图像，再将志愿者人工识别结果发送至服务器；或与辨识终端连接，使志愿者与视障用户直接实时通讯，实时为视障用户提供人工帮助。
[0023]本专利技术使到视力有问题的用户可以实时或在最短时间内得到协助，自动识别视障用户所拍摄的图像。请参照图2，本专利技术实施例的辨识终端安装于视障用户的手机端，服务终端安装于志愿者（义工）的手机端。此外，透过一个志愿者（义工）社群，本专利技术所提供的服务可以在全日二十四小时都能运作，全世界的人士都可以下载此程序并成为志愿者（义工）。每当视障用户需要帮助的时候，它可以把景物或对象拍摄下来并实时发送给志愿者（义工），安装了服务终端的志愿者（义工）将会收到通知，志愿者（义工）可以选择是否响应，有时间的志愿者（义工）就会用语音或文字讯息描述照片给视障用户。
[0024]另外，为了提供实时的协助，本专利技术实施例也允许视障用户发出实时支持请求，有时间的志愿者（义工）透过类似视像会议的形式和视障用户联系并且可以志愿者（义工）可以看到视障用户眼前的景物并且通过语音实时协助视障用户。
[0025]本专利技术在接收信息方面有更大的灵活性。对于视力障碍的用户，本专利技术可以联系自愿提供视觉说明的志愿者，他们愿意提供帮助为有视力障碍的用户的日常生活提供便利。对于志愿者，本专利技术在随时随地帮助人们的同时积累志愿者时数的机会。对于广告客户，本专利技术提供了广泛的受众群体，以便他们的信息可以被各地的不同人士接收。
[0026]作为一种实施方式，辨识终端中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视障用户实时辨识系统，其特征在于，包括：辨识终端：将采集的视障用户面前的图像实时进行预处理，将预处理结果连续与数字化目标默认值进行对比，当相似度达到阈值时，以语音形式输出；若未比对到相似度达到阈值时或用户选择进入人工模式时，则将当前的图像上传至服务器；服务器：将辨识终端上传的图像分配至服务终端，将服务终端上传的识别结果发送至对应的辨识终端；或通过网络实时连接辨识终端和服务终端；服务终端：对应的志愿者通过服务终端接收辨识终端上传的图像，再将志愿者人工识别结果发送至服务器；或与辨识终端连接，使志愿者与视障用户直接实时通讯，实时为视障用户提供人工帮助。2.如权利要求1所述的视障用户实时辨识系统，其特征在于，辨识终端中采用卷积神经网络模型对图像进行预处理，所述图像数据依次进入卷积神经网络模型的第一个卷积层、第二个卷积层、池化层、第一个完全连接层以及第二个完全连接层后输出结果。3.如权利要求1所述的视障用户实时辨识系统，其特征在于，辨识终端还包括文字识别模块：识别图像中的文字，并以语音的形式输出。4.一种视障...

【专利技术属性】
技术研发人员：蕭啟穎，岑仲欣，盧國慶，
申请(专利权)人：創啟社會科技有限公司，
类型：发明
国别省市：