一种用于辅助视觉障碍者理解图片的方法及装置制造方法及图纸

本发明专利技术公开了一种用于辅助视觉障碍者理解图片的方法及装置，涉及图片处理技术领域，首先获取用户上传图像，并且对图像进行特征提取，然后对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且计算得出图像判定系数；再设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若相匹配，则将匹配的判定系数所对应的图像数据进行提取；最终将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音提供给视觉障碍者听，实现自动将图像信息转换给视觉障碍者听的功能。的功能。的功能。

【技术实现步骤摘要】
一种用于辅助视觉障碍者理解图片的方法及装置


[0001]本专利技术涉及图片处理
，具体的是一种用于辅助视觉障碍者理解图片的方法及装置。

技术介绍

[0002]视觉障碍也称为视觉障碍“视力残疾”、“视觉缺陷”、“视力损伤”等。是指视觉器官(包括眼睛、眼神经)和大脑视神经中枢的结构或功能部分或全部障碍，表现为不同程度的视力损失或视力缩小，难以做普通人可以从事工作、学习或其他活动，以限制或阻碍其年龄、性别、社会和文化条件的正常作用。视觉障碍者难以看到显示屏幕上的文本或图像，执行眼睛和手(如移动计算机鼠标)的任务。
[0003]对于视觉障碍者而言，在使用电子设备时，需要进行辅助，以使用手机为例，当打开旁白后，手机会按照触摸区块来朗读手指碰触区域范围内的内容；同时操作从轻点和滑动换成轻点朗读触摸区域，双击，长按来负责交互。但是，由于图片内容的丰富性，在缺少对图片内容的文字描述的前提下，如何使视觉障碍者理解展示的图片内容获取图片信息是亟待解决的技术问题。

技术实现思路

[0004]为解决上述
技术介绍
中提到的不足，本专利技术的目的在于提供一种用于辅助视觉障碍者理解图片的方法及装置，能够自动将图像信息转换给视觉障碍者听。
[0005]本专利技术的目的可以通过以下技术方案实现：一种用于辅助视觉障碍者理解图片的装置，包括：数据采集模块、数据处理模块、数据分析模块、执行模块，
[0006]所述数据采集模块用于采集用户上传的图像，并且将用户上传的图像发送至数据处理模块进行数据处理；
[0007]所述数据处理模块在接收到数据采集模块发送的用户上传的图像后，将用户上传的图像标记为图像数据，并对图像数据进行数据处理，通过计算得出图像判定系数，将图像判定系数发送至数据分析模块进行数据分析；
[0008]所述数据分析模块在接收到数据处理模块发送的图像判定系数后，进行数据分析，设定设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取并标记为二次图像数据，发送至执行模块；
[0009]所述执行模块在接收到数据分析模块发送的二次图像数据后，将图像数据内的文本信息进行提取，并且转换为语音信息，然后将语音信息转换成语音提供给视觉障碍者。
[0010]优选地，所述数据处理模块包括图像特征提取网络模型，用于对图像进行特征提取。
[0011]优选地，所述数据处理模块的处理过程包括以下步骤：
[0012]将图像数据进行特征提取，所述特征提取的部分包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；
[0013]将图像的特征点数量标记为S
i
，图像的特征点分布率标记为Fi，图像高度标记为G
i
，图像宽度标记为K
i
，其中，i为采集次数标号，且i＝1、2、3、...、n，n为采集次数总数；
[0014]利用公式计算得出图像判定系数Pd
i
，式中，S0为标准特征点数量，F0为标准特征点分布率，G0为标准图像高度，K0为标准图像宽度，α为特征点数量影响系数，β为特征点分布率影响系数，a为图像高度影响系数，b为图像宽度影响系数。
[0015]优选地，所述数据分析模块包括图像特征判别模型，用于对图像进行特征判别。
[0016]优选地，所述数据分析模块的分析过程包括以下步骤：
[0017]设定标准图像判定系数Pd0，判定阈值Yz0，利用公式计算判定系数Py
i
，并且将各判定系数Py
i
合成为判定集合{Py
i
}，且{Py
i
}＝(Py1、Py2、...、Py
n
)，将判定阈值Yz0和判定集合{Py
i
}进行特征匹配，若判定阈值Yz0与判定集合{Py
i
}内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取，并标记为二次图像数据，并且发送二次图像数据和执行信号至执行模块进行执行操作。
[0018]优选地，所述执行模块包括信息提取单元、语音转换单元和扩音器，所述信息提取单元用于对文本信息进行提取，所述语音转换单元用于将提取的文本信息转换为语音信息，扩音器用于将语音信息转换成语音提供给视觉障碍者听。
[0019]优选地，一种用于辅助视觉障碍者理解图片的方法，方法包括以下步骤：
[0020]获取用户上传图像，并且对图像进行特征提取，包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；
[0021]对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且利用图像的特征点数量、图像的特征点分布率、图像高度和图像宽度计算得出图像判定系数；
[0022]设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取；
[0023]将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音信息转换成语音提供给视觉障碍者听。
[0024]本专利技术的有益效果：
[0025]本专利技术首先获取用户上传图像，并且对图像进行特征提取，包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度，然后对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且利用图像的特征点数量、图像的特征点分布率、图像高度和图像宽度计算得出图像判定系数；再设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判
定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取；最终将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音信息转换成语音提供给视觉障碍者听，从而实现自动将图像信息转换给视觉障碍者听的功能。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
[0027]图1是本专利技术原理图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于辅助视觉障碍者理解图片的装置，其特征在于，包括：数据采集模块、数据处理模块、数据分析模块、执行模块，所述数据采集模块用于采集用户上传的图像，并且将用户上传的图像发送至数据处理模块进行数据处理；所述数据处理模块在接收到数据采集模块发送的用户上传的图像后，将用户上传的图像标记为图像数据，并对图像数据进行数据处理，通过计算得出图像判定系数，将图像判定系数发送至数据分析模块进行数据分析；所述数据分析模块在接收到数据处理模块发送的图像判定系数后，进行数据分析，设定设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取并标记为二次图像数据，发送至执行模块；所述执行模块在接收到数据分析模块发送的二次图像数据后，将图像数据内的文本信息进行提取，并且转换为语音信息，然后将语音信息转换成语音提供给视觉障碍者。2.根据权利要求1所述的一种用于辅助视觉障碍者理解图片的装置，其特征在于，所述数据处理模块包括图像特征提取网络模型，用于对图像进行特征提取。3.根据权利要求2所述的一种用于辅助视觉障碍者理解图片的装置，其特征在于，所述数据处理模块的处理过程包括以下步骤：将图像数据进行特征提取，所述特征提取的部分包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；将图像的特征点数量标记为S
i
，图像的特征点分布率标记为Fi，图像高度标记为G
i
，图像宽度标记为K
i
，其中，i为采集次数标号，且i＝1、2、3、...、n，n为采集次数总数；利用公式计算得出图像判定系数Pd
i
，式中，S0为标准特征点数量，F0为标准特征点分布率，G0为标准图像高度，K0为标准图像宽度，α为特征点数量影响系数，β为特征点分布率影响系数，a为图像高度影响系数，b为图像宽度影响系数。4.根据权利要求1所述的一种用于辅助视...

【专利技术属性】
技术研发人员：王玉堂，倪永桃，
申请(专利权)人：王玉堂，
类型：发明
国别省市：