本发明专利技术公开了一种面向视力残疾人网页内容无障碍访问的图片自动描述方法。该方法的步骤如下：抓取网络上带标签的图片作为已标注图片的样本库；对已标注图片样本库中的图片标签进行排序以实现标签去噪；利用样本库中的相似图片对网页中的插图产生标签推荐词；结合标签词在图片所处网页位置的上下文中抽取句子以作为图片的描述。本发明专利技术综合使用了标签排序、标签推荐以及网页文档摘要技术，对图片产生一段简短扼要的描述，改善视力残疾人对网页内容的无障碍访问，从而提升他们的上网体验。
【技术实现步骤摘要】
本专利技术涉及图片自动描述领域，特别是涉及。
技术介绍
根据2006年4月第二次全国残疾人抽样调查，中国现有视力残疾人1691万，其中单项视力残疾者1233万，多重残疾人中有视力残疾者458万。世界卫生组织设在日内瓦的防盲和防聋规划主任Thylefore博士指出中国是世界上盲人最多的国家，占全世界盲人的18%。每年在中国约有45万人失明，几乎每分钟就会出现一例盲人。如果假设目前的趋势继续保持不变，到2020年预期中国盲人将增加4倍。当前视力残疾人主要使用读屏软件访问网页内容，在网络信息获取方面，尤其是网页图片内容的获取上存在着诸多困难I)读屏软件带宽窄，只能支持顺序信息访问；2)缺乏视觉信息辅助，仅从图片替代文本描述理解图片内容本身就是一件困难的事情；3)很多网页图片缺乏替代文本，已有的替代文本描述中则往往缺乏有用的信息。现有的图片自动标注技术，目的在于为图片产生数个相关的标注词，这些标注词能有效辅助image分类、检索，但是在帮助盲人理解图片内容上的作用是有限的。现有的图片标注技术还无法实现直接从一般图片内容中自动提取高层语义信息。但是我们通过对视力残疾人上网情况调研发现，视力残疾人所经常访问的网页一般具有丰富的文本信息，与图片相关的内容描述也往往蕴含在网页的文本中。因此，根据视障人群的对图片信息获取的需求以及视力残疾人上网过程中访问网页的特点，设计并开发出一种有效的网络文本插图自动描述方法，必将提高广大视障人群的上网体验，缩小与常人上网获取信息的差距。
技术实现思路
本专利技术的目的在于提供一种面向视力残疾人的网络文本插图自动描述方法，帮助视障人群为代表的用户获取网络文本中的插图信息。本专利技术解决其技术问题采用的技术方案如下I，该方法的步骤如下I)抓取网络上带标签的图片作为已标注图片的样本库；2)对已标注图片样本库中的图片标签进行排序以实现标签去噪；3)利用样本库中的相似图片对文本中的插图产生标签推荐词；4)结合标签推荐词在图片所处文本位置的上下文中抽取句子以作为图片的描述。所述抓取网络上带标签的图片作为已标注图片的样本库，是从当前一些图片分享网站抓取图片及其对应标签，作为图片标签推荐的样本库。所述对已标注图片样本库中的图片标签进行排序以实现标签去噪，其步骤如下I)采用邻居投票的方式对图片标签进行排序，作为排序初始结果；2)根据用户、标签和图片三者之间的关系构建图排序算法中的跳转概率矩阵；3)把标签排序初始结果作为图排序过程中的标签偏好(Preference)，运用图排序算法对初始排序结果进行排序精化。所述利用样本库中的相似图片对文本中的插图产生标签推荐词，是指从样本库中选取与文本插图特征相似的图片，采用相似图片排序靠前的标签作为推荐标签的候选词，为文本插图产生推荐标签。 所述结合标签词在图片上下文中抽取句子以作为图片的描述，其步骤如下I)对图片上下文的文本进行分词，提高名词的权重，提高标签推荐词及其同义词匹配词汇的权重；2)对图片上下文的句子进行权重计算，根据三个方面来确定句子的权重a)句子词汇的权重总和，为避免句子过长，除以句子的词汇数；b)句子所处位置，与图片所处位置越近，句子权重系数越大；c)句子的线索词，句子中包含与图相关的线索词，则句子权重系数越大；3)输出权重最大的1-2个句子作为图片描述。本专利技术与
技术介绍
相比，具有的有益的效果是本专利技术是一种全新的面向视力残疾人的网络文本插图自动描述方法。标签排序、标签推荐以及自动文摘技术，对图片产生一段简短扼要的描述，相对传统的图片自动标注技术只产生数个标注词，能有效地提升视力残疾人对网络文本插图的理解。附图说明附图I是本专利技术的系统架构图。具体实施例方式以下结合附图和实施例对本专利技术作进一步的说明。I.抓取网络上带标签的图片作为已标注图片的样本库从当前诸多图片分享网站上抓取图片和图片对应标签。常用的的图片分享源包括=(I)Flickr,目前使用最广泛的图片分享网站，并提供了完善的下载API ;可以利用Flickr API抓取大量的图片和对应标签。(2)LabelMe，该图片源提供了大量优质标注图片。2.对已标注图片样本库中的图片标签进行排序以实现标签去噪2. I)利用图片颜色、纹理和形状特征来衡量图片之间的相似性，采用邻居投票的方式对图片标签进行排序，作为排序初始结果；2. 2)根据用户、标签和图片三者之间的关系构建图排序算法中的跳转概率矩阵；2. 3)把标签排序初始结果作为图排序过程中的标签偏好(Preference)，运用图排序算法对初始排序结果进行排序精化。3.利用样本库中的相似图片对文本中的插图产生标签推荐词利用颜色、纹理和形状特征从样本库中选取与文本插图特征相似的图片，采用相似图片排序靠前的标签作为推荐标签的候选词，从候选词中选取出现次数多的标签，作为文本插图的推荐标签。4.结合标签词在图片所处文本位置的上下文中抽取句子以作为图片的描述4. I)对图片上下文的文本进行分词，提高名词的权重，提高标签推荐词及其同义词匹配词汇的权重；4. 2)对图片上下文的句子进行权重计算，根据三个方面来确定句子的权重a)句子词汇的权重总和，为避免句子过长，除以句子的词汇数；b)句子所处位置，与图片所处位置越近，句子权重系数越大在实际操作中，加大图片所处文本位置的上一段最后一句和下一段第一句的句子系数；c)句子的线索词，句子中包含与图相关的线索词，则句子权重系数越大在实际操作中，加大包含“上图”、“下图”、“如图”、“图为”线索词的句子权重。4. 3)最终生成的图片描述要简洁扼要并包含尽量完整的相关主题信息。最终描述由权重最大的2-3个句子组成。一般情况下，为保证图片描述的简洁性，字数控制在50个字以内。 出于示出本专利技术的功能和结构原理的目的示出和描述了这些实施例，并且在不脱离这样的原理的情况下，可以对其进行修改。因此，本专利技术包括涵盖在所附权利要求的精神和范围内的所有修改。权利要求1.ー种面向视カ残疾人网页内容无障碍访问的图片自动描述方法，其特征在于该方法的步骤如下 1)抓取网络上带标签的图片作为已标注图片的样本库； 2)对已标注图片样本库中的图片标签进行排序以实现标签去噪； 3)利用样本库中的相似图片对文本中的插图产生标签推荐词； 4)结合标签推荐词在图片上下文中抽取句子以作为图片的描述。2.根据权利要求I所述的ー种面向视カ残疾人网页内容无障碍访问的图片自动描述方法，其特征在干所述抓取网络上带标签的图片作为已标注图片的样本库，是从图片分享网站抓取图片及其对应标签，作为图片标签推荐的样本库。3.根据权利要求I所述的ー种面向视カ残疾人网页内容无障碍访问的图片自动描述方法，其特征在于对已标注图片样本库中的图片标签进行排序以实现标签去噪，其步骤如下 1)采用邻居投票的方式对图片标签进行排序，作为排序初始结果； 2)利用用户、标签和图片三者之间的关系，构建用户和标签、标签和图片之间的有向图，该图的边分别代表着用户对标签的标注关系、标签之间的相似度和图片之间的相似度，根据相似度，得到该有向图的矩阵表示W ； 3)将原始的标签顺序作为标签偏好的初始值，利用随机跳转概率，对标签排序结果进行排序精化，排序精化可以有以下三种选项 a)利用第二步得到的有向图，使用本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：王灿，卜佳俊，汪兆鹏，陈纯，陈争光，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。